CN110110727B - 基于条件随机场和贝叶斯后处理的图像分割方法 - Google Patents

基于条件随机场和贝叶斯后处理的图像分割方法 Download PDF

Info

Publication number
CN110110727B
CN110110727B CN201910524896.6A CN201910524896A CN110110727B CN 110110727 B CN110110727 B CN 110110727B CN 201910524896 A CN201910524896 A CN 201910524896A CN 110110727 B CN110110727 B CN 110110727B
Authority
CN
China
Prior art keywords
feature vector
component
random field
conditional random
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910524896.6A
Other languages
English (en)
Other versions
CN110110727A (zh
Inventor
刘泽安
滕忠照
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Jingsan Medical Technology Co ltd
Original Assignee
Nanjing Jingsan Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Jingsan Medical Technology Co ltd filed Critical Nanjing Jingsan Medical Technology Co ltd
Priority to CN201910524896.6A priority Critical patent/CN110110727B/zh
Publication of CN110110727A publication Critical patent/CN110110727A/zh
Application granted granted Critical
Publication of CN110110727B publication Critical patent/CN110110727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于条件随机场和贝叶斯后处理的图像分割方法，包括以下过程：获取待分割图像；在待分割图像中选取感兴趣区域；在感兴趣区域上建立条件随机场模型，获得每个像素由条件随机场输出的分割概率；计算在感兴趣区域内各个组分经过PCA降维之后对应的概率密度函数；根据条件随机场输出的概率和各个组分对应的概率密度函数，基于贝叶斯公式选取条件概率值最大的组分为该像素点处对应的组分标签。本发明利用条件随机场充分建模了组分之间的一元和二元关系，后处理提取了最有效的模态特征，最终，本发明极大的提高了斑块的分割精度。

Description

基于条件随机场和贝叶斯后处理的图像分割方法
技术领域
本发明属于图像处理技术领域，涉及一种动脉粥样硬化斑块成分自动分割方法，具体涉及一种基于条件随机场和贝叶斯后处理的图像分割方法。
背景技术
图像分割技术是图像处理领域的一个重要研究主题，如应用到医学领域的动脉粥样硬化斑块成分的分割，在动脉粥样硬化的诊断中有着重要的应用，对分割出的斑块连同血管壁和血管腔一起进行三维的渲染，能够得病灶的直观显示；此外，基于分割出的斑块的形态、位置和大小的统计，还能够对对斑块进行力学模拟分析，得出斑块破裂的风险系数，所有的这些都有助于动脉粥样硬化的诊断。因此，对医学图像中斑块成分进行快速而精准的自动分割显得尤为重要，然而，现有的技术无论是在精度或者鲁棒性方面都存在着较大的问题。
现有的分割算法主要是基于机器学习方法论，可以分为无监督和有监督的方法。对于无监督的分割，一般使用聚类算法。首先，在感兴趣区域内，对每个像素提取多模态的灰度值作为特征向量，形成特征空间，然后运用诸如k均值(k-means)、模糊k均值(fuzzy k-means)、层次聚类(hierarchical clustering)、谱聚类(spectral clustering)等聚类算法对特征空间进行聚类。这类无监督聚类算法主要有如下几个缺点：首先，由于只使用了基于多模态灰度的特征，不能充分刻画斑块的特征，导致分割的精度不能满足实际需求；其次，必须事先确定要分割的斑块的类型以及类型的个数，这就要求分割者要有一定的斑块分割经验，从而降低了分割的效率。对于有监督的学习方法，一般分为两个步骤：首先，从训练数据集中提取斑块的特征，一般包括多模态灰度特征、形态学特征、纹理特征和方向梯度直方图(HOG)等；然后来使用支持向量机(SVM)分类器或者贝叶斯(Bayes)分类器对这些特征进行分类。支持向量机是一种经典而高效的二分类器，一般使用序列最小最优化算法(SMO)在特征空间上进行训练得到模型参数，而贝叶斯分类器则使用高斯混合模型(GMM)等有参数估计方法或者Parzen窗等无参数估计方法进行参数的估计。这些有监督的学习方法虽然准确率较无监督的方法有较大的提升，但是还存在以下问题：首先，需要人工提取特征，这需要工作者有一定的感兴趣区域（如斑块）处理经验，而且提取到的特征向量是很多特征简单的叠加在一起，这导致特征向量中含有的噪声比较多，不能精准而充分的刻画斑块的特征；其次，由于是对单个像素进行分类，没有考虑到像素与像素之间的关联，分割结果中有很多的孤立区域，虽然可以使用诸如开闭运算等形态学操作或者水平集(LevelSet)等方法进行后处理，但是效果有限而且后处理过程也比较繁琐，降低了分割的效率。
发明内容
本发明的目的在于克服现有技术的不足，提供了一种基于条件随机场和贝叶斯后处理的图像分割方法，解决了现有技术中图像分割精确度较低、鲁棒性不高的技术问题。
为解决上述技术问题，本发明提供了一种基于条件随机场和贝叶斯后处理的图像分割方法，其特征是，包括以下过程：
S1，获取待分割图像；
S2，在待分割图像中选取感兴趣区域；
S3，在感兴趣区域上建立条件随机场模型，获得每个像素由条件随机场输出的分割概率；
S4，计算在感兴趣区域内各个组分经过PCA降维之后对应的概率密度函数；
S5，根据条件随机场输出的概率和各个组分对应的概率密度函数，基于贝叶斯公式选取条件概率值最大的组分为该像素点处对应的组分标签。
进一步的，S2步骤中，获取感兴趣区域后对该感兴趣区域进行去噪和归一化处理。
进一步的，条件随机场模型中一元势的构建：
1）提取感兴趣区域图像I中的每个像素点对应的特征向量
对图像I中的每个像素
Figure DEST_PATH_IMAGE002
提取特征，提取的特征包括：多模态灰度值、纹理和位置信息；像素
Figure DEST_PATH_IMAGE002A
的三个特征构成特征向量
Figure DEST_PATH_IMAGE004
，其中
Figure DEST_PATH_IMAGE006
表示多模态灰度值特征向量，
Figure DEST_PATH_IMAGE008
表示纹理特征向量，
Figure DEST_PATH_IMAGE010
表示位置特征向量；
2）特征空间的归一化
图像I内所有像素点的特征向量构成特征空间为
Figure DEST_PATH_IMAGE012
，其中
Figure DEST_PATH_IMAGE014
为感兴趣区域像素点的总个数，把多模态灰度特征向量空间
Figure DEST_PATH_IMAGE016
、纹理特征向量空间
Figure DEST_PATH_IMAGE018
和位置特征向量空间
Figure DEST_PATH_IMAGE020
都映射到
Figure DEST_PATH_IMAGE022
，最终得到归一化后的特征空间
Figure DEST_PATH_IMAGE024
，其中
Figure DEST_PATH_IMAGE026
，
Figure DEST_PATH_IMAGE028
是
Figure DEST_PATH_IMAGE006A
归一化后的值，
Figure DEST_PATH_IMAGE030
是
Figure DEST_PATH_IMAGE008A
归一化后的值，
Figure DEST_PATH_IMAGE032
是
Figure DEST_PATH_IMAGE010A
归一化后的值；
3）训练SVM分类器构建一元势
针对要分割的组分种类，每种组分构建一个对应的SVM分类器，利用上面得到的特征空间
Figure DEST_PATH_IMAGE024A
作为训练集，训练多个SVM分类器；每个分类器对应的训练集由正集和负集组成，正集对应的训练数据为特征空间
Figure DEST_PATH_IMAGE024AA
中该分类器对应的组分的特征向量子集，余下的特征向量子集对应训练负集；
运用sigmoid-fitting方法把二分类结果转化为概率，基于每个像素点处对应的斑块组分的概率值作为条件随机场的一元势。
进一步的，条件随机场模型中二元势的构建：
对于图像I中的两个像素点
Figure DEST_PATH_IMAGE002AA
和
Figure DEST_PATH_IMAGE034
的二元势
Figure DEST_PATH_IMAGE036
定义为：
Figure DEST_PATH_IMAGE038
其中，
Figure DEST_PATH_IMAGE006AA
表示像素点
Figure DEST_PATH_IMAGE002AAA
的多模态灰度值特征向量，
Figure DEST_PATH_IMAGE008AA
表示像素点
Figure DEST_PATH_IMAGE002AAAA
的纹理特征向量，
Figure DEST_PATH_IMAGE010AA
表示像素点
Figure DEST_PATH_IMAGE002_5A
的位置特征向量，
Figure DEST_PATH_IMAGE040
表示像素点
Figure DEST_PATH_IMAGE034A
的多模态灰度值特征向量，
Figure DEST_PATH_IMAGE042
表示像素点
Figure DEST_PATH_IMAGE034AA
的纹理特征向量，
Figure DEST_PATH_IMAGE044
表示像素点
Figure DEST_PATH_IMAGE034AAA
的位置特征向量，
Figure DEST_PATH_IMAGE046
、
Figure DEST_PATH_IMAGE048
和
Figure DEST_PATH_IMAGE050
为参数；
Figure DEST_PATH_IMAGE052
和
Figure DEST_PATH_IMAGE054
为权重；
运用均值场(mean field)来对上式中的参数
Figure DEST_PATH_IMAGE046A
、
Figure DEST_PATH_IMAGE048A
和
Figure DEST_PATH_IMAGE050A
进行估计，完成二元势的构建。
进一步的，获得条件随机场输出的概率包括：
对于感兴趣区域的每个像素点
Figure DEST_PATH_IMAGE056
，首先得到SVM分类器的二分类结果，然后运用sigmoid-fitting方法把二分类结果转化为概率
Figure DEST_PATH_IMAGE058
，其中
Figure DEST_PATH_IMAGE060
为像素点
Figure DEST_PATH_IMAGE002_6A
对应各种组分的一元势概率；
然后还是利用均值场推断方法计算每个像素点
Figure DEST_PATH_IMAGE056A
处的二元点对势的概率
Figure DEST_PATH_IMAGE062
，其中
Figure DEST_PATH_IMAGE064
为像素点
Figure DEST_PATH_IMAGE002_7A
对应各种组分的二元点对势概率；
两个概率相加得到每个像素点
Figure DEST_PATH_IMAGE002_8A
处的最终条件随机场输出的概率
Figure DEST_PATH_IMAGE066
。即
Figure DEST_PATH_IMAGE068
对感兴趣区域的每个像素都上述操作，得到图片上的基于条件随机场的分割结果
Figure DEST_PATH_IMAGE070
。
进一步的，S4中，计算各个组分对应的概率密度函数包括：
4.1对多模态灰度特征向量空间做主成分分析
对多模态灰度特征向量空间
Figure DEST_PATH_IMAGE072
按照组分种类进行分组，得到
Figure DEST_PATH_IMAGE074
，其中
Figure DEST_PATH_IMAGE076
为组分的种类数量，
Figure DEST_PATH_IMAGE078
为第
Figure DEST_PATH_IMAGE080
种组分对应的像素的数量；
分别对每一种组分的多模态灰度特征向量空间
Figure DEST_PATH_IMAGE082
做主成分分析，降维后得到特征向量空间
Figure DEST_PATH_IMAGE084
；
4.2 Parzen核函数参数估计
使用Parzen对各个组分对应的多模态灰度特征向量空间
Figure DEST_PATH_IMAGE084A
进行密度函数估计，得到各个组分对应的概率密度函数
Figure DEST_PATH_IMAGE086
，其中
Figure DEST_PATH_IMAGE088
表示组分，这里一共有
Figure DEST_PATH_IMAGE076A
个组分。
与现有技术相比，本发明所达到的有益效果是：本发明的利用条件随机场来分割斑块组分，并用贝叶斯做后处理。条件随机场的点对势考虑到了像素之间的关系，从而刻画了斑块的拓扑结构，使得分割的结果更加的符合真实的斑块标签分布。除此之外，后处理对多模态灰度特征进行主成分分析，对每个组分剔除了干扰的模态信息，然后利用贝叶斯公式对条件随机场的分割结果进行更新，实验结果表明，该后处理极大的提高了斑块的分割精度。
附图说明
图1是本发明方法的整体流程图；
图2是条件随机场(CRF)的训练流程图；
图3是分割测试的具体流程图；
图4 分割结果示意图，其中(a)-(d) 已经分割好管腔和管壁的T1、T2、T1+和TOF四个序列的左侧颈动脉；(e)SVM分割结果；(f)CRF分割结果；(g) 经过Bayes后处理的结果。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明的一种基于条件随机场和贝叶斯后处理的图像分割方法，利用条件随机场(CRF)和贝叶斯后处理来进行精准的分割，而且鲁棒性较现有的方法也有较大的提升。基于条件随机场的分割在考虑单个像素的分类的同时还对像素之间的关系进行了建模，在保证分割结果的连续性的同时提高了分割的精度，相当于把有监督的机器学习方法和后处理这两个过程结合起来变成了端到端(end-to-end)的一个过程。最后，对多模态灰度特征进行主成分分析(PCA)，利用贝叶斯信念传播公式对基于条件随机场的分割结果进行改进，由于主成分分析提取了最有用的灰度特征，剔除了特征中的噪音干扰，实验表明，该后处理使得分割的精度有表较大的提升。
本发明的一种基于条件随机场和贝叶斯后处理的图像分割方法，参见图1所示，包括以下过程：
步骤S1，获取已经分割好管腔(lumen)和管壁(wall)的多模态颈动脉血管核磁影像(MRI)数据集作为待分割目标（斑块的分割一般要求先分割好管腔和管壁），并且该数据集内已经标注好斑块组分。
步骤S2，选取以动脉血管内壁中心为中心的感兴趣区域（ROI），对该感兴趣区域进行去噪和归一化处理，其中去噪是为了获得更加清晰图像，归一化是为了较少后续处理的误差，以提高后续步骤处理的精度。感兴趣区域进行以上处理后最终得到感兴趣区域图像I。
步骤S3，在经过S2处理过后的图像I上构建条件随机场模型。
条件随机场模型的构建分为两个步骤：以每个像素点处的对应斑块组分(plaquecomponent)的概率值为基础构建随机场的一元势(Unary Potentials)；其次是构建刻画像素间的关系的二元势能(Pairwise Potentials)。
具体过程为：
3.1 一元势的构建
本实施例中基于SVM分类器来得到每个像素点处对应的斑块组分的概率值作为一元势，具体的过程分为两步：首先提取感兴趣区域内所有像素点的特征向量形成特征空间；其次是训练SVM分类器。
1）提取图像I中每个像素对应的的特征向量
对图像I中的每个像素
Figure DEST_PATH_IMAGE002_9A
提取特征，提取的特征包括：多模态灰度值、纹理和位置信息。像素
Figure DEST_PATH_IMAGE002_10A
的三个特征构成特征向量
Figure DEST_PATH_IMAGE004A
，其中
Figure DEST_PATH_IMAGE006AAA
表示多模态灰度值特征向量，
Figure DEST_PATH_IMAGE008AAA
表示纹理特征向量，
Figure DEST_PATH_IMAGE010AAA
表示位置特征向量。
2）特征空间的归一化
图像I内所有像素点的特征向量构成特征空间为
Figure DEST_PATH_IMAGE012A
，其中
Figure DEST_PATH_IMAGE014A
为感兴趣区域像素点的总个数，把多模态灰度特征向量空间
Figure DEST_PATH_IMAGE016A
、纹理特征向量空间
Figure DEST_PATH_IMAGE018A
和位置特征向量空间
Figure DEST_PATH_IMAGE020A
都映射到
Figure DEST_PATH_IMAGE022A
，最终得到归一化后的特征空间
Figure DEST_PATH_IMAGE024AAA
，其中
Figure DEST_PATH_IMAGE026A
，
Figure DEST_PATH_IMAGE028A
是
Figure DEST_PATH_IMAGE006AAAA
归一化后的值，
Figure DEST_PATH_IMAGE030A
是
Figure DEST_PATH_IMAGE008AAAA
归一化后的值，
Figure DEST_PATH_IMAGE032A
是
Figure DEST_PATH_IMAGE010AAAA
归一化后的值。
3）训练SVM分类器构建一元势
针对要分割的组分种类，每种组分构建一个对应的SVM分类器，例如要分割出脂质和钙化，则需要训练三个分类器：脂质SVM分类器、钙化SVM分类器和正常组织分类器。
利用上面得到的特征空间
Figure DEST_PATH_IMAGE024AAAA
作为训练集，训练多个SVM分类器。每个分类器对应的训练集由正集和负集组成，正集对应的训练数据为特征空间
Figure DEST_PATH_IMAGE024_5A
中该分类器对应的组分的特征向量子集，余下的特征向量子集对应训练负集。
运用sigmoid-fitting方法把二分类结果转化为概率，基于每个像素点处对应的斑块组分的概率值作为条件随机场的一元势。
3.2二元势的构建
使用全连接的条件随机场，该方法可具体参考现有文献《Efficient Inferencein Fully Connected CRFs with Gaussian Edge Potentials》，把该论文中二元点对势的定义改为基于多模态灰度值和位置信息，对于图像I中的两个像素点
Figure DEST_PATH_IMAGE002_11A
和
Figure DEST_PATH_IMAGE034AAAA
的二元势
Figure DEST_PATH_IMAGE036A
定义为：
Figure DEST_PATH_IMAGE038A
其中，
Figure DEST_PATH_IMAGE006_5A
表示像素点
Figure DEST_PATH_IMAGE002_12A
的多模态灰度值特征向量，
Figure DEST_PATH_IMAGE008_5A
表示像素点
Figure DEST_PATH_IMAGE002_13A
的纹理特征向量，
Figure DEST_PATH_IMAGE010_5A
表示像素点
Figure DEST_PATH_IMAGE002_14A
的位置特征向量，
Figure DEST_PATH_IMAGE040A
表示像素点
Figure DEST_PATH_IMAGE034_5A
的多模态灰度值特征向量，
Figure DEST_PATH_IMAGE042A
表示像素点
Figure DEST_PATH_IMAGE034_6A
的纹理特征向量，
Figure DEST_PATH_IMAGE044A
表示像素点
Figure DEST_PATH_IMAGE034_7A
的位置特征向量，
Figure DEST_PATH_IMAGE046AA
、
Figure DEST_PATH_IMAGE048AA
和
Figure DEST_PATH_IMAGE050AA
为参数；
Figure DEST_PATH_IMAGE052A
和
Figure DEST_PATH_IMAGE094
为权重。
第一项刻画两个像素之间的相似性，因为像素值和位置相近的像素点有更大的概率属于同一个组分；第二项为平滑项，用来移除孤立的点，能够约束分割结果，使得分割结果更加的紧凑和均一，
Figure DEST_PATH_IMAGE052AA
和
Figure DEST_PATH_IMAGE094A
用来调节两项的权重，本发明中取
Figure DEST_PATH_IMAGE096
。
最后运用均值场(Mean Field)来对上式中的参数
Figure DEST_PATH_IMAGE046AAA
、
Figure DEST_PATH_IMAGE048AAA
和
Figure DEST_PATH_IMAGE050AAA
进行估计，完成二元势的构建。
步骤S4，计算各个组分对应的概率密度函数。
该过程分为两个步骤：
4.1对多模态灰度特征向量空间做主成分分析
对多模态灰度特征向量空间
Figure DEST_PATH_IMAGE072A
按照组分种类进行分组，得到
Figure DEST_PATH_IMAGE074A
,其中
Figure DEST_PATH_IMAGE076AA
为组分的种类数量，
Figure DEST_PATH_IMAGE078A
为第
Figure DEST_PATH_IMAGE080A
种组分对应的像素的数量。
分别对每一种组分的多模态灰度特征向量空间
Figure DEST_PATH_IMAGE082A
做主成分分析(PCA)，设定降维的置信度
Figure DEST_PATH_IMAGE100
，依次取
Figure DEST_PATH_IMAGE102
，其中
Figure DEST_PATH_IMAGE104
是此特征向量空间的维度，计算是否满足不等式
Figure DEST_PATH_IMAGE106
，如果满足，则停止计算，并且降低到维度
Figure DEST_PATH_IMAGE108
，其中
Figure DEST_PATH_IMAGE110
为
Figure DEST_PATH_IMAGE082AA
降到第
Figure DEST_PATH_IMAGE113
维对应的协方差矩阵的特征矩阵，降维后得到特征向量空间
Figure DEST_PATH_IMAGE084AA
。
4.2 Parzen核函数参数估计
对各个组分对应的多模态灰度特征向量空间
Figure DEST_PATH_IMAGE084AAA
进行密度函数估计，本发明使用Parzen进行估计，最后得到各个组分对应的概率密度函数
Figure DEST_PATH_IMAGE086A
其中
Figure DEST_PATH_IMAGE088A
表示组分，这里一共有
Figure DEST_PATH_IMAGE076AAA
个组分。
步骤S5，分割测试。
5.1得到基于条件随机场的分割结果
获取测试图像，为已经分割好管腔(lumen)和管壁(wall)的多模态颈动脉血管核磁影像(MRI)序列。与训练集不同的是，这里不需要标定斑块组分。
测试图像经过步骤S1S2后得到感兴趣区域，输入到条件随机场模型，对于感兴趣区域的每个像素点
Figure DEST_PATH_IMAGE002_15A
，首先得到SVM分类器的二分类结果，然后运用sigmoid-fitting方法把二分类结果转化为概率
Figure DEST_PATH_IMAGE116
，其中
Figure DEST_PATH_IMAGE060A
为像素点
Figure DEST_PATH_IMAGE002_16A
对应各种组分的一元势概率；
然后还是利用均值场推断方法计算每个像素点
Figure DEST_PATH_IMAGE002_17A
处的二元点对势的概率
Figure DEST_PATH_IMAGE118
，其中
Figure DEST_PATH_IMAGE064A
为像素点
Figure DEST_PATH_IMAGE056AA
对应各种组分的二元点对势概率；
两个概率相加得到每个像素点
Figure DEST_PATH_IMAGE056AAA
处的最终条件随机场输出的概率
Figure DEST_PATH_IMAGE066A
。即
Figure DEST_PATH_IMAGE068A
对感兴趣区域的每个像素都上述操作，得到图片上的基于条件随机场的分割结果
Figure DEST_PATH_IMAGE070A
。
5.2 利用贝叶斯模型进行后处理
首先对条件随机场得到的每个像素点分割结果
Figure DEST_PATH_IMAGE121
进行归一化。
根据Bayes公式对SVM的分割结果进行更新：
Figure DEST_PATH_IMAGE123
其中，
Figure DEST_PATH_IMAGE125
由上面的分割结果
Figure DEST_PATH_IMAGE121A
归一化后的值计算得到，对
Figure DEST_PATH_IMAGE128
的大小进行比较，概率值最大的组分为该像素点处对应的组分标签。
实施例
步骤1，获取已经分割好管腔和管壁的多序列颈动脉血管核磁影像(MRI)数据集。
本发明中数据的格式为DICOM，可能的序列组合为
a) 3D TOF、T1、T1+
b) 3D TOF、T1、T2
c) 3D TOF、T1、T2、PD
d) 3D TOF、T1、T2、PD、T1+
e) 3D TOF、T1、T2、T1+
并且要求所有的序列都是已经配准好的序列。在该实施步骤中，以3D TOF、T1、T2、T1+这四个模态序列对脂质(lipid)、钙化(calcification)、纤维(fibrous)、疏松间质(loose matrix)和出血(hemorrhage)这5个组分进行分割为例来具体说明本发明的实施步骤。图4的(a)-(d)分别表示已经分割好管腔管壁的TOF、T1、T2、T1+四个序列。
步骤2，预处理
读取DICOM图像序列，选取以动脉血管内壁为中心的ROI区域，根据临床血管的解剖大小，我们选取感兴趣区域的大小为50x50。选取DICOM头文件中默认的窗位和窗宽，然后运用滤波器对图像进行去噪，本发明使用的滤波器是各项异性扩散(Anisotropicdiffusion)滤波。该滤波在图像处理和计算机视觉中广泛用于保持图像细节特征的同时减少噪声，最后我们对图像的像素值进行归一化，归一化区间为
Figure DEST_PATH_IMAGE130
，这样做的主要原因是为了提取纹理特征的方便。
步骤3，条件随机场(CRF)分割斑块
图2展示了条件随机场的训练，主要分为支持向量机分类器的训练和点对势能量函数的训练。
3.1 一元势的计算
本发明运用SVM分类器来获得每个像素的概率值作为一元势。
1）提取斑块的特征
a)多模态灰度值
多模态灰度值是在临床中最常用也最有效的判断斑块属性的特征，是斑块成分MRI识别的标准，严格来讲，这里的灰度值是跟同侧的胸锁乳突肌亮度相比而言的，但是在实际的算法中很难去操作和量化，因此我们就取预处理之后的多模态像素灰度值。最终得到的灰度特征向量空间为
Figure DEST_PATH_IMAGE132
,其中
Figure DEST_PATH_IMAGE134
对应第
Figure DEST_PATH_IMAGE136
个像素点的灰度特征向量，总的像素点的个数为
Figure DEST_PATH_IMAGE138
，
Figure DEST_PATH_IMAGE140
分别对应四个模态序列位置
Figure DEST_PATH_IMAGE142
处的像素值。
b)纹理特征
纹理特征在二维空间邻域进行计算，提供了邻域中灰度的空间分布信息，所以对区分灰度相似的部分有更好的区分度。本发明使用灰度共生矩阵(Gray-levelCooccurrence Matrix, GLCM)在3x3的邻域内来提取纹理特征。由于GLCM的对称性，在其 8个邻域方向中只有 4个独立方向。本发明用8阶灰度图像来计算灰度共生矩阵，在每个方向有 7个 GLCM 特征被计算，它们分别是熵(entropy)、相关性（Correlation）、同质性（Homogeneity）、惯性（Inertia）、集群阴影（Cluster shade）、集群显著性（Clusterprominence）和哈拉利克相关（Haralick’s correlation）。这 7 个特征在 4个方向上分别计算计算均值和标准差，所以最终得到28个特征。得到的纹理特征向量为
Figure DEST_PATH_IMAGE144
。
c)位置特征
本发明提取斑块的位置特征是一个二维的特征向量
Figure DEST_PATH_IMAGE146
，其中
Figure DEST_PATH_IMAGE148
表示像素点到管腔(lumen)的最短距离，
Figure DEST_PATH_IMAGE150
表示像素点对应位置的管腔厚度，
Figure DEST_PATH_IMAGE152
表示像素点到管壁(Wall)的距离，管腔厚度
Figure DEST_PATH_IMAGE150A
的计算如下所示：
Figure DEST_PATH_IMAGE154
2）特征向量的归一化
最终得到的向量
Figure DEST_PATH_IMAGE156
的维度为34（4+28+2），为了避免训练得到的模型权重过小，引起数值计算不稳定，同时使得参数优化时能以较快的速度收敛。对特征向量空间进行归一化。
3）训练SVM分类器
本发明运用SVM进行组分的分类，组分包括脂质(lipid)、钙化(calcification)、纤维(fibrous)、疏松间质(loose matrix)和出血(hemorrhage)。因此，训练6个SVM分类器，分别对应脂质分类器、钙化分类器、纤维分类器、疏松间质分类器、出血分类器以及正常组织分类器，每个分类器在对应的二分类数据集上进行训练，例如，对于脂质分类器，其训练集分为两个部分，脂质对应的特征向量空间作为正集，其它的(包括钙化、纤维、疏松间质、出血以及正常组织)对应的特征向量空间作为负集。
在实践中，特征的归一化和支持向量机的训练以及输出概率值都是利用libsvm库来实现的。
3.2点对势参数的估计
1）定义点对势能量函数
2）参数的推断
使用均值厂(Mean Field)方法进行参数的估计，该方法是一种变分推断方法，广泛的应用于概率图模型的参数估计中。在本发明实施例中，对于参数的推断，使用python库pydensecrf来完成。
步骤4，贝叶斯后处理训练
4.1提取多模态像素值并作主成分分析
在实际的临床标注斑块的过程中，医生虽然参考了四个模态，但是对四个模态的注意力的分配显然不一样，例如，在对钙化进行判定时，可能需要对四个模态都进行查看，才能做出确定，但是对出血进分割，只需要看TOF上就能大致确认。因此，在这里，运用主成分分析方法(PCA)对每个成分的特征空间进行分析，提取更加有效的多模态灰度值特征。每个模态的要降低到第几维，运用法则：
Figure DEST_PATH_IMAGE158
其中
Figure DEST_PATH_IMAGE100A
为置信度，在本发明实施例中取
Figure DEST_PATH_IMAGE100AA
为0.05。最后得到的各个组分的特征的维度见下表：
Figure DEST_PATH_IMAGE162
4.2Parzen核函数估计
使用sklearn库实现。本发明取高斯核(Gaussian Kernel)的
Figure DEST_PATH_IMAGE164
。
步骤5，分割的测试
5.1得到基于条件随机场的分割结果
SVM得到的分割结果如图4的(e)所示；加上点对势后的条件随机场分割结果如图4的(f)所示。
5.2利用贝叶斯模型进行后处理
贝叶斯后验概率的计算利用sklearn来实现。最终得到的分割结果如图4的(g)所示。
本发明利用条件随机场来分割斑块组分，并用贝叶斯做后处理。相对于目前的方法而言，条件随机场的点对势考虑到了像素之间的关系，从而刻画了斑块的拓扑结构，使得分割的结果更加的符合真实的斑块标签分布。除此之外，后处理对多模态灰度特征进行主成分分析，对每个组分剔除干扰的模态信息，然后利用贝叶斯信念传播公式对条件随机场的分割结果进行更新，实验结果表明，该后处理极大的提高了斑块的分割精度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (2)

1.一种基于条件随机场和贝叶斯后处理的图像分割方法，其特征是，包括以下过程：
S1，获取待分割图像；
S2，在待分割图像中选取感兴趣区域；
S3，在感兴趣区域上建立条件随机场模型，获得每个像素由条件随机场输出的分割概率；
S4，计算在感兴趣区域内经过PCA降维之后各个组分对应的概率密度函数；
S5，根据条件随机场输出的概率和各个组分对应的概率密度函数，基于贝叶斯公式选取条件概率值最大的组分为该像素点处对应的组分标签；
条件随机场模型中一元势的构建：
1)提取感兴趣区域图像I中的每个像素点对应的特征向量
对图像I中的每个像素Vi提取特征，提取的特征包括：多模态灰度值、纹理和位置信息；像素Vi的三个特征构成特征向量
Figure FDA0003959515450000011
其中
Figure FDA0003959515450000012
表示多模态灰度值特征向量，
Figure FDA0003959515450000013
表示纹理特征向量，
Figure FDA0003959515450000014
表示位置特征向量；
2)特征空间的归一化
图像I内所有像素点的特征向量构成特征空间为
Figure FDA0003959515450000015
其中N为感兴趣区域像素点的总个数，把多模态灰度特征向量空间
Figure FDA0003959515450000021
纹理特征向量空间
Figure FDA0003959515450000022
和位置特征向量空间
Figure FDA0003959515450000023
都映射到[0，1]，最终得到归一化后的特征空间
Figure FDA0003959515450000024
其中
Figure FDA0003959515450000025
是
Figure FDA0003959515450000026
归一化后的值，
Figure FDA0003959515450000027
是
Figure FDA0003959515450000028
归一化后的值，
Figure FDA0003959515450000029
是
Figure FDA00039595154500000210
归一化后的值；
3)训练SVM分类器构建一元势
针对要分割的组分种类，每种组分构建一个对应的SVM分类器，利用上面得到的特征空间
Figure FDA00039595154500000211
作为训练集，训练多个SVM分类器；每个分类器对应的训练集由正集和负集组成，正集对应的训练数据为特征空间
Figure FDA00039595154500000212
中该分类器对应的组分的特征向量子集，余下的特征向量子集对应训练负集；
运用sigmoid-fitting方法把二分类结果转化为概率，基于每个像素点处对应的斑块组分的概率值作为条件随机场的一元势；
条件随机场模型中二元势的构建：
对于图像I中的两个像素点Vi和Vj的二元势k(vi，vj)定义为：
Figure FDA00039595154500000213
其中，
Figure FDA0003959515450000031
表示像素点Vi的多模态灰度值特征向量，
Figure FDA0003959515450000032
表示像素点Vi的纹理特征向量，
Figure FDA0003959515450000033
表示像素点Vi的位置特征向量，
Figure FDA0003959515450000034
表示像素点Vj的多模态灰度值特征向量，
Figure FDA0003959515450000035
表示像素点Vj的纹理特征向量，
Figure FDA0003959515450000036
表示像素点Vj的位置特征向量，θα、θβ和θγ为参数；w(1)和w(2)为权重；
运用均值场(meanfield)来对上式中的参数θα、θβ和θγ进行估计，完成二元势的构建；
获得条件随机场输出的概率包括：
对于感兴趣区域的每个像素点Vi，首先得到SVM分类器的二分类结果，然后运用sigmoid-fitting方法把二分类结果转化为概率
Figure FDA0003959515450000037
其中
Figure FDA0003959515450000038
为像素点Vi对应各种组分的一元势概率；
然后还是利用均值场推断方法计算每个像素点Vi处的二元点对势的概率
Figure FDA0003959515450000039
其中
Figure FDA00039595154500000310
为像素点Vi对应各种组分的二元点对势概率；
两个概率相加得到每个像素点Vi处的最终条件随机场输出的概率Pi；即
Pi＝Pi sin gle+Pi pair
对感兴趣区域的每个像素都上述操作，得到图片上的基于条件随机场的分割结果
Figure FDA0003959515450000041
S4中，计算各个组分对应的概率密度函数包括：
4.1对多模态灰度特征向量空间做主成分分析
对多模态灰度特征向量空间
Figure FDA0003959515450000042
按照组分种类进行分组，得到
Figure FDA0003959515450000043
其中C为组分的种类数量，Nc为第c种组分对应的像素的数量；
分别对每一种组分的多模态灰度特征向量空间
Figure FDA0003959515450000044
做主成分分析，降维后得到特征向量空间
Figure FDA0003959515450000045
4.2 Parzen核函数参数估计
使用Parzen对各个组分对应的多模态灰度特征向量空间
Figure FDA0003959515450000046
进行密度函数估计，得到各个组分对应的概率密度函数
Figure FDA0003959515450000047
其中
Figure FDA0003959515450000048
表示组分，这里一共有C个组分。
2.根据权利要求1所述的一种基于条件随机场和贝叶斯后处理的图像分割方法，其特征是，S2步骤中，获取感兴趣区域后对该感兴趣区域进行去噪和归一化处理。
CN201910524896.6A 2019-06-18 2019-06-18 基于条件随机场和贝叶斯后处理的图像分割方法 Active CN110110727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910524896.6A CN110110727B (zh) 2019-06-18 2019-06-18 基于条件随机场和贝叶斯后处理的图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910524896.6A CN110110727B (zh) 2019-06-18 2019-06-18 基于条件随机场和贝叶斯后处理的图像分割方法

Publications (2)

Publication Number Publication Date
CN110110727A CN110110727A (zh) 2019-08-09
CN110110727B true CN110110727B (zh) 2023-04-18

Family

ID=67495287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910524896.6A Active CN110110727B (zh) 2019-06-18 2019-06-18 基于条件随机场和贝叶斯后处理的图像分割方法

Country Status (1)

Country Link
CN (1) CN110110727B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866531A (zh) * 2019-10-15 2020-03-06 深圳新视达视讯工程有限公司 一种基于三维建模的建筑物特征提取方法、系统及存储介质
CN111047827B (zh) * 2019-12-03 2021-06-25 北京深测科技有限公司 环境辅助生活的智能监控方法及系统
CN112102231A (zh) * 2020-07-27 2020-12-18 四川木牛流马智能科技有限公司 基于多尺度条件概率模型的猪瘟病毒电镜图像检测方法
CN112862804B (zh) * 2021-03-01 2023-04-07 河南科技大学第一附属医院 一种眼底视网膜血管图像处理系统及方法
CN113222873B (zh) * 2021-06-01 2023-06-16 平安科技（深圳）有限公司 基于二维高斯分布的图像数据增强方法、装置及存储介质
CN115035611B (zh) * 2022-06-22 2024-08-13 齐鲁工业大学 基于动态权重降维的多模态医学图像分类方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020971A (zh) * 2012-12-28 2013-04-03 青岛爱维互动信息技术有限公司 从图像中自动分割目标对象的方法
WO2017220966A1 (en) * 2016-06-24 2017-12-28 Imperial College Of Science, Technology And Medicine Detecting objects in video data
CN109034066A (zh) * 2018-07-27 2018-12-18 北方工业大学 基于多特征融合的建筑物识别方法
CN109191503A (zh) * 2018-08-23 2019-01-11 河海大学 基于条件随机场的遥感影像变化检测方法及系统
CN109636905A (zh) * 2018-12-07 2019-04-16 东北大学 基于深度卷积神经网络的环境语义建图方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060115145A1 (en) * 2004-11-30 2006-06-01 Microsoft Corporation Bayesian conditional random fields
US10445582B2 (en) * 2016-12-20 2019-10-15 Canon Kabushiki Kaisha Tree structured CRF with unary potential function using action unit features of other segments as context feature

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020971A (zh) * 2012-12-28 2013-04-03 青岛爱维互动信息技术有限公司 从图像中自动分割目标对象的方法
WO2017220966A1 (en) * 2016-06-24 2017-12-28 Imperial College Of Science, Technology And Medicine Detecting objects in video data
CN109034066A (zh) * 2018-07-27 2018-12-18 北方工业大学 基于多特征融合的建筑物识别方法
CN109191503A (zh) * 2018-08-23 2019-01-11 河海大学 基于条件随机场的遥感影像变化检测方法及系统
CN109636905A (zh) * 2018-12-07 2019-04-16 东北大学 基于深度卷积神经网络的环境语义建图方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Two-stage fast inter CU decision for HEVC based on bayesian method and conditional random fields;Jia Zhang等;《IEEE Transaction on Circuits and Systems for Video Technology》;20170831;第28卷(第11期);3223-3235 *
一种基于SVM后验概率的MRF分割方法;王鹏伟等;《遥感学报》;20080315(第02期);208-214 *
基于概率图模型的图像分割;王强;《中国硕士学位论文全文数据库(信息科技辑)》;20170715(第2017（07）期);I138-669 *

Also Published As

Publication number Publication date
CN110110727A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN110110727B (zh) 基于条件随机场和贝叶斯后处理的图像分割方法
Moccia et al. Blood vessel segmentation algorithms—review of methods, datasets and evaluation metrics
Xian et al. Automatic breast ultrasound image segmentation: A survey
US11730387B2 (en) Method for detection and diagnosis of lung and pancreatic cancers from imaging scans
US11593943B2 (en) RECIST assessment of tumour progression
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
Despotović et al. MRI segmentation of the human brain: challenges, methods, and applications
Keraudren et al. Automated fetal brain segmentation from 2D MRI slices for motion correction
Mukherjee et al. Lung nodule segmentation using deep learned prior based graph cut
Parisot et al. Joint tumor segmentation and dense deformable registration of brain MR images
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
US9805473B2 (en) Method and system for segmentation of brain structures in 3D magnetic resonance images
CN111105424A (zh) 淋巴结自动勾画方法及装置
US20130182931A1 (en) Method for brain tumor segmentation in multi-parametric image based on statistical information and multi-scale struture information
RU2654199C1 (ru) Сегментация тканей человека на компьютерном изображении
Yi et al. Discriminative, semantic segmentation of brain tissue in MR images
CN113826143A (zh) 特征点检测
JP2023517058A (ja) 画像処理に基づく腫瘍の自動検出
Zhou et al. Optic disc and cup segmentation in retinal images for glaucoma diagnosis by locally statistical active contour model with structure prior
Mahapatra et al. Active learning based segmentation of Crohn's disease using principles of visual saliency
WO2018176189A1 (zh) 图像分割的方法及系统
Mahapatra et al. Visual saliency based active learning for prostate mri segmentation
Dangi et al. Cine cardiac MRI slice misalignment correction towards full 3D left ventricle segmentation
Wang et al. 4D active cut: An interactive tool for pathological anatomy modeling
Sivanesan et al. Unsupervised medical image segmentation with adversarial networks: From edge diagrams to segmentation maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant