CN110110727A - 基于条件随机场和贝叶斯后处理的图像分割方法 - Google Patents
基于条件随机场和贝叶斯后处理的图像分割方法 Download PDFInfo
- Publication number
- CN110110727A CN110110727A CN201910524896.6A CN201910524896A CN110110727A CN 110110727 A CN110110727 A CN 110110727A CN 201910524896 A CN201910524896 A CN 201910524896A CN 110110727 A CN110110727 A CN 110110727A
- Authority
- CN
- China
- Prior art keywords
- pixel
- random field
- component
- condition random
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005192 partition Methods 0.000 title claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 43
- 230000009467 reduction Effects 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 79
- 238000012549 training Methods 0.000 claims description 30
- 238000010606 normalization Methods 0.000 claims description 17
- 239000000470 constituent Substances 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 2
- 238000012805 post-processing Methods 0.000 abstract description 6
- 238000012706 support-vector machine Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 150000002632 lipids Chemical class 0.000 description 9
- 230000002308 calcification Effects 0.000 description 8
- 238000000513 principal component analysis Methods 0.000 description 8
- 208000032843 Hemorrhage Diseases 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000000740 bleeding effect Effects 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000002792 vascular Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 210000001715 carotid artery Anatomy 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000000835 fiber Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 210000001367 artery Anatomy 0.000 description 3
- 239000004615 ingredient Substances 0.000 description 3
- 238000005381 potential energy Methods 0.000 description 3
- 201000001320 Atherosclerosis Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 208000037260 Atherosclerotic Plaque Diseases 0.000 description 1
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003447 ipsilateral effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005311 nuclear magnetism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于条件随机场和贝叶斯后处理的图像分割方法，包括以下过程：获取待分割图像；在待分割图像中选取感兴趣区域；在感兴趣区域上建立条件随机场模型，获得每个像素由条件随机场输出的分割概率；计算在感兴趣区域内各个组分经过PCA降维之后对应的概率密度函数；根据条件随机场输出的概率和各个组分对应的概率密度函数，基于贝叶斯公式选取条件概率值最大的组分为该像素点处对应的组分标签。本发明利用条件随机场充分建模了组分之间的一元和二元关系，后处理提取了最有效的模态特征，最终，本发明极大的提高了斑块的分割精度。
Description
技术领域
本发明属于图像处理技术领域，涉及一种动脉粥样硬化斑块成分自动分割方法，具体涉及一种基于条件随机场和贝叶斯后处理的图像分割方法。
背景技术
图像分割技术是图像处理领域的一个重要研究主题，如应用到医学领域的动脉粥样硬化斑块成分的分割，在动脉粥样硬化的诊断中有着重要的应用，对分割出的斑块连同血管壁和血管腔一起进行三维的渲染，能够得病灶的直观显示；此外，基于分割出的斑块的形态、位置和大小的统计，还能够对对斑块进行力学模拟分析，得出斑块破裂的风险系数，所有的这些都有助于动脉粥样硬化的诊断。因此，对医学图像中斑块成分进行快速而精准的自动分割显得尤为重要，然而，现有的技术无论是在精度或者鲁棒性方面都存在着较大的问题。
现有的分割算法主要是基于机器学习方法论，可以分为无监督和有监督的方法。对于无监督的分割，一般使用聚类算法。首先，在感兴趣区域内，对每个像素提取多模态的灰度值作为特征向量，形成特征空间，然后运用诸如k均值(k-means)、模糊k均值(fuzzy k-means)、层次聚类(hierarchical clustering)、谱聚类(spectral clustering)等聚类算法对特征空间进行聚类。这类无监督聚类算法主要有如下几个缺点：首先，由于只使用了基于多模态灰度的特征，不能充分刻画斑块的特征，导致分割的精度不能满足实际需求；其次，必须事先确定要分割的斑块的类型以及类型的个数，这就要求分割者要有一定的斑块分割经验，从而降低了分割的效率。对于有监督的学习方法，一般分为两个步骤：首先，从训练数据集中提取斑块的特征，一般包括多模态灰度特征、形态学特征、纹理特征和方向梯度直方图(HOG)等；然后来使用支持向量机(SVM)分类器或者贝叶斯(Bayes)分类器对这些特征进行分类。支持向量机是一种经典而高效的二分类器，一般使用序列最小最优化算法(SMO)在特征空间上进行训练得到模型参数，而贝叶斯分类器则使用高斯混合模型(GMM)等有参数估计方法或者Parzen窗等无参数估计方法进行参数的估计。这些有监督的学习方法虽然准确率较无监督的方法有较大的提升，但是还存在以下问题：首先，需要人工提取特征，这需要工作者有一定的感兴趣区域（如斑块）处理经验，而且提取到的特征向量是很多特征简单的叠加在一起，这导致特征向量中含有的噪声比较多，不能精准而充分的刻画斑块的特征；其次，由于是对单个像素进行分类，没有考虑到像素与像素之间的关联，分割结果中有很多的孤立区域，虽然可以使用诸如开闭运算等形态学操作或者水平集(LevelSet)等方法进行后处理，但是效果有限而且后处理过程也比较繁琐，降低了分割的效率。
发明内容
本发明的目的在于克服现有技术的不足，提供了一种基于条件随机场和贝叶斯后处理的图像分割方法，解决了现有技术中图像分割精确度较低、鲁棒性不高的技术问题。
为解决上述技术问题，本发明提供了一种基于条件随机场和贝叶斯后处理的图像分割方法，其特征是，包括以下过程：
S1，获取待分割图像；
S2，在待分割图像中选取感兴趣区域；
S3，在感兴趣区域上建立条件随机场模型，获得每个像素由条件随机场输出的分割概率；
S4，计算在感兴趣区域内各个组分经过PCA降维之后对应的概率密度函数；
S5，根据条件随机场输出的概率和各个组分对应的概率密度函数，基于贝叶斯公式选取条件概率值最大的组分为该像素点处对应的组分标签。
进一步的，S2步骤中，获取感兴趣区域后对该感兴趣区域进行去噪和归一化处理。
进一步的，条件随机场模型中一元势的构建：
1）提取感兴趣区域图像I中的每个像素点对应的特征向量
对图像I中的每个像素提取特征，提取的特征包括：多模态灰度值、纹理和位置信息；像素的三个特征构成特征向量，其中表示多模态灰度值特征向量，表示纹理特征向量，表示位置特征向量；
2）特征空间的归一化
图像I内所有像素点的特征向量构成特征空间为，其中为感兴趣区域像素点的总个数，把多模态灰度特征向量空间、纹理特征向量空间和位置特征向量空间都映射到，最终得到归一化后的特征空间，其中，是归一化后的值，是归一化后的值，是归一化后的值；
3）训练SVM分类器构建一元势
针对要分割的组分种类，每种组分构建一个对应的SVM分类器，利用上面得到的特征空间作为训练集，训练多个SVM分类器；每个分类器对应的训练集由正集和负集组成，正集对应的训练数据为特征空间中该分类器对应的组分的特征向量子集，余下的特征向量子集对应训练负集；
运用sigmoid-fitting方法把二分类结果转化为概率，基于每个像素点处对应的斑块组分的概率值作为条件随机场的一元势。
进一步的，条件随机场模型中二元势的构建：
对于图像I中的两个像素点和的二元势定义为：
其中，表示像素点的多模态灰度值特征向量，表示像素点的纹理特征向量，表示像素点的位置特征向量，表示像素点的多模态灰度值特征向量，表示像素点的纹理特征向量，表示像素点的位置特征向量，、和为参数；和为权重；
运用均值场(mean field)来对上式中的参数、和进行估计，完成二元势的构建。
进一步的，获得条件随机场输出的概率包括：
对于感兴趣区域的每个像素点，首先得到SVM分类器的二分类结果，然后运用sigmoid-fitting方法把二分类结果转化为概率，其中为像素点对应各种组分的一元势概率；
然后还是利用均值场推断方法计算每个像素点处的二元点对势的概率，其中为像素点对应各种组分的二元点对势概率；
两个概率相加得到每个像素点处的最终条件随机场输出的概率；即
对感兴趣区域的每个像素都上述操作，得到图片上的基于条件随机场的分割结果。
进一步的，S4中，计算各个组分对应的概率密度函数包括：
4.1对多模态灰度特征向量空间做主成分分析
对多模态灰度特征向量空间按照组分种类进行分组，得到，其中C为组分的种类数量，为第c种组分对应的像素的数量；
分别对每一种组分的多模态灰度特征向量空间做主成分分析，降维后得到特征向量空间；
4.2 Parzen核函数参数估计
使用Parzen对各个组分对应的多模态灰度特征向量空间进行密度函数估计，得到各个组分对应的概率密度函数，其中表示组分，这里一共有C个组分。
与现有技术相比，本发明所达到的有益效果是：本发明的利用条件随机场来分割斑块组分，并用贝叶斯做后处理。条件随机场的点对势考虑到了像素之间的关系，从而刻画了斑块的拓扑结构，使得分割的结果更加的符合真实的斑块标签分布。除此之外，后处理对多模态灰度特征进行主成分分析，对每个组分剔除了干扰的模态信息，然后利用贝叶斯公式对条件随机场的分割结果进行更新，实验结果表明，该后处理极大的提高了斑块的分割精度。
附图说明
图1是本发明方法的整体流程图；
图2是条件随机场(CRF)的训练流程图；
图3是分割测试的具体流程图；
图4 分割结果示意图，其中(a)-(d) 已经分割好管腔和管壁的T1、T2、T1+和TOF四个序列的左侧颈动脉；(e)SVM分割结果；(f)CRF分割结果；(g) 经过Bayes后处理的结果。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明的一种基于条件随机场和贝叶斯后处理的图像分割方法，利用条件随机场(CRF)和贝叶斯后处理来进行精准的分割，而且鲁棒性较现有的方法也有较大的提升。基于条件随机场的分割在考虑单个像素的分类的同时还对像素之间的关系进行了建模，在保证分割结果的连续性的同时提高了分割的精度，相当于把有监督的机器学习方法和后处理这两个过程结合起来变成了端到端(end-to-end)的一个过程。最后，对多模态灰度特征进行主成分分析(PCA)，利用贝叶斯信念传播公式对基于条件随机场的分割结果进行改进，由于主成分分析提取了最有用的灰度特征，剔除了特征中的噪音干扰，实验表明，该后处理使得分割的精度有表较大的提升。
本发明的一种基于条件随机场和贝叶斯后处理的图像分割方法，参见图1所示，包括以下过程：
步骤S1，获取已经分割好管腔(lumen)和管壁(wall)的多模态颈动脉血管核磁影像(MRI)数据集作为待分割目标（斑块的分割一般要求先分割好管腔和管壁），并且该数据集内已经标注好斑块组分。
步骤S2，选取以动脉血管内壁中心为中心的感兴趣区域（ROI），对该感兴趣区域进行去噪和归一化处理，其中去噪是为了获得更加清晰图像，归一化是为了较少后续处理的误差，以提高后续步骤处理的精度。感兴趣区域进行以上处理后最终得到感兴趣区域图像I。
步骤S3，在经过S2处理过后的图像I上构建条件随机场模型。
条件随机场模型的构建分为两个步骤：以每个像素点处的对应斑块组分(plaquecomponent)的概率值为基础构建随机场的一元势(Unary Potentials)；其次是构建刻画像素间的关系的二元势能(Pairwise Potentials)。
具体过程为：
3.1 一元势的构建
本实施例中基于SVM分类器来得到每个像素点处对应的斑块组分的概率值作为一元势，具体的过程分为两步：首先提取感兴趣区域内所有像素点的特征向量形成特征空间；其次是训练SVM分类器。
1）提取图像I中每个像素对应的的特征向量
对图像I中的每个像素提取特征，提取的特征包括：多模态灰度值、纹理和位置信息；像素的三个特征构成特征向量，其中表示多模态灰度值特征向量，表示纹理特征向量，表示位置特征向量。
2）特征空间的归一化
图像I内所有像素点的特征向量构成特征空间为，其中为感兴趣区域像素点的总个数，把多模态灰度特征向量空间、纹理特征向量空间和位置特征向量空间都映射到，最终得到归一化后的特征空间，其中，是归一化后的值，是归一化后的值，是归一化后的值。
3）训练SVM分类器构建一元势
针对要分割的组分种类，每种组分构建一个对应的SVM分类器，例如要分割出脂质和钙化，则需要训练三个分类器：脂质SVM分类器、钙化SVM分类器和正常组织分类器。
利用上面得到的特征空间作为训练集，训练多个SVM分类器。每个分类器对应的训练集由正集和负集组成，正集对应的训练数据为特征空间中该分类器对应的组分的特征向量子集，余下的特征向量子集对应训练负集。
运用sigmoid-fitting方法把二分类结果转化为概率，基于每个像素点处对应的斑块组分的概率值作为条件随机场的一元势。
3.2二元势的构建
使用全连接的条件随机场，该方法可具体参考现有文献《Efficient Inference inFully Connected CRFs with Gaussian Edge Potentials》，把该论文中二元点对势的定义改为基于多模态灰度值和位置信息，对于图像I中的两个像素点和的二元势定义为：
其中，表示像素点的多模态灰度值特征向量，表示像素点的纹理特征向量，表示像素点的位置特征向量，表示像素点的多模态灰度值特征向量，表示像素点的纹理特征向量，表示像素点的位置特征向量，、和为参数；和为权重。
第一项刻画两个像素之间的相似性，因为像素值和位置相近的像素点有更大的概率属于同一个组分；第二项为平滑项，用来移除孤立的点，能够约束分割结果，使得分割结果更加的紧凑和均一，和用来调节两项的权重，本发明中取。
最后运用均值场(Mean Field)来对上式中的参数、和进行估计，完成二元势的构建。
步骤S4，计算各个组分对应的概率密度函数。
该过程分为两个步骤：
4.1对多模态灰度特征向量空间做主成分分析
对多模态灰度特征向量空间按照组分种类进行分组，得到,其中为组分的种类数量，为第c种组分对应的像素的数量。
分别对每一种组分的多模态灰度特征向量空间做主成分分析(PCA)，设定降维的置信度p，依次取，其中是此特征向量空间的维度，计算是否满足不等式，如果满足，则停止计算，并且降低到维度k ，其中为降到第d 维对应的协方差矩阵的特征矩阵，降维后得到特征向量空间。
4.2 Parzen核函数参数估计
对各个组分对应的多模态灰度特征向量空间进行密度函数估计，本发明使用Parzen进行估计，最后得到各个组分对应的概率密度函数其中表示组分，这里一共有个组分。
步骤S5，分割测试。
5.1得到基于条件随机场的分割结果
获取测试图像，为已经分割好管腔(lumen)和管壁(wall)的多模态颈动脉血管核磁影像(MRI)序列。与训练集不同的是，这里不需要标定斑块组分。
测试图像经过步骤S1S2后得到感兴趣区域，输入到条件随机场模型，对于感兴趣区域的每个像素点，首先得到SVM分类器的二分类结果，然后运用sigmoid-fitting方法把二分类结果转化为概率，其中为像素点对应各种组分的一元势概率；
然后还是利用均值场推断方法计算每个像素点处的二元点对势的概率，其中为像素点对应各种组分的二元点对势概率；
两个概率相加得到每个像素点处的最终条件随机场输出的概率。即
对感兴趣区域的每个像素都上述操作，得到图片上的基于条件随机场的分割结果。
5.2 利用贝叶斯模型进行后处理
首先对条件随机场得到的每个像素点分割结果进行归一化。
根据Bayes公式对SVM的分割结果进行更新：
其中，由上面的分割结果归一化后的值计算得到，对的大小进行比较，概率值最大的组分为该像素点处对应的组分标签。
实施例
步骤1，获取已经分割好管腔和管壁的多序列颈动脉血管核磁影像(MRI)数据集。
本发明中数据的格式为DICOM，可能的序列组合为
a) 3D TOF、T1、T1+
b) 3D TOF、T1、T2
c) 3D TOF、T1、T2、PD
d) 3D TOF、T1、T2、PD、T1+
e) 3D TOF、T1、T2、T1+
并且要求所有的序列都是已经配准好的序列。在该实施步骤中，以3D TOF、T1、T2、T1+这四个模态序列对脂质(lipid)、钙化(calcification)、纤维(fibrous)、疏松间质(loosematrix)和出血(hemorrhage)这5个组分进行分割为例来具体说明本发明的实施步骤。图4的(a)-(d)分别表示已经分割好管腔管壁的TOF、T1、T2、T1+四个序列。
步骤2，预处理
读取DICOM图像序列，选取以动脉血管内壁为中心的ROI区域，根据临床血管的解剖大小，我们选取感兴趣区域的大小为50x50。选取DICOM头文件中默认的窗位和窗宽，然后运用滤波器对图像进行去噪，本发明使用的滤波器是各项异性扩散(Anisotropic diffusion)滤波。该滤波在图像处理和计算机视觉中广泛用于保持图像细节特征的同时减少噪声，最后我们对图像的像素值进行归一化，归一化区间为，这样做的主要原因是为了提取纹理特征的方便。
步骤3，条件随机场(CRF)分割斑块
图2展示了条件随机场的训练，主要分为支持向量机分类器的训练和点对势能量函数的训练。
3.1 一元势的计算
本发明运用SVM分类器来获得每个像素的概率值作为一元势。
1）提取斑块的特征
a)多模态灰度值
多模态灰度值是在临床中最常用也最有效的判断斑块属性的特征，是斑块成分MRI识别的标准，严格来讲，这里的灰度值是跟同侧的胸锁乳突肌亮度相比而言的，但是在实际的算法中很难去操作和量化，因此我们就取预处理之后的多模态像素灰度值。最终得到的灰度特征向量空间为 ,其中对应第i个像素点的灰度特征向量，总的像素点的个数为N，分别对应四个模态序列位置i处的像素值。
b)纹理特征
纹理特征在二维空间邻域进行计算，提供了邻域中灰度的空间分布信息，所以对区分灰度相似的部分有更好的区分度。本发明使用灰度共生矩阵(Gray-level CooccurrenceMatrix, GLCM)在3x3的邻域内来提取纹理特征。由于GLCM的对称性，在其 8个邻域方向中只有 4个独立方向。本发明用8阶灰度图像来计算灰度共生矩阵，在每个方向有 7个 GLCM特征被计算，它们分别是熵(entropy)、相关性（Correlation）、同质性（Homogeneity）、惯性（Inertia）、集群阴影（Cluster shade）、集群显著性（Cluster prominence）和哈拉利克相关（Haralick’s correlation）。这 7 个特征在 4个方向上分别计算计算均值和标准差，所以最终得到28个特征。得到的纹理特征向量为。
c)位置特征
本发明提取斑块的位置特征是一个二维的特征向量，其中表示像素点到管腔(lumen)的最短距离，表示像素点对应位置的管腔厚度，表示像素点到管壁(Wall)的距离，管腔厚度的计算如下所示：
2）特征向量的归一化
最终得到的向量的维度为34（4+28+2），为了避免训练得到的模型权重过小，引起数值计算不稳定，同时使得参数优化时能以较快的速度收敛。对特征向量空间进行归一化。
3）训练SVM分类器
本发明运用SVM进行组分的分类，组分包括脂质(lipid)、钙化(calcification)、纤维(fibrous)、疏松间质(loose matrix)和出血(hemorrhage)。因此，训练6个SVM分类器，分别对应脂质分类器、钙化分类器、纤维分类器、疏松间质分类器、出血分类器以及正常组织分类器，每个分类器在对应的二分类数据集上进行训练，例如，对于脂质分类器，其训练集分为两个部分，脂质对应的特征向量空间作为正集，其它的(包括钙化、纤维、疏松间质、出血以及正常组织)对应的特征向量空间作为负集。
在实践中，特征的归一化和支持向量机的训练以及输出概率值都是利用libsvm库来实现的。
3.2点对势参数的估计
1）定义点对势能量函数
2）参数的推断
使用均值厂(Mean Field)方法进行参数的估计，该方法是一种变分推断方法，广泛的应用于概率图模型的参数估计中。在本发明实施例中，对于参数的推断，使用python库pydensecrf来完成。
步骤4，贝叶斯后处理训练
4.1提取多模态像素值并作主成分分析
在实际的临床标注斑块的过程中，医生虽然参考了四个模态，但是对四个模态的注意力的分配显然不一样，例如，在对钙化进行判定时，可能需要对四个模态都进行查看，才能做出确定，但是对出血进分割，只需要看TOF上就能大致确认。因此，在这里，运用主成分分析方法(PCA)对每个成分的特征空间进行分析，提取更加有效的多模态灰度值特征。每个模态的要降低到第几维，运用法则：
其中p为置信度，在本发明实施例中取p为0.05。最后得到的各个组分的特征的维度见下表：
4.2Parzen核函数估计
使用sklearn库实现。本发明取高斯核(Gaussian Kernel)的。
步骤5，分割的测试
5.1得到基于条件随机场的分割结果
SVM得到的分割结果如图4的(e)所示；加上点对势后的条件随机场分割结果如图4的(f)所示。
5.2利用贝叶斯模型进行后处理
贝叶斯后验概率的计算利用sklearn来实现。最终得到的分割结果如图4的(g)所示。
本发明利用条件随机场来分割斑块组分，并用贝叶斯做后处理。相对于目前的方法而言，条件随机场的点对势考虑到了像素之间的关系，从而刻画了斑块的拓扑结构，使得分割的结果更加的符合真实的斑块标签分布。除此之外，后处理对多模态灰度特征进行主成分分析，对每个组分剔除干扰的模态信息，然后利用贝叶斯信念传播公式对条件随机场的分割结果进行更新，实验结果表明，该后处理极大的提高了斑块的分割精度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (6)
1.一种基于条件随机场和贝叶斯后处理的图像分割方法，其特征是，包括以下过程：
S1，获取待分割图像；
S2，在待分割图像中选取感兴趣区域；
S3，在感兴趣区域上建立条件随机场模型，获得每个像素由条件随机场输出的分割概率；
S4，计算在感兴趣区域内经过PCA降维之后各个组分对应的概率密度函数；
S5，根据条件随机场输出的概率和各个组分对应的概率密度函数，基于贝叶斯公式选取条件概率值最大的组分为该像素点处对应的组分标签。
2.根据权利要求1所述的一种基于条件随机场和贝叶斯后处理的图像分割方法，其特征是，S2步骤中，获取感兴趣区域后对该感兴趣区域进行去噪和归一化处理。
3.根据权利要求1所述的一种基于条件随机场和贝叶斯后处理的图像分割方法，其特征是，条件随机场模型中一元势的构建：
1）提取感兴趣区域图像I中的每个像素点对应的特征向量
对图像I中的每个像素提取特征，提取的特征包括：多模态灰度值、纹理和位置信息；像素的三个特征构成特征向量，其中表示多模态灰度值特征向量，表示纹理特征向量，表示位置特征向量；
2）特征空间的归一化
图像I内所有像素点的特征向量构成特征空间为，其中为感兴趣区域像素点的总个数，把多模态灰度特征向量空间、纹理特征向量空间和位置特征向量空间都映射到，最终得到归一化后的特征空间，其中，是归一化后的值，是归一化后的值，是归一化后的值；
3）训练SVM分类器构建一元势
针对要分割的组分种类，每种组分构建一个对应的SVM分类器，利用上面得到的特征空间作为训练集，训练多个SVM分类器；每个分类器对应的训练集由正集和负集组成，正集对应的训练数据为特征空间中该分类器对应的组分的特征向量子集，余下的特征向量子集对应训练负集；
运用sigmoid-fitting方法把二分类结果转化为概率，基于每个像素点处对应的斑块组分的概率值作为条件随机场的一元势。
4.根据权利要求3所述的一种基于条件随机场和贝叶斯后处理的图像分割方法，其特征是，条件随机场模型中二元势的构建：
对于图像I中的两个像素点和的二元势定义为：
其中，表示像素点的多模态灰度值特征向量，表示像素点的纹理特征向量，表示像素点的位置特征向量，表示像素点的多模态灰度值特征向量，表示像素点的纹理特征向量，表示像素点的位置特征向量，、和为参数；和为权重；
运用均值场(mean field)来对上式中的参数、和进行估计，完成二元势的构建。
5.根据权利要求4所述的一种基于条件随机场和贝叶斯后处理的图像分割方法，其特征是，获得条件随机场输出的概率包括：
对于感兴趣区域的每个像素点，首先得到SVM分类器的二分类结果，然后运用sigmoid-fitting方法把二分类结果转化为概率，其中为像素点对应各种组分的一元势概率；
然后还是利用均值场推断方法计算每个像素点处的二元点对势的概率，其中为像素点对应各种组分的二元点对势概率；
两个概率相加得到每个像素点处的最终条件随机场输出的概率；即
对感兴趣区域的每个像素都上述操作，得到图片上的基于条件随机场的分割结果。
6.根据权利要求1所述的一种基于条件随机场和贝叶斯后处理的图像分割方法，其特征是，S4中，计算各个组分对应的概率密度函数包括：
4.1对多模态灰度特征向量空间做主成分分析
对多模态灰度特征向量空间按照组分种类进行分组，得到，其中C为组分的种类数量，为第c种组分对应的像素的数量；
分别对每一种组分的多模态灰度特征向量空间做主成分分析，降维后得到特征向量空间；
4.2 Parzen核函数参数估计
使用Parzen对各个组分对应的多模态灰度特征向量空间进行密度函数估计，得到各个组分对应的概率密度函数，其中表示组分，这里一共有C个组分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910524896.6A CN110110727B (zh) | 2019-06-18 | 2019-06-18 | 基于条件随机场和贝叶斯后处理的图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910524896.6A CN110110727B (zh) | 2019-06-18 | 2019-06-18 | 基于条件随机场和贝叶斯后处理的图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110110727A true CN110110727A (zh) | 2019-08-09 |
| CN110110727B CN110110727B (zh) | 2023-04-18 |
Family
ID=67495287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910524896.6A Active CN110110727B (zh) | 2019-06-18 | 2019-06-18 | 基于条件随机场和贝叶斯后处理的图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110110727B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866531A (zh) * | 2019-10-15 | 2020-03-06 | 深圳新视达视讯工程有限公司 | 一种基于三维建模的建筑物特征提取方法、系统及存储介质 |
| CN111047827A (zh) * | 2019-12-03 | 2020-04-21 | 北京深测科技有限公司 | 环境辅助生活的智能监控方法及系统 |
| CN112102231A (zh) * | 2020-07-27 | 2020-12-18 | 四川木牛流马智能科技有限公司 | 基于多尺度条件概率模型的猪瘟病毒电镜图像检测方法 |
| CN112862804A (zh) * | 2021-03-01 | 2021-05-28 | 河南科技大学第一附属医院 | 一种眼底视网膜血管图像处理系统及方法 |
| CN113222873A (zh) * | 2021-06-01 | 2021-08-06 | 平安科技（深圳）有限公司 | 基于二维高斯分布的图像数据增强方法、装置及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060115145A1 (en) * | 2004-11-30 | 2006-06-01 | Microsoft Corporation | Bayesian conditional random fields |
| CN103020971A (zh) * | 2012-12-28 | 2013-04-03 | 青岛爱维互动信息技术有限公司 | 从图像中自动分割目标对象的方法 |
| WO2017220966A1 (en) * | 2016-06-24 | 2017-12-28 | Imperial College Of Science, Technology And Medicine | Detecting objects in video data |
| US20180173955A1 (en) * | 2016-12-20 | 2018-06-21 | Canon Kabushiki Kaisha | Tree structured crf with unary potential function using action unit features of other segments as context feature |
| CN109034066A (zh) * | 2018-07-27 | 2018-12-18 | 北方工业大学 | 基于多特征融合的建筑物识别方法 |
| CN109191503A (zh) * | 2018-08-23 | 2019-01-11 | 河海大学 | 基于条件随机场的遥感影像变化检测方法及系统 |
| CN109636905A (zh) * | 2018-12-07 | 2019-04-16 | 东北大学 | 基于深度卷积神经网络的环境语义建图方法 |
-
2019
- 2019-06-18 CN CN201910524896.6A patent/CN110110727B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060115145A1 (en) * | 2004-11-30 | 2006-06-01 | Microsoft Corporation | Bayesian conditional random fields |
| CN103020971A (zh) * | 2012-12-28 | 2013-04-03 | 青岛爱维互动信息技术有限公司 | 从图像中自动分割目标对象的方法 |
| WO2017220966A1 (en) * | 2016-06-24 | 2017-12-28 | Imperial College Of Science, Technology And Medicine | Detecting objects in video data |
| US20180173955A1 (en) * | 2016-12-20 | 2018-06-21 | Canon Kabushiki Kaisha | Tree structured crf with unary potential function using action unit features of other segments as context feature |
| CN109034066A (zh) * | 2018-07-27 | 2018-12-18 | 北方工业大学 | 基于多特征融合的建筑物识别方法 |
| CN109191503A (zh) * | 2018-08-23 | 2019-01-11 | 河海大学 | 基于条件随机场的遥感影像变化检测方法及系统 |
| CN109636905A (zh) * | 2018-12-07 | 2019-04-16 | 东北大学 | 基于深度卷积神经网络的环境语义建图方法 |
Non-Patent Citations (3)
| Title |
|---|
| JIA ZHANG等: "Two-stage fast inter CU decision for HEVC based on bayesian method and conditional random fields", 《IEEE TRANSACTION ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 * |
| 王强: "基于概率图模型的图像分割", 《中国硕士学位论文全文数据库(信息科技辑)》 * |
| 王鹏伟等: "一种基于SVM后验概率的MRF分割方法", 《遥感学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110866531A (zh) * | 2019-10-15 | 2020-03-06 | 深圳新视达视讯工程有限公司 | 一种基于三维建模的建筑物特征提取方法、系统及存储介质 |
| CN111047827A (zh) * | 2019-12-03 | 2020-04-21 | 北京深测科技有限公司 | 环境辅助生活的智能监控方法及系统 |
| CN112102231A (zh) * | 2020-07-27 | 2020-12-18 | 四川木牛流马智能科技有限公司 | 基于多尺度条件概率模型的猪瘟病毒电镜图像检测方法 |
| CN112862804A (zh) * | 2021-03-01 | 2021-05-28 | 河南科技大学第一附属医院 | 一种眼底视网膜血管图像处理系统及方法 |
| CN113222873A (zh) * | 2021-06-01 | 2021-08-06 | 平安科技（深圳）有限公司 | 基于二维高斯分布的图像数据增强方法、装置及存储介质 |
| CN113222873B (zh) * | 2021-06-01 | 2023-06-16 | 平安科技（深圳）有限公司 | 基于二维高斯分布的图像数据增强方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110110727B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Cascaded fully convolutional networks for automatic prenatal ultrasound image segmentation | |
| CN110110727A (zh) | 基于条件随机场和贝叶斯后处理的图像分割方法 | |
| Janowczyk et al. | Deep learning for digital pathology image analysis: A comprehensive tutorial with selected use cases | |
| Babenko et al. | Robust object tracking with online multiple instance learning | |
| Cheng et al. | HFS: Hierarchical feature selection for efficient image segmentation | |
| CN110766051A (zh) | 一种基于神经网络的肺结节形态学分类方法 | |
| CN110853011B (zh) | 用于肺结节检测的卷积神经网络模型的构建方法 | |
| CN113673305A (zh) | 使用最短连线特征的图像标记 | |
| CN109934081A (zh) | 一种基于深度神经网络的行人属性识别方法、装置及存储介质 | |
| Urdal et al. | Prognostic prediction of histopathological images by local binary patterns and RUSBoost | |
| Zhao et al. | Men also do laundry: Multi-attribute bias amplification | |
| US20240054639A1 (en) | Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework | |
| Sun et al. | Detection of breast tumour tissue regions in histopathological images using convolutional neural networks | |
| Chu et al. | Subimage cosegmentation in a single white blood cell image | |
| Nedjar et al. | A topological approach for mammographic density classification using a modified synthetic minority over-sampling technique algorithm | |
| Rao et al. | Weight pruning-UNet: Weight pruning UNet with depth-wise separable convolutions for semantic segmentation of kidney tumors | |
| CN107451578A (zh) | 基于体感设备的聋哑人手语机器翻译方法 | |
| Liu et al. | URDNet: a unified regression network for GGO detection in lung CT images | |
| Taneja et al. | Pancreatic cancer detection by an integrated level set-based deep learning model | |
| Jensch et al. | A comparative evaluation of three skin color detection approaches | |
| Park et al. | Automatic bone segmentation in knee MR images using a coarse-to-fine strategy | |
| da Fonseca et al. | New hierarchy-based segmentation layer: towards automatic marker proposal | |
| Esmaeilishahmirzadi et al. | A novel method for enhancing the classification of pulmonary data sets using generative adversarial networks | |
| Leinio et al. | Interactive border contour with automatic tracking algorithm selection for medical images | |
| Saremi et al. | Improved use of descriptors for early recognition of actions in video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |