CN102663728A - 基于字典学习的医学图像交互式联合分割 - Google Patents
基于字典学习的医学图像交互式联合分割 Download PDFInfo
- Publication number
- CN102663728A CN102663728A CN2012100618363A CN201210061836A CN102663728A CN 102663728 A CN102663728 A CN 102663728A CN 2012100618363 A CN2012100618363 A CN 2012100618363A CN 201210061836 A CN201210061836 A CN 201210061836A CN 102663728 A CN102663728 A CN 102663728A
- Authority
- CN
- China
- Prior art keywords
- image
- zone
- background
- dictionary
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 29
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 5
- 230000003187 abdominal effect Effects 0.000 claims description 12
- 239000004744 fabric Substances 0.000 claims description 11
- 238000013459 approach Methods 0.000 claims description 6
- 230000003902 lesion Effects 0.000 claims description 6
- 208000005718 Stomach Neoplasms Diseases 0.000 claims description 4
- 201000000498 stomach carcinoma Diseases 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 3
- 210000001015 abdomen Anatomy 0.000 abstract 3
- 210000002784 stomach Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于字典学习的医学图像交互式联合分割方法,主要解决现有交互式分割腹部图像计算量大的问题。其实现过程是:输入腹部CT图像序列,用分水岭方法进行初分割并提取每个区域的灰度梯度特征;然后从中选出一幅图像由用户交互式标记目标区域和背景区域;再基于区域间的最大相似性准则对未标记的区域进行合并,直到整幅图像被分为目标和背景两部分为止;然后对得到的目标和背景区域进行训练生成目标字典和背景字典,再用这些字典去逼近序列中待分割的图像并找到逼近误差最小的区域作为标记目标和标记背景,最后用区域合并方法分割出目标。本发明具有对医学图像分割效果好、省时省力的优点,可用于对腹部CT序列图像的分割。
Description
技术领域
本发明属于图像处理技术领域,特别是医学图像的处理,主要可用于腹部CT图像的胃癌病变区域分割。
背景技术
医学图像分割是现代医学图像处理中的一个重要的研究领域,也是病变区域提取、检测、跟踪等后续医学操作的基础。因为这些都需要有一个准确的分割结果为前提,然后才能对各组织进行准确地定位和计算,所以医学图像分割结果的准确性对于医生对病情的诊断并做出正确治疗方案具有非常重要的意义。
医学图像分割的方法大致能分为自动分割,手动分割和交互式分割。手动分割费时费力,其结果完全取决于操作者的经验,并且分割结果无法重复。由于医学图像有复杂的背景,自动分割运算量大,在没有人工指导的情况下准确率很难保证。交互式分割属于半自动分割,它允许人工参与提供一些先验信息,但又不完全依赖于人工参与。由于交互式分割在允许人工参与的情况下保证了准确率。因此,交互式分割方法是现在应用最热门和最广泛的处理医学图像的方法。它的具体做法是由用户标记出图像中感兴趣区域的大致范围,从而提供部分先验信息,然后分割算法再根据这些信息对图像进行分割。
交互式分割只需要人工提供少量信息,就能适应不同的图像特性和需求,提高分割准确率,同时可以有效降低计算复杂度。虽然交互式分割有以上优点,但它也存在缺点,那就是一次只能分割一幅图像,用户必须对每幅待分割的图像标记出目标和背景,然后一幅一幅的分割。对于CT图像,一个病人的序列图有上百幅,如果单幅分割,则极大的增加了工作量。
发明内容
本发明的目的在于针对上述交互式图像分割必须单幅处理的耗时耗力缺陷,提出一种基于字典学习的医学图像交互式联合分割方法,实现对一个人的CT序列中的多幅图像的分割,避免单幅交互式分割的繁琐性,节省时间与精力,减小工作量。
实现本发明上述目的技术方案,包括如下步骤:
(1)输入腹部CT序列图像I={I1,I2,…,In},n为从序列图中选取图像的数量,n最大值为100,并用分水岭方法对腹部CT序列图像I进行初始分割,得到初分割子图像I′;
(2)统计每幅图初分割后的区域的数目L,并计算每一个区域的灰度梯度特征向量;
(3)从序列图像I中随机选取一幅图像Ii,1≤i≤n,由用户在其对应初分割子图I′i上标记部分目标区域MO和部分背景区域MB,其中MO包含初分割子图I′i的kO个区域,MB包含初分割子图I′i的kB个区域,剩余的未标记区域N包含初分割子图I′i的s个区域,s的大小为L-kO-kB,该目标区域代表腹部CT图像中的胃癌病变区域;
(4)基于最大相似性准则对上述标记后的图像进行区域合并,即先将未标记区域N中与标记背景MB中相似性最大的区域合并得到新的标记背景区域M′B,重复合并剩下的未标记区域与M′B,直到s=0合并完成后,得到了图像Ii的全部目标区域和背景区域;
(5)用K-SVD算法对步骤(4)中得到的目标区域所对应的特征向量训练生成一个目标字典DO,并将步骤(4)中得到的背景区域用k均值方法聚为4类,然后分别对每类训练生成背景字典DB={DB1,DB2,DB3,DB4},其中DB1,DB2,DB3,DB4分别为4类背景区域对应的背景字典;
(6)由目标字典DO去逼近一幅待分割的图像I′j的特征向量X,1≤j≤n,j≠i,计算出逼近误差最小的区域作为标记目标区域MO;由4个背景字典DB1,DB2,DB3,DB4分别去逼近待分割图像I′j的特征向量X,计算出的4个逼近误差最小的区域一起作为标记背景区域MB,再次按照步骤(4)进行区域合并,得到图像Ij的目标区域;
(7)重复执行步骤(6),对输入的一组序列图像I中还未分割的图像进行目标区域提取,直到所有序列图像都分割出目标区域为止。
本发明与现有的技术相比具有以下优点:
1、本发明由于只需要对一组CT序列图像中的一幅进行简单的划线操作来人机交互,其余的图像不再需要人工参与便可分割出目标,因而不仅使多幅效果和单幅交互式分割一样,而且极大的节省了时间并减少了工作量;
2、本发明针对CT图像自身的特点,用灰度梯度作为区域特征,更好的表示了区域特性,并提高了分割效果。
附图说明
图1是本发明的流程图;
图2是本发明所使用的一个人的3幅腹部CT图像序列,其中2a为序列图的第78幅图,2b为第89幅图,2c为第96幅图;
图3是本发明对序列图进行初始分割后的结果图像,其中图3a、3b和3c分别是对图2a、2b和2c初始分割后的图像;
图4是本发明对图3a手动划线标记后的图像;
图5是本发明对图4进行区域合并后的结果图像;
图6是本发明通过字典匹配后区域合并的分割结果图。
具体实施方式
参照图1,本发明基于字典学习的医学图像交互式联合分割方法给出以下实施例:
步骤1:输入一组腹部CT图像序列,如图2a,2b和2c。
步骤2:用分水岭算法对原图2a,2b和2c分别进行初始分割得到图3a、3b和3c,所述的分水岭算法是参考自文献“王忠义,“分水岭变换在医学图像分割中的应用”,电脑知识与技术,V01.5,No.12,April 2009,pp.3221-3223”,具体分割步骤如下:
2a)对图2a中每幅图的每个像素的灰度级进行由低到高排序;
2b)再对排序后的灰度级从低到高实现淹没,淹没过程中对每一个局部极小值在高度为h灰度级的影响域采用先进先出FIFO进行判断及标注,即可得到分割为多个区域的图3a,其中h的范围为0-255,根据CT图像特性,本实例选取16;
2c)对于图2b和2c,重复执行步骤2a)和2b),得到初分割后的图3b和图3c。
步骤3:分别统计图3a、图3b和图3c中所有区域的数目L及每个区域中的像素点数,提取每一个区域中每个像素点的灰度梯度特征,然后将每个区域内所有像素点的特征向量均值作为这个区域的特征向量。
步骤4:选取图2a做交互式分割,针对要分割的目标在图3a上进行标记。
4a)根据医生经验,胃部淋巴结主要出现在胃壁周围5cm内,把胃壁周围5cm以内的病变区域作为要分割的目标;
4b)由用户在图3a上划不同的线段分别对目标和背景进行标记,如图4所示,例如用绿色线段标记目标区域MO,用蓝色线段标记部分背景区域MB,剩余的未标记区域为N,其中MO包含图3a的kO个区域,MB包含图3a的kB个区域,剩余的未标记区域N包括了图3a的s个区域,s的大小为L-kO-kB,该目标区域代表腹部CT图像中的胃癌病变区域。
步骤5:基于最大相似性准则对图4进行区域合并,即先将未标记区域N中与标记背景MB中相似性最大的区域合并后得到新的标记背景区域M′B中,重复合并剩下的未标记区域与M′B,直到s=0合并完成后,如图5得到了图像Ii的全部目标区域和背景区域,所述的区域合并方法是参考自文献“Jifeng Ning等人,“Interactive imagesegmentation by maximal similarity based region merging”,Pattern Recognition,43,2010,pp.445-456”。
步骤6:用K-SVD算法对图5的目标区域的特征向量训练生成一个目标字典DO,用k均值将图5的背景区域聚为4类,然后分别对每类中各区域的特征向量训练生成背景字典DB={DB1,DB2,DB3,DB4},其中DB1,DB2,DB3,DB4分别为4类背景区域对应的背景字典。
步骤7:由目标字典DO和背景字典DB1,DB2,DB3,DB4分别去逼近图3b中各区域的特征向量X,计算出目标字典DO逼近误差最小的区域标记为目标区域,将背景字典DB1,DB2,DB3,DB4逼近误差最小的4个区域都标记为背景区域MB,再次按照步骤5进行区域合并,从而将图3b的目标分割出来,然后输出合并完成后的结果图像,如图6a。
步骤8:对序列图中还有未分割的图像2c,继续执行步骤7,得到分割结果图6b。
从图6a和图6b可以看出,用本发明交互式联合分割的方法能较好的将胃壁周围5cm以内的病灶区域分割出来,对于一个人的腹部CT序列图像,只要用户能准确交互式分割其中的一幅,然后通过本发明就能快速的分割剩下的图像,并能得到与单幅交互式分割同样好的结果。
Claims (5)
1.一种基于字典字习的医字图像交互式联合分割方法,包括如下步骤:
(1)输入腹部CT序列图像I={I1,I2,…,In},n为从序列图中选取图像的数量,n最大值为100,并用分水岭方法对腹部CT序列图像I进行初始分割,得到初分割子图像I′;
(2)统计每幅图初分割后的区域的数目L,并计算每一个区域的灰度梯度特征向量;
(3)从序列图像I中随机选取一幅图像Ii,1≤i≤n,由用户在其对应初分割子图I′i上标记部分目标区域MO和部分背景区域MB,其中MO包含初分割子图I′i的kO个区域,MB包含初分割子图I′i的kB个区域,剩余的未标记区域N包含初分割子图I′i的s个区域,s的大小为L-kO-kB,该目标区域代表腹部CT图像中的胃癌病变区域;
(4)基于最大相似性准则对上述标记后的图像进行区域合并,即先将未标记区域N中与标记背景MB中相似性最大的区域合并得到新的标记背景区域M′B,重复合并剩下的未标记区域与M′B,直到s=0合并完成后,得到了图像Ii的全部目标区域和背景区域;
(5)用K-SVD算法对步骤(4)中得到的目标区域所对应的特征向量训练生成一个目标字典DO,并将步骤(4)中得到的背景区域用k均值方法聚为4类,然后分别对每类训练生成背景字典DB={DB1,DB2,DB3,DB4},其中DB1,DB2,DB3,DB4分别为4类背景区域对应的背景字典;
(6)由目标字典DO去逼近一幅待分割的图像I′i的特征向量X,1≤j≤n,j≠i,计算出逼近误差最小的区域作为标记目标区域MO;由4个背景字典DB1,DB2,DB3,DB4分别去逼近待分割图像I′i的特征向量X,计算出的4个逼近误差最小的区域一起作为标记背景区域MB,再次按照步骤(4)进行区域合并,得到图像Ij的目标区域;
(7)重复执行步骤(6),对输入的一组序列图像I中还未分割的图像进行目标区域提取,直到所有序列图像都分割出目标区域为止。
2.根据权利要求1所述的方法,其中步骤(1)所述的用分水岭方法对腹部CT序列图像进行初始分割,是先对图像的每个像素的灰度级进行由低到高排序,再从低到高实现淹没,对每一个局部极小值在高度为某一灰度级的影响域采用先进先出FIFO进行判断及标注。
3.根据权利要求1所述的方法,其中步骤(2)所述的计算每一个区域的灰度梯度特征向量,是先计算每个像素点的灰度梯度特征向量,并统计每个区域的像素点数,然后计算每个区域内所有像素点的灰度梯度特征向量的平均值。
4.根据权利要求1所述的方法,其中所述步骤(6)中的由目标字典DO去逼近一幅待分割的图像I′i的特征向量X,是将字典DO或DB1,DB2,DB3,DB4中的原子进行正交化处理后,再将X在这些正交原子构成的空间上进行分解得到逼近系数α。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210061836.3A CN102663728B (zh) | 2012-03-11 | 2012-03-11 | 基于字典学习的医学图像交互式联合分割 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210061836.3A CN102663728B (zh) | 2012-03-11 | 2012-03-11 | 基于字典学习的医学图像交互式联合分割 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102663728A true CN102663728A (zh) | 2012-09-12 |
CN102663728B CN102663728B (zh) | 2015-04-08 |
Family
ID=46773206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210061836.3A Active CN102663728B (zh) | 2012-03-11 | 2012-03-11 | 基于字典学习的医学图像交互式联合分割 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102663728B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103886604A (zh) * | 2014-03-31 | 2014-06-25 | 山东科技大学 | 基于初始轮廓预测模型的并行图像分割方法 |
CN104123713A (zh) * | 2013-04-26 | 2014-10-29 | 富士通株式会社 | 多图像联合分割方法和装置 |
CN104915950A (zh) * | 2015-04-29 | 2015-09-16 | 华南理工大学 | 一种基于能量约束的区域增长超声图像自动分割方法 |
CN106419828A (zh) * | 2016-09-19 | 2017-02-22 | 苏州轩睿医疗科技有限公司 | 一种快速提高眼科光学相干断层扫描成像设备分辨率的方法 |
CN109859218A (zh) * | 2019-02-25 | 2019-06-07 | 北京邮电大学 | 病理图关键区域确定方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102122386A (zh) * | 2011-03-01 | 2011-07-13 | 西安电子科技大学 | 基于字典迁移聚类的sar图像分割方法 |
CN102129573A (zh) * | 2011-03-10 | 2011-07-20 | 西安电子科技大学 | 基于字典学习和稀疏表示的sar图像分割方法 |
-
2012
- 2012-03-11 CN CN201210061836.3A patent/CN102663728B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102122386A (zh) * | 2011-03-01 | 2011-07-13 | 西安电子科技大学 | 基于字典迁移聚类的sar图像分割方法 |
CN102129573A (zh) * | 2011-03-10 | 2011-07-20 | 西安电子科技大学 | 基于字典学习和稀疏表示的sar图像分割方法 |
Non-Patent Citations (8)
Title |
---|
《IEEE TRANS ACTIONSON SIGNAL PROCESSING》 20061130 Michal Aharon et al. "K-SVD: An Algorithm for Designing of Overcomplete Dictionaries for Sparse Representations" 4311-4322 1-5 第54卷, 第11期 * |
《Proc of ACM SIGGRAPH 2004》 20041231 Yin Li et al. "Lazy Snapping" 304-305 1-5 , * |
《Proc. of the 27th Annual Asilomar Conference on Signals Systems and Computers》 19931103 Y.C.Pati "Orthogonal Matching Pursuit Recursive Function Approximation with Applications to Wavelet Decomposion" 1-5 1-5 , * |
《Proc.Int.Conf.2011》 20111231 Shuiping Gou et al. "Transfer Clustering based on Dictionary Learning for Images Segmentation" 1-2 1-5 , * |
MICHAL AHARON ET AL.: ""K-SVD: An Algorithm for Designing of Overcomplete Dictionaries for Sparse Representations"", 《IEEE TRANS ACTIONSON SIGNAL PROCESSING》, vol. 54, no. 11, 30 November 2006 (2006-11-30), pages 4311 - 4322 * |
SHUIPING GOU ET AL.: ""Transfer Clustering based on Dictionary Learning for Images Segmentation"", 《PROC.INT.CONF.2011》, 31 December 2011 (2011-12-31), pages 1 - 2 * |
Y.C.PATI: ""Orthogonal Matching Pursuit Recursive Function Approximation with Applications to Wavelet Decomposion"", 《PROC. OF THE 27TH ANNUAL ASILOMAR CONFERENCE ON SIGNALS SYSTEMS AND COMPUTERS》, 3 November 1993 (1993-11-03), pages 1 - 5 * |
YIN LI ET AL.: ""Lazy Snapping"", 《PROC OF ACM SIGGRAPH 2004》, 31 December 2004 (2004-12-31), pages 304 - 305 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104123713A (zh) * | 2013-04-26 | 2014-10-29 | 富士通株式会社 | 多图像联合分割方法和装置 |
CN104123713B (zh) * | 2013-04-26 | 2017-03-01 | 富士通株式会社 | 多图像联合分割方法和装置 |
CN103886604A (zh) * | 2014-03-31 | 2014-06-25 | 山东科技大学 | 基于初始轮廓预测模型的并行图像分割方法 |
CN103886604B (zh) * | 2014-03-31 | 2016-08-17 | 山东科技大学 | 基于初始轮廓预测模型的并行图像分割方法 |
CN104915950A (zh) * | 2015-04-29 | 2015-09-16 | 华南理工大学 | 一种基于能量约束的区域增长超声图像自动分割方法 |
CN104915950B (zh) * | 2015-04-29 | 2017-10-20 | 华南理工大学 | 一种基于能量约束的区域增长超声图像自动分割方法 |
CN106419828A (zh) * | 2016-09-19 | 2017-02-22 | 苏州轩睿医疗科技有限公司 | 一种快速提高眼科光学相干断层扫描成像设备分辨率的方法 |
CN106419828B (zh) * | 2016-09-19 | 2017-10-20 | 苏州轩睿医疗科技有限公司 | 一种快速提高眼科光学相干断层扫描成像设备分辨率的方法 |
CN109859218A (zh) * | 2019-02-25 | 2019-06-07 | 北京邮电大学 | 病理图关键区域确定方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102663728B (zh) | 2015-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhong et al. | 3D fully convolutional networks for co-segmentation of tumors on PET-CT images | |
CN108765363B (zh) | 一种基于人工智能的冠脉cta自动后处理系统 | |
Chung et al. | Pose-aware instance segmentation framework from cone beam CT images for tooth segmentation | |
CN107977952A (zh) | 医学图像分割方法及装置 | |
CN109215033A (zh) | 图像分割的方法及系统 | |
CN103150723B (zh) | 基于形状和椭圆拟合的胃部ct图像淋巴结检测系统及方法 | |
Zheng et al. | Multi-part modeling and segmentation of left atrium in C-arm CT for image-guided ablation of atrial fibrillation | |
Yang et al. | Boxnet: Deep learning based biomedical image segmentation using boxes only annotation | |
CN108197629A (zh) | 一种基于标签相关性约束张量分解的多模态医学影像特征提取方法 | |
CN105139377A (zh) | 一种腹部ct序列图像肝脏的快速鲁棒自动分割方法 | |
CN102663728A (zh) | 基于字典学习的医学图像交互式联合分割 | |
Jin et al. | Object recognition in medical images via anatomy-guided deep learning | |
Xue et al. | Automated tongue segmentation in Chinese medicine based on deep learning | |
Zhou et al. | Semantic instance segmentation with discriminative deep supervision for medical images | |
Zhang et al. | Landmark tracking in liver US images using cascade convolutional neural networks with long short-term memory | |
CN108898601A (zh) | 基于随机森林的股骨头图像分割装置及分割方法 | |
Fu et al. | M3ResU-Net: a deep residual network for multi-center colorectal polyp segmentation based on multi-scale learning and attention mechanism | |
Tang et al. | SM-RNet: A Scale-aware-based Multi-attention Guided Reverse Network for Pulmonary Nodules Segmentation | |
CN105869169A (zh) | 一种肿瘤组织微排列图像的自动分割方法 | |
CN113222051A (zh) | 基于小肠病灶特征的图像标注方法 | |
CN102509296A (zh) | 基于最大相似性区域合并的胃部ct图像交互式分割方法 | |
Luo et al. | DBNet-SI: Dual branch network of shift window attention and inception structure for skin lesion segmentation | |
CN115937163A (zh) | 一种spect肺灌注成像的目标区域提取方法与系统 | |
CN109730769A (zh) | 一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统 | |
KR101690268B1 (ko) | 조직 씨앗을 이용한 의료영상 반자동 영역화 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20231107 Address after: 710086 Room 009, F902, 9th Floor, Building 4-C, Xixian Financial Port, Fengdong New Energy Jinmao District, Xixian New District, Xi'an City, Shaanxi Province Patentee after: Xi'an Yunying Yitong Technology Co.,Ltd. Address before: 710071 No. 2 Taibai South Road, Shaanxi, Xi'an Patentee before: XIDIAN University |
|
TR01 | Transfer of patent right |