CN114926486B - 一种基于多层级改进的甲状腺超声图像智能分割方法 - Google Patents

一种基于多层级改进的甲状腺超声图像智能分割方法 Download PDF

Info

Publication number
CN114926486B
CN114926486B CN202210520779.4A CN202210520779A CN114926486B CN 114926486 B CN114926486 B CN 114926486B CN 202210520779 A CN202210520779 A CN 202210520779A CN 114926486 B CN114926486 B CN 114926486B
Authority
CN
China
Prior art keywords
thyroid
segmentation
image
training
annular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210520779.4A
Other languages
English (en)
Other versions
CN114926486A (zh
Inventor
刘劼
金晶
王艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute Of Technology Institute Of Artificial Intelligence Co ltd
Original Assignee
Harbin Institute Of Technology Institute Of Artificial Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute Of Technology Institute Of Artificial Intelligence Co ltd filed Critical Harbin Institute Of Technology Institute Of Artificial Intelligence Co ltd
Priority to CN202210520779.4A priority Critical patent/CN114926486B/zh
Publication of CN114926486A publication Critical patent/CN114926486A/zh
Application granted granted Critical
Publication of CN114926486B publication Critical patent/CN114926486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于多层级改进的甲状腺超声图像智能分割方法，所述基于甲状腺超声诊查图像，对传统经由单一深度学习算法获得粗分割结果进行优化调整，提出一种多层级的改进方法对甲状腺分割结果进行精确分割。所述多层级改进方法首先通过初步边界提取和边界修复得到较精确的甲状腺边界环形区域，进而提出一种超像素辅助分割算法，将边界环形区域及其对应的超像素图像一同送入算法学习，以在数据样本不足的情况下向算法引入更多有助于分割信息，得到辅助分割结果。本发明能在甲状腺超声图像不充足的情况下提升甲状腺分割在精度、形状、面积估计上的效果，在临床中提供更可靠的辅助信息，具有重要的医学价值。

Description

一种基于多层级改进的甲状腺超声图像智能分割方法
技术领域
本发明涉及一种人体甲状腺超声图像分割方法，具体涉及一种带有多层级分割改进的甲状腺超声图像智能分割方法。
背景技术
甲状腺是人体重要的内分泌腺体，可以影响人体的生长发育、身体代谢、心血管系统、神经系统等方面，与人体的健康息息相关。随着近年来国家在医疗卫生方面的投入持续提升，国民医疗水平不断提高，但医疗系统仍存在缺陷，甲状腺地方病仍广泛存在于中国内陆城市，包括地方性甲状腺肿、甲状腺结节、甲状腺炎等。医学影像超声检测技术，以其检测费用低、检测速度快、无辐射损伤等优点，已成为应对甲状腺检测的首要技术。因此，基于甲状腺超声图像进行医学图像分析，可以为诊断甲状腺提供有益于诊断的信息。对甲状腺超声图像进行目标分割是极为重要的，可以提供大量的测量、形状等信息，辅助医生分析甲状腺的病理，在临床诊断中有重要意义。
传统的甲状腺超声图像分割依赖于专业医师的手动分割，这不仅费时费力，而且还严重依赖于医师的影像学经验，可能存在医师经验欠缺、分割精确度不足的情况。随着机器学习的飞速发展，大量传统机器学习方法被考虑应用于进行图像分割，如分水岭算法、K均值聚类算法等。但在应对医学图像时，由于医学诊断任务往往对分割精度要求更高，且医学图像相较于环境图像更加复杂，所以通过传统机器算法难以得到较好的分割结果。进而，深度学习快速兴起，并被广泛用于计算机视觉等领域，其在医学图像分析领域的应用也被不断挖掘。但在应对甲状腺超声分割问题时，由于超声图像的清晰度相较于核磁图像、CT图像等清晰度较低，所以为甲状腺分割带来困难。此外，在甲状腺超声图像中存在的大量的非甲状腺区域和医学图像获取困难的情况，更是进一步加剧了深度学习在分割甲状腺超声图像中的难度。
所以，仅使用单一的机器学习方法和深度学习方法，都难以获取精确的甲状腺超声分割结果，无法在临床甲状腺诊断中为医生提供有效的辅助诊断信息。甲状腺超声图像中遇到的清晰度较低、大量非甲状腺区域、图像数据不充足的情况，都为基于超声图像精确分割甲状腺带来了消极影响。
发明内容
为了解决在数据不充足情况下基于超声图像的甲状腺分割精度低的问题，本发明提供了一种基于多层级改进的甲状腺超声图像智能分割方法。该方法基于甲状腺超声诊查图像，对传统经由单一深度学习算法获得粗分割结果进行优化调整，提出了一种多层级的改进方法，对甲状腺分割结果进行精确分割。所设计的多层级改进方法，首先通过初步边界提取和边界修复得到了较精确的甲状腺边界环形区域，来减少非甲状腺区域的干扰；进而提出一种超像素辅助分割算法，将边界环形区域及其对应的超像素图像一同送入算法学习，以在数据样本不足的情况下向算法引入更多有助于分割信息，得到辅助分割结果，提升最终的甲状腺分割精度。本发明能在甲状腺超声图像不充足的情况下提升甲状腺分割在精度、形状、面积估计上的效果，在临床中提供更可靠的辅助信息，具有重要的医学价值。
本发明的目的是通过以下技术方案实现的：
一种基于多层级改进的甲状腺超声图像智能分割方法，包括如下步骤：
步骤一：加载获取N个甲状腺超声训练图像IO，然后对原始图像进行初始化获得初始化后图像I* O，同时将每个图像配以其对应的甲状腺分割标签LO，组成甲状腺粗分割的训练测试样本，进而使用甲状腺超声图像及标签训练一个U-Net算法
Figure RE-GDA0003749314570000031
并基于M个甲状腺超声测试图像IOt得到甲状腺粗分割结果SRt；
步骤二：将步骤一中N个甲状腺超声训练图像IO相对平均的划分为由N1个图像IOa组成的训练子集Ta和由N2个图像IOb组成的训练子集Tb，并基于甲状腺分割标签LO提取甲状腺环形区域标签LB，使用训练子集Ta及其对应的环形区域标签LBa训练一个U-Net算法 UB(IOa,LBa)，进而分别基于Ta、Tb和M个甲状腺超声测试图像IOt获得甲状腺边界环形区域初步分割输出OBa、OBb和OBt，以及初步分割结果 SBa、SBb和SBt；
步骤三：根据步骤二中SBt存在的破损情况，基于OBa分别构造出 N1个包含较小破损(破损处最大宽度小于3～4像素)的环形破损图像Bas和N1个包含较大破损(破损处最小宽度大于5像素)的环形破损图像Bal，进而使用OBa、Bas和Bal并均配以环形标签LBa训练一个 U-Net算法UBr(Oba,Bas,Bal,LBa)，以对OBb和OBt进行边缘修复，以得到修补的甲状腺边缘环形区域分割结果SBrb和SBrt；
步骤四：基于步骤二得到的初步分割结果SBa和步骤三得到的修补的环形区域分割结果SBrb和SBrt，首先提取对应的甲状腺环形区域图像IBa、IBrb和IBrt，并将IBa和IBrb合记为IBr，进而利用简单线性聚类对提取的环形区域图像IBr和IBrt进行超像素分割，以得到环形区域超像素图像ISpr和ISpt，随后利用环形区域图像和环形区域超像素图像，并配以甲状腺分割标签LO对超像素辅助分割算法Super-pixel U-Net进行训练SpUA(IBr,ISpr,LO)，以基于测试样本获得甲状腺辅助分割结果SAt，最终使用多层级辅助分割结果SAt对粗分割结果SRt进行改进，得到最终分割结果SPt。
相比于现有技术，本发明具有如下优点：
1、本发明在多层级优化调整中采用甲状腺边缘初提取和边界修复来获取甲状腺边缘环形区域。相比于无修补的边缘区域，本发明中所提取的边界环形区域对目标边界线的覆盖率更高；同时，本发明中提取的边界环形区域也具有比经由粗分割结果直接提取的边界环形区域更高的覆盖率。第一层级首先通过原始甲状腺超声图像和环形分割标签对甲状腺边缘进行初提取，进而在第二层级中基于边界环形区域初分割输出以及基于其构建的两类破损输出样本并配以相同的环形分割标签，来获得修补后更精确的边缘环形区域，经由这两个层级的边界环形区域可以剔除大量非甲状腺区域，减少非甲状腺区域在分割甲状腺超声图像时的消极影响，提高后续方法对甲状腺边界区域的敏感度。
2、本发明基于U-Net分割算法改进了一种带有超像素辅助的分割算法，即Super-pixel U-Net，并将此改进算法应用于多层级改进中辅助分割结果的获取，获得的辅助分割结果具有更高的分割精度。与原始U-Net算法相比，经本发明改进的算法及引入的超像素图像得到的辅助分割结果具有更高的精度。改进的算法在原有U-Net算法的基础上添加了超像素补充通道，将超像素引入算法学习，以在数据集不充足的情况下将更多对分割有益的小邻域类别信息引入算法。本发明中，小邻域类别信息是基于边界环形区域经由简单线性聚类处理得到了，在不损失边界信息的情况下，对小邻域内像素进行聚类，可以反应出甲状腺超声图像中小邻域间的关系。
3、本发明最终结果是针对粗分割结果，采用多阶段优化调整得到的辅助分割结果，对分割结果进行改进得到的，最终分割结果具有更高的分割精度。通过结合粗分割结果与大体一致的分割结果，以及对边界环形区域信息更敏感的辅助分割结果，获取了最终的甲状腺超声分割结果。本发明中得到的最终分割结果，不仅在分割精度上具备优势，而且还具有在分割标签更高的形状相似度。同时，最终分割结果还具备更高的面积估计精确度，可以在临床医学诊断中提供更可靠的信息。
附图说明
图1为本发明基于多层级改进的甲状腺超声图像智能分割方法的流程图。
图2为甲状腺超声图像采集样本示例。
图3为粗分割、多层级优化调整中各层级训练样本示例。
图4为粗分割、多层级优化调整中各部分测试结果示例。
图5为环形区域标签提取过程示意图。
图6为边界环形区域超像素图像样例。
图7为超像素辅助分割算法Super-pixel U-Net结构图。
图8为最终分割结果改进对比示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
本发明提供了一种基于多层级改进的甲状腺超声图像智能分割方法，该方法在传统使用单一深度学习算法进行分割的基础上添加了多层级分割。首先，甲状腺超声图像被用于获取粗分割结果，粗分割结果是通过训练深度学习U-Net算法得到的；而后，基于两个深度学习U-Net算法，甲状腺超声图像的边界环形区域被初步提取和进一步修复，以得到可精确覆盖甲状腺分割边界线的边界环形区域；随后，基于修补后的环形分割结果，边界环形区域被提取，并被同时用于获取基于简单线性聚类的超像素图像；进而边界环形区域和超像素图像被用于训练设计的Super-pixel U-Net算法，以获取辅助分割结果；最后，通过对粗分割结果采用多层级辅助分割结果进行优化调整得到最终的精确甲状腺分割结果。如图1所示，具体步骤如下：
步骤一：加载获取N个甲状腺超声训练图像IO，然后对原始图像进行初始化获得I* O，同时将每个图像配以其对应的甲状腺分割标签 LO，组成甲状腺粗分割的训练测试样本，进而使用甲状腺超声图像及标签训练一个U-Net算法
Figure RE-GDA0003749314570000075
并基于M个甲状腺超声测试图像 IOt得到甲状腺粗分割结果SRt，具体步骤如下：
步骤一一、加载全部获取的用于训练的甲状腺超声训练图像
Figure RE-GDA0003749314570000071
其中O*代表对应任一原始甲状腺超声训练图像，共计N幅，进而按下式对加载的图像进行初始化：
Figure RE-GDA0003749314570000072
式中，s为初始化单位窗，I为加载图像的横向长度，J为加载图像的纵向长度，U为初始化后的横向长度，V为初始化后的纵向长度， p(*,*)为某一像素点；然后为每幅标签按相同顺序配以拉伸至相同大小的甲状腺分割标签
Figure RE-GDA0003749314570000073
以构成粗分割的训练数据集；
步骤一二、使用步骤一一构建好的粗分割训练数据集训练一个甲状腺分割算法U-Net，在训练完成后获得甲状腺超声图像粗分割算法
Figure RE-GDA0003749314570000076
进而，基于测试图像
Figure RE-GDA0003749314570000074
其中Ot*代表对应任一原始甲状腺超声测试图像，共计M幅，在获取的甲状腺超声图像粗分割算法上获取甲状腺粗分割结果：
Figure RE-GDA0003749314570000081
步骤二：将步骤一中N个甲状腺超声训练图像IO相对平均的划分为由N1个图像IOa组成的训练子集Ta和由N2个图像IOb组成的训练子集Tb，并基于甲状腺分割标签LO提取甲状腺环形区域标签LB，使用训练子集Ta及其对应的环形区域标签LBa训练一个U-Net算法 UB(IOa,LBa)，进而分别基于Ta、Tb和M个甲状腺超声测试图像IOt获得甲状腺边界环形区域初步分割输出OBa、OBb和OBt，以及初步分割结果 SBa、SBb和SBt，具体步骤如下：
步骤二一、对步骤一中使用的甲状腺超声训练图像IO相对平均的划分为两个训练子集
Figure RE-GDA0003749314570000082
和
Figure RE-GDA0003749314570000083
其中Oa*为对应任一训练子集Ta中的甲状腺超声训练图像，共计N1 幅，Ob*为对应任一训练子集Tb中的甲状腺超声训练图像，共计N2幅；
步骤二二、基于步骤一中配以的甲状腺分割标签LO，首先按照下式获取由分割标签的边界线扩充的甲状腺环形区域标签LB：
Figure RE-GDA0003749314570000084
式中，C(r,u,v)为半径为r以l(u,v)为圆心的圆形区域，所得甲状腺环形区域标签
Figure RE-GDA0003749314570000085
同时，为Ta中每幅图像按相同顺序配以对应标签
Figure RE-GDA0003749314570000086
以构成用于甲状腺环形边界区域初分割的数据集；
步骤二三、使用步骤二二构建好的甲状腺环形边界区域初分割数据集训练一个环形边界初分割算法U-Net，在训练完成后获得甲状腺环形边界区域初分割算法UB(IOa,LBa)，进而，基于IOa、IOb和IOt使用获得的甲状腺环形边界区域初分割算法获取初步分割结果为：
Figure RE-GDA0003749314570000091
同时对获取的初步分割算法进行微调，剔除算法中最后一个层，提出后获得算法
Figure RE-GDA0003749314570000092
进而基于IOa、IOb和IOt获取未经二值化的灰度输出为：
Figure RE-GDA0003749314570000093
步骤三：根据步骤二中SBt存在的破损情况，基于OBa分别构造出 N1个包含较小破损的环形破损图像Bas和N1个包含较大破损的环形破损图像Bal，进而使用OBa、Bas和Bal并均配以环形标签LBa训练一个 U-Net算法UBr(Oba,Bas,Bal,LBa)，以对OBb和OBt进行边缘修复，以得到修补的甲状腺边缘环形区域分割结果SBrb和SBrt，具体步骤如下：
步骤三一、基于步骤二中使用Ta获得的甲状腺边界环形区域初分割输出
Figure RE-GDA0003749314570000094
构造两种破损输出图像，第一种破损输出图像中的破损较小
Figure RE-GDA0003749314570000095
第二种破损输出图像的环形不连续区域显著
Figure RE-GDA0003749314570000096
每种破损输出图像都有N1 幅；
步骤三二、使用获取的甲状腺边界环形区域处分割输出图像和两种破损输出图像，并为来自同一训练样本的均配以相同的甲状腺环形区域标签
Figure RE-GDA0003749314570000101
以构成甲状腺环形边界区域修补数据集；
步骤三三、使用步骤三二构建好的甲状腺环形边界区域修补数据集训练一个环形边界修补算法U-Net，在训练完成后获得初分割边界修补算法UBr(Oba,Bas,Bal,LBa)，进而，基于获取的初分割边界修补算法对OBb和OBt进行修复，修复后的甲状腺环形边界结果分别为：
Figure RE-GDA0003749314570000102
步骤四：基于步骤二得到的初步分割结果SBa和步骤三得到的修补的环形区域分割结果SBrb和SBrt，首先提取对应的甲状腺环形区域图像IBa、IBrb和IBrt，并将IBa和IBrb合记为IBr，进而利用简单线性聚类对提取的环形区域图像IBr和IBrt进行超像素分割，以得到环形区域超像素图像ISpr和ISpt，随后利用环形区域图像和环形区域超像素图像，并配以甲状腺分割标签LO对超像素辅助分割算法Super-pixelU-Net进行训练SpUA(IBr,ISpr,LO)，以基于测试样本获得甲状腺辅助分割结果SAt，最终使用多层级辅助分割结果SAt对粗分割结果SRt进行改进，得到最终分割结果SPt，具体步骤如下：
步骤四一、基于步骤二得到的初步分割结果SBa和步骤三得到的修补的环形区域分割结果SBrb和SBrt，首先对分割结果进行膨胀，进而提取甲状腺环形区域图像，并将对应于全部原始训练集的图像记为
Figure RE-GDA0003749314570000103
而获取的对应于全部原始测试集的图像记为
Figure RE-GDA0003749314570000104
步骤四二、基于甲状腺环形边界区域图像使用简单线性聚类获取环形边界区域的超像素图像，在经过迭代n次收敛后，对包含N个像素点的甲状腺环形边界区域图像，进行包含K个超像素块的超像素分割，获得甲状腺环形边界超像素图像，图像中第i像素的被如下式计算：
Figure RE-GDA0003749314570000111
式中，seedk为超像素种子点，l为像素亮度，a为像素红绿度， b为像素黄蓝度，*sk为种子点对应参数，
Figure RE-GDA0003749314570000112
代表迭代n次后的最优结果；当任一图像中全部像素被分配至对应种子点后形成甲状腺环形边界超像素图像，基于修补的环形区域分割结果SBrb和SBrt分别可获得ISpr和ISpt；
步骤四三、同时使用获得的甲状腺环形边界图像IBr和甲状腺环形边界超像素图像ISpr，并配以甲状腺分割标签LO，以构成用于甲状腺辅助分割的训练数据集；
步骤四四、使用步骤四三构建好的甲状腺辅助分割训练数据集，训练一个改进的超像素辅助分割算法Super-pixelU-Net，在训练完成后获得甲状腺辅助分割算法SpUA(IBr,ISpr,LO)，进而，基于测试图像对应的环形边界区域图像IBrt和超像素图像ISpt获取多层级甲状腺辅助分割结果SAt：
SAt＝SpUA(IBr,ISpr,LO)(IBrt,ISpt)；
步骤四五、使用多层级甲状腺辅助分割结果SAt改进粗分割结果 SRt，得到最终分割结果SPt，最终的分割结果如下式：
SPt＝UR(IO,LO)(IOt)+SpUA(IBrb,SLIC(IBrb),LO)(IBrt,SLIC(IBrt))。
下面结合具体甲状腺超声图像说明本发明的具体实施方式。
本发明的实验验证数据来源于从受检人员真实采集的甲状腺区域切片图像，切片图像对应的甲状腺分割标签由专业医师绘制，共计1695幅。进而，根据来自同一受检人员的图像被放于同一数据集的原则，按照大至0.75:0.25的比例，将全部图像划分为由1251幅甲状腺区域超声切片图像组成的训练集图像，以及由444幅甲状腺区域超声切片图像组成的测试集图像。
执行步骤一：加载1251幅甲状腺区域超声切片训练图像，然后对原始图像进行初始化获得训练样例如图2所示。为每个切片配以甲状腺分割标构成粗分割的训练数据集，以训练数据集中任一样本为例，如图3中粗分割部分所示。
然后使用U-Net算法对构建的数据集进行训练，在完成训练后即可获取粗分割算法，进而使用由444幅甲状腺区域超声切片图像组成的测试集图像基于训练好的粗分割算法获取粗分割结果，测试的粗分割结果中任一结果如图4中分割部分所示。
执行步骤二：对步骤一中使用的训练图像，在同样保证来自同一受检人员的图像被放于同一数据集的原则进行进一步划分，划分后训练子集Ta中包含636幅图像，训练子集Tb中包含615幅图像。
然后，为每幅图像配以甲状腺环形区域标签，按照提取算法设定 r为5得到宽度为9像素的环形区域标签，其中中间过程还得到1像素的分割标签边界线，分割标签边界线和环形区域标签如图5所示。进而为Ta中的636幅图像配以环形区域标签构成用于甲状腺环形边界区域初分割的数据集。
进而，用U-Net算法对构建的边界区域初分割数据集进行训练，在完成训练后即可获取边界区域初分割算法。基于获取的边界区域初分割算法，分别针对Ta、Tb和测试图像首先获取甲状腺环形边界区域初分割结果，以便后续对比，测试的边界环形区域初步分割结果中的任一结果如图4所示。进而对训练好的算法进行调整，剔除最后的像素分类层，并基于调整后的算法获得甲状腺环形边界区域初分割输出结果，以便后续构造修补数据集。
执行步骤三：基于步骤二中针对Ta获取的甲状腺边界环形区域初分割输出636个，构造较小破损输出636个和显著破损输出636个。
然后，为对应同一甲状腺超声图像的环形区域初分割输出、较小破损输出和显著破损输出，均配以步骤二中提取的环形区域标签构成用于甲状腺边界环形区域修补数据集。
进而，使用构建好的状腺边界环形区域修补数据集训练一个 U-Net，以在完成训练后获得可以对环形标签进行修补的深度学习算法。并基于训练的算法对基于Tb获取的615个边界环形区域初分割结果和基于测试集获得的444个边界环形区域初分割结果进行修补。修补前后的结果对比图如图6所示，图中深色箭头指出了被明显完全修补的破损，浅色箭头指出了被弥补但未完全修补的破损，可以证明环形边界修复的有效性。同时，基于测试集获得的初分割、修补后、粗分割边界线的环形区域对真实边界线的覆盖率如表1所示。
表1初分割、修补后、粗分割边界线的环形区域对真实边界线的覆盖率
Figure RE-GDA0003749314570000141
根据表1的结果，通过环形区域初分割和环形区域的修补覆盖率明显提升，且由于近通过粗分割边界线获得的环形区域无破损，无法被修补，所以本发明中的步骤二和步骤三可以提升环形区域覆盖率。
执行步骤四：基于从步骤二中利用Ta获取算法并测试Ta得到的环形边界初分割结果，以及从步骤二中得到的基于Tb环形边界修补结果，对全部分割环形结果进行膨胀至宽度为18像素的环形区域，膨胀后环形区域对真实边界线的覆盖率为90.94％。进而基于膨胀后的结果提取甲状腺环形区域图像。
然后使用简单线性聚类，设定2000分超像素块对包含50176个像素的图像，进行10次迭代提取超像素图像，最终得到的甲状腺环形区域超像素图像的示例如图6所示。
进而，利用甲状腺环形区域图像和甲状腺环形区域超像素图像在对应后同时用于训练，并配以甲状腺分割标签，构成辅助分割的训练数据集，其中任一训练样本的示例如图3中所示。
使用构建的数据集训练本发明中改进的超像素辅助分割算法 Super-pixel U-Net算法，具体的算法结构如图7所示。并基于测试集获取的环形边界图像和超像素图像进行测试，获得辅助分割结果，其中任一测试样本的示例如图4所示。
最后，使用多层级甲状腺辅助分割结果改进粗分割结果得到最终的精确分割结果。与传统甲状腺分割，即与粗分割相比的改进效果如图8所示。图8中深色分割区域对应粗分割区域，浅色区域为经本发明改进的分割区域，环形线为真实边界线。从图中可以发现改进方法在边界环形区域更敏感，具有更高的精度，精确分割结果与真实边界更相近。在分割精度、分割结果形状相似度、分割结果面积估计三个方向上，本发明改进方法与传统的仅使用单一算法训练，即粗分割的对比评价结果如表2所示。
表2本发明改进方法与传统方法在分割精度、分割结果形状相似度和分割结果面积估计的评价结果
Figure RE-GDA0003749314570000151
从表2可以发现，本发明提出的基于多层级改进的甲状腺超声图像智能分割方法在最终分割结果与真实预期分割结果更相近，在2个分割精度指标、5个分割形状相似度指标以及1个面积估计指标上均明显优于传统单一算法训练的粗分割。因此，通过上述实验验证，可以得到如下结论：本发明提出的多层级改进策略与超像素辅助分割算法可以在小样本的情况下提高甲状腺超声图像分割性能。

Claims (6)

1.一种基于多层级改进的甲状腺超声图像智能分割方法，其特征在于所述方法包括如下步骤：
步骤一：加载获取N个甲状腺超声训练图像IO，然后对原始图像进行初始化获得I* O，同时将每个图像配以其对应的甲状腺分割标签LO，组成甲状腺粗分割的训练测试样本，进而使用甲状腺超声图像及标签训练一个U-Net算法
Figure FDA0003641441250000011
并基于M个甲状腺超声测试图像IOt得到甲状腺粗分割结果SRt；
步骤二：将步骤一中N个甲状腺超声训练图像IO相对平均的划分为由N1个图像IOa组成的训练子集Ta和由N2个图像IOb组成的训练子集Tb，并基于甲状腺分割标签LO提取甲状腺环形区域标签LB，使用训练子集Ta及其对应的环形区域标签LBa训练一个U-Net算法UB(IOa,LBa)，进而分别基于Ta、Tb和M个甲状腺超声测试图像IOt获得甲状腺边界环形区域初步分割输出OBa、OBb和OBt，以及初步分割结果SBa、SBb和SBt；
步骤三：根据步骤二中SBt存在的破损情况，基于OBa分别构造出N1个包含较小破损的环形破损图像Bas和N1个包含较大破损的环形破损图像Bal，进而使用OBa、Bas和Bal并均配以环形标签LBa训练一个U-Net算法UBr(Oba,Bas,Bal,LBa)，以对OBb和OBt进行边缘修复，以得到修补的甲状腺边缘环形区域分割结果SBrb和SBrt；
步骤四：基于步骤二得到的初步分割结果SBa和步骤三得到的修补的环形区域分割结果SBrb和SBrt，首先提取对应的甲状腺环形区域图像IBa、IBrb和IBrt，并将IBa和IBrb合记为IBr，进而利用简单线性聚类对提取的环形区域图像IBr和IBrt进行超像素分割，以得到环形区域超像素图像ISpr和ISpt，随后利用环形区域图像和环形区域超像素图像，并配以甲状腺分割标签LO对超像素辅助分割算法Super-pixelU-Net进行训练SpUA(IBr,ISpr,LO)，以基于测试样本获得甲状腺辅助分割结果SAt，最终使用多层级辅助分割结果SAt对粗分割结果SRt进行改进，得到最终分割结果SPt。
2.根据权利要求1所述的基于多层级改进的甲状腺超声图像智能分割方法，其特征在于所述步骤一的具体步骤如下：
步骤一一、加载全部获取的用于训练的甲状腺超声训练图像
Figure FDA0003641441250000021
其中O*代表对应任一原始甲状腺超声训练图像，共计N幅，进而按下式对加载的图像进行初始化：
Figure FDA0003641441250000022
式中，s为初始化单位窗，I为加载图像的横向长度，J为加载图像的纵向长度，U为初始化后的横向长度，V为初始化后的纵向长度，p(*,*)为某一像素点；然后为每幅标签按相同顺序配以拉伸至相同大小的甲状腺分割标签
Figure FDA0003641441250000023
以构成粗分割的训练数据集；
步骤一二、使用步骤一一构建好的粗分割训练数据集训练一个甲状腺分割算法U-Net，在训练完成后获得甲状腺超声图像粗分割算法
Figure FDA0003641441250000031
进而，基于测试图像
Figure FDA0003641441250000032
其中Ot*代表对应任一原始甲状腺超声测试图像，共计M幅，在获取的甲状腺超声图像粗分割算法上获取甲状腺粗分割结果：
Figure FDA0003641441250000033
3.根据权利要求1所述的基于多层级改进的甲状腺超声图像智能分割方法，其特征在于所述步骤二的具体步骤如下：
步骤二一、对步骤一中使用的甲状腺超声训练图像IO相对平均的划分为两个训练子集Ta：
Figure FDA0003641441250000034
和Tb：
Figure FDA0003641441250000035
其中Oa*为对应任一训练子集Ta中的甲状腺超声训练图像，共计N1幅，Ob*为对应任一训练子集Tb中的甲状腺超声训练图像，共计N2幅；
步骤二二、基于步骤一中配以的甲状腺分割标签LO，首先按照下式获取由分割标签的边界线扩充的甲状腺环形区域标签LB：
Figure FDA0003641441250000036
式中，C(r,u,v)为半径为r以l(u,v)为圆心的圆形区域，所得甲状腺环形区域标签
Figure FDA0003641441250000037
同时，为Ta中每幅图像按相同顺序配以对应标签
Figure FDA0003641441250000038
以构成用于甲状腺环形边界区域初分割的数据集；
步骤二三、使用步骤二二构建好的甲状腺环形边界区域初分割数据集训练一个环形边界初分割算法U-Net，在训练完成后获得甲状腺环形边界区域初分割算法UB(IOa,LBa)，进而，基于IOa、IOb和IOt使用获得的甲状腺环形边界区域初分割算法获取初步分割结果为：
Figure FDA0003641441250000041
同时对获取的初步分割算法进行微调，剔除算法中最后一个层，提出后获得算法
Figure FDA0003641441250000042
进而基于IOa、IOb和IOt获取未经二值化的灰度输出为：
Figure FDA0003641441250000043
4.根据权利要求1所述的基于多层级改进的甲状腺超声图像智能分割方法，其特征在于所述步骤三的具体步骤如下：
步骤三一、基于步骤二中使用Ta获得的甲状腺边界环形区域初分割输出
Figure FDA0003641441250000044
构造两种破损输出图像，第一种破损输出图像中的破损较小
Figure FDA0003641441250000045
第二种破损输出图像的环形不连续区域显著
Figure FDA0003641441250000046
每种破损输出图像都有N1幅；
步骤三二、使用获取的甲状腺边界环形区域处分割输出图像和两种破损输出图像，并为来自同一训练样本的均配以相同的甲状腺环形区域标签
Figure FDA0003641441250000047
以构成甲状腺环形边界区域修补数据集；
步骤三三、使用步骤三二构建好的甲状腺环形边界区域修补数据集训练一个环形边界修补算法U-Net，在训练完成后获得初分割边界修补算法UBr(Oba,Bas,Bal,LBa)，进而，基于获取的初分割边界修补算法对OBb和OBt进行修复，修复后的甲状腺环形边界结果分别为：
Figure FDA0003641441250000051
5.根据权利要求1所述的基于多层级改进的甲状腺超声图像智能分割方法，其特征在于所述步骤四的具体步骤如下：
步骤四一、基于步骤二得到的初步分割结果SBa和步骤三得到的修补的环形区域分割结果SBrb和SBrt，首先对分割结果进行膨胀，进而提取甲状腺环形区域图像，并将对应于全部原始训练集的图像记为
Figure FDA0003641441250000052
而获取的对应于全部原始测试集的图像记为
Figure FDA0003641441250000053
步骤四二、基于甲状腺环形边界区域图像使用简单线性聚类获取环形边界区域的超像素图像，在经过迭代n次收敛后，对包含N个像素点的甲状腺环形边界区域图像，进行包含K个超像素块的超像素分割，获得甲状腺环形边界超像素图像，当任一图像中全部像素被分配至对应种子点后形成甲状腺环形边界超像素图像，基于修补的环形区域分割结果SBrb和SBrt分别可获得ISpr和ISpt；
步骤四三、同时使用获得的甲状腺环形边界图像IBr和甲状腺环形边界超像素图像ISpr，并配以甲状腺分割标签LO，以构成用于甲状腺辅助分割的训练数据集；
步骤四四、使用步骤四三构建好的甲状腺辅助分割训练数据集，训练一个改进的超像素辅助分割算法Super-pixelU-Net，在训练完成后获得甲状腺辅助分割算法SpUA(IBr,ISpr,LO)，进而，基于测试图像对应的环形边界区域图像IBrt和超像素图像ISpt获取多层级甲状腺辅助分割结果SAt：
SAt＝SpUA(IBr,ISpr,LO)(IBrt,ISpt)；
步骤四五、使用多层级甲状腺辅助分割结果SAt改进粗分割结果SRt，得到最终分割结果SPt，最终的分割结果如下式：
SPt＝UR(IO,LO)(IOt)+SpUA(IBrb,SLIC(IBrb),LO)(IBrt,SLIC(IBrt))。
6.根据权利要求5所述的基于多层级改进的甲状腺超声图像智能分割方法，其特征在于所述步骤四二中，图像中第i像素的被如下式计算：
Figure FDA0003641441250000061
式中，seedk为超像素种子点，*s为种子点对应参数，l为像素亮度，a为像素红绿度，b为像素黄蓝度。
CN202210520779.4A 2022-05-12 2022-05-12 一种基于多层级改进的甲状腺超声图像智能分割方法 Active CN114926486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210520779.4A CN114926486B (zh) 2022-05-12 2022-05-12 一种基于多层级改进的甲状腺超声图像智能分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210520779.4A CN114926486B (zh) 2022-05-12 2022-05-12 一种基于多层级改进的甲状腺超声图像智能分割方法

Publications (2)

Publication Number Publication Date
CN114926486A CN114926486A (zh) 2022-08-19
CN114926486B true CN114926486B (zh) 2023-02-07

Family

ID=82808858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210520779.4A Active CN114926486B (zh) 2022-05-12 2022-05-12 一种基于多层级改进的甲状腺超声图像智能分割方法

Country Status (1)

Country Link
CN (1) CN114926486B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117338378B (zh) * 2023-09-11 2024-06-18 南京道壹生物医学科技有限公司 铰接式腹腔镜钳及基于sbb u-net的腹腔图像快速分割方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427296A (zh) * 2015-11-11 2016-03-23 北京航空航天大学 一种基于超声图像低秩分析的甲状腺病灶图像识别方法
CN109727227A (zh) * 2018-11-23 2019-05-07 哈尔滨工业大学（威海） 一种基于spect影像的甲状腺疾病诊断方法
CN111833988A (zh) * 2020-07-14 2020-10-27 北京安德医智科技有限公司 放射参数确定方法及装置、电子设备和存储介质
US10993653B1 (en) * 2018-07-13 2021-05-04 Johnson Thomas Machine learning based non-invasive diagnosis of thyroid disease
CN112862808A (zh) * 2021-03-02 2021-05-28 王建 一种基于深度学习的乳腺癌超声图像的可解释性识别方法
CN113192062A (zh) * 2021-05-25 2021-07-30 湖北工业大学 一种基于图像复原的动脉斑块超声图像自监督分割方法
CN113344864A (zh) * 2021-05-21 2021-09-03 江苏乾君坤君智能网络科技有限公司 一种基于深度学习的超声甲状腺结节良恶性预测方法
CN114119458A (zh) * 2021-09-14 2022-03-01 福州大学 基于临床先验知识指导的甲状腺髓样癌超声图像识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11937973B2 (en) * 2018-05-31 2024-03-26 Mayo Foundation For Medical Education And Research Systems and media for automatically diagnosing thyroid nodules
CN113610859B (zh) * 2021-06-07 2023-10-31 东北大学 一种基于超声图像的甲状腺结节自动分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427296A (zh) * 2015-11-11 2016-03-23 北京航空航天大学 一种基于超声图像低秩分析的甲状腺病灶图像识别方法
US10993653B1 (en) * 2018-07-13 2021-05-04 Johnson Thomas Machine learning based non-invasive diagnosis of thyroid disease
CN109727227A (zh) * 2018-11-23 2019-05-07 哈尔滨工业大学（威海） 一种基于spect影像的甲状腺疾病诊断方法
CN111833988A (zh) * 2020-07-14 2020-10-27 北京安德医智科技有限公司 放射参数确定方法及装置、电子设备和存储介质
CN112862808A (zh) * 2021-03-02 2021-05-28 王建 一种基于深度学习的乳腺癌超声图像的可解释性识别方法
CN113344864A (zh) * 2021-05-21 2021-09-03 江苏乾君坤君智能网络科技有限公司 一种基于深度学习的超声甲状腺结节良恶性预测方法
CN113192062A (zh) * 2021-05-25 2021-07-30 湖北工业大学 一种基于图像复原的动脉斑块超声图像自监督分割方法
CN114119458A (zh) * 2021-09-14 2022-03-01 福州大学 基于临床先验知识指导的甲状腺髓样癌超声图像识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CF2-Net: Coarse-to-Fine Fusion Convolutional Network for Breast Ultrasound Image Segmentation;Zhenyuan Ning等;《arXiv》;20200323;第1-8页 *
Ruoyun Liu等.U2F‑GAN: Weakly Supervised Super‑pixel Segmentation in Thyroid Ultrasound Images.《CognitiveComputation(2021)》.2021, *
基于改进活动轮廓模型的心肌超声造影图像自动分析软件的设计与实现;杜国庆等;《2012年第十一届全国超声心动图学术会议暨新技术国际研讨会论文汇编》;20121231;第377-378页 *
融合 U⁃Net改进模型与超像素优化的语义分割方法;王振奇等;《数据采集与处理》;20211130;第36卷(第6期);第1263-1275页 *
面向乳腺超声图像分割的混合监督双通道反馈U-Net;贡荣麟等;《中国图象图形学报》;20201016(第10期);第2206-2217页 *

Also Published As

Publication number Publication date
CN114926486A (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
US11101033B2 (en) Medical image aided diagnosis method and system combining image recognition and report editing
CN108464840B (zh) 一种乳腺肿块自动检测方法及系统
CN111931811B (zh) 一种基于超像素图像相似度的计算方法
CN114565761B (zh) 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法
CN113256641B (zh) 一种基于深度学习的皮肤病灶图像分割方法
Bai et al. Automatic segmentation of cervical region in colposcopic images using K-means
JP7427080B2 (ja) 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
Xu et al. Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
CN111476794B (zh) 一种基于unet的宫颈病理组织分割方法
CN112071418B (zh) 基于增强ct影像组学的胃癌腹膜转移的预测系统及方法
CN117152433A (zh) 一种基于多尺度跨层注意力融合网络的医学图像分割方法
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN114926486B (zh) 一种基于多层级改进的甲状腺超声图像智能分割方法
Aslam et al. Liver-tumor detection using CNN ResUNet
CN109214388B (zh) 一种基于个性化融合网络的肿瘤分割方法及装置
CN109191422B (zh) 基于常规ct图像的缺血性脑卒中早期检测系统和方法
CN110458842A (zh) 基于双通道三维密集连接网络的脑肿瘤分割方法
Mocan et al. Automatic Detection of Tumor Cells in Microscopic Images of Unstained Blood using Convolutional Neural Networks
CN116883994A (zh) 基于自监督学习识别非小细胞肺癌周组织病理类型的方法、装置及存储介质
CN108629780B (zh) 基于颜色分解和阈值技术的舌图像分割方法
Ji et al. A deep learning method for automatic evaluation of diagnostic information from multi-stained histopathological images
CN111798427B (zh) 基于迁移学习的胃肠道间质瘤中核分裂象检测系统
CN114529554A (zh) 一种胃癌her2数字病理切片智能辅助判读方法
Du et al. Semi-Supervised Skin Lesion Segmentation via Iterative Mask Optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant