CN115019045B - 一种基于多成分邻域的小数据甲状腺超声图像分割方法 - Google Patents

Abstract

本发明公开了一种基于多成分邻域的小数据甲状腺超声图像分割方法，所述方法如下：加载甲状腺超声原始成分图像，为每幅图像匹配对应的图像分割标签并划分原始成分数据集，然后提取边缘成分图像和超像素成分图像；利用多成分数据集训练三个U‑Net分割算法，以获得初步分割结果和多成分分割输出，进而提取多成分小邻域特征并配以像素二分类标签；在多成分邻域极限学习机中完成特征融合、最小冗余度‑最大相关度特征筛选和极限学习机训练，获取像素分类结果并重构，以获得増补性分割结果；利用増补性分割结果，改进初步分割结果的边缘环形关注区域，以获取改进的最终分割结果。本发明方法可以在小数据下获得精度更高的甲状腺超声分割结果。

Description

一种基于多成分邻域的小数据甲状腺超声图像分割方法

技术领域

本发明涉及一种人体甲状腺超声图像分割方法，具体涉及一种通过多成分邻域对初步分割结果进行改进的小数据甲状腺超声图像分割方法。

背景技术

甲状腺是可影响人体发育、代谢、心血管健康、神经健康的重要内分泌腺体，严重的甲状腺疾病会严重影响人类正常生活，甚至带走人们的生命。近年来，国家医疗水平不断提高，人们对甲状腺疾病越发关注，针对甲状腺疾病逐渐从医院检查步入社会普查。在甲状腺普查中，医疗任务对检测人员的技术水平、检测手段的快速实惠有了更高的要求，而超声作为医学影像技术具有检测费用较低、无辐射、速度快等优点，完美与甲状腺检测的医疗需求相匹配。同时，对甲状腺进行腺体分割，更可以在普查中为经验不足的医生提供大量形状测量信息，辅助医生或检查人员对超声图像进行分析，具有极其重要的医疗意义。

传统的甲状腺腺体分割严重依赖于专业医师的个人经验，通常需要对每个图像样本进行手工绘制，这种方式耗时耗力，且分割精度与医生经验成正比，易出现分割不精确的情况。在机器学习发展的过程中，如支持向量机、极限学习机等机器学习方法被开始用于图像分割领域。然而，医学图像的复杂程度远高于自然、物体图像，特别是超声图像中常存在伪音或不同组织灰度相近等情况，在此情况下仅使用传统机器学习很难实现对目标区域的精确分割。同时，在医疗中对图像中信息的精确获取对于临床诊断、治疗、手术又极为重要，这更限制了机器学习在甲状腺超声图像中的发展。

而深度学习的兴起，使得精确医学图像分割更可能被实现，在此领域的研究不算深入，但医学图像的获取及标注困难且依赖医生的问题会使得数据量不充足，这又对分割精确带来了阻碍。所以，在数据集不充足的情况下，仅使用机器学习或深度学习，都难以获得可为甲状腺临床治疗提供充足有用信息的超声图像分割结果。

发明内容

为了解决在甲状腺超声图像不充足情况下对甲状腺的分割不够精确的问题，本发明提供了一种充分利用深度学习和机器学习优势的基于多成分邻域的小数据甲状腺超声图像分割方法。该方法基于甲状腺超声图像，对由深度学习获取的初步分割结果的边缘环形关注区域进行改进优化，提出了一种改进的多成分邻域极限学习机，对甲状腺进行增补性分割，以改进初步分割结果。所设计的多成分邻域极限学习机，首先通过从基于多成分甲状腺图像获取的分割输出提取多成分邻域特征，并完成特征融合；进而对融合后的特征进行特征筛选，将对分割更有益的特征送入算法学习，以获得増补性分割结果，提升最终的甲状腺分割结果。经由本发明得到的甲状腺超声图像分割在临床医学、社会普查中具有重要价值。

本发明的目的是通过以下技术方案实现的：

一种基于多成分邻域的小数据甲状腺超声图像分割方法，包括如下步骤：

步骤一：加载甲状腺超声原始成分图像，为每幅图像匹配对应的图像分割标签并划分原始成分数据集，然后提取边缘成分图像和超像素成分图像，得到边缘成分图像训练集和超像素成分图像训练集；

步骤二：利用多成分数据集训练三个U-Net分割算法，以获得初步分割结果和多成分分割输出，进而提取多成分小邻域特征F_x,y,f_x,y并配以像素二分类标签；

步骤三：在多成分邻域极限学习机中完成特征融合、最小冗余度-最大相关度特征筛选和极限学习机训练，获取像素分类结果并重构，以获得増补性分割结果；

步骤四：利用増补性分割结果，改进初步分割结果的边缘环形关注区域，以获取改进的最终分割结果。

相比于现有技术，本发明具有如下优点：

1、本发明在基于多成分邻域的小数据甲状腺超声图像分割方法中利用甲状腺原始成分图像提取了边缘成分图像以及超像素成分图像，构成多成分甲状腺数据集，用于训练深度学习算法。本发明在单一使用原始成分图像训练深度学习算法获取初步分割结果的基础上，通过甲状腺超声多成分图像分别训练获取了多成分分割输出。经由索贝尔算子获取的边缘成分图像仅保留图像中得边界信息；经由简单线性聚类得到的超像素成分图像忽略了大量灰度变化微小的像素信息，更关注对分割有益的邻域间灰度关系。基于多成分图像获取的多成分分割输出可用于后续获取増补性分割结果。

2、本发明基于极限学习机算法，改进了一种多成分邻域极限学习机算法，并利用此算法基于多成分分割输出获取増补性分割结果。与原始极限学习机算法相比，经本发明改进的多成分邻域极限学习机，利用经最小冗余度-最大相关度筛选的多成分邻域特征进行训练，获得的増补性分割结果比初步分割结果具有更高的分割精度。改进的算法首先基于多成分分割输出提取、融合小邻域特征并进行特征筛选，进而利用极限学习机以小邻域中心特征对应类别标签为目标训练极限学习机，经此算法不仅数据量被扩充了上万倍，弥补了小数据集下超声图像分割的不足，还在训练特征中包含了对原始、边缘和邻域间灰度更关注的特征，使得获得的増补性分割结果有改进初步分割结果的潜力。

3、本发明最终结果是基于采用増补性分割结果对初步分割结果的边缘环形关注区域进行优化改进得到的，最终的甲状腺分割结果具有更高的分割精度。通过在深度学习U-Net算法的基础上利用改进的多成分邻域极限学习机机器学习算法，在小数据集的情况下，获得充足的特征训练样本，并充分利用甲状腺超声多成分图像信息，得到了高精度的甲状腺超声分割结果，可以在临床医学、社会普查中提供更精确的辅助信息。

附图说明

图1为本发明基于多成分邻域的小数据甲状腺超声图像分割方法的流程图。

图2为甲状腺超声多成分图像数据集样本示例。

图3为甲状腺超声初步分割结果样本示例。

图4为甲状腺超声多成分分割输出样本示例。

图5为边缘扩充前后样本、扩充后局部放大示例及小邻域特征的示例图。

图6为多成分邻域极限学习机示意图。

图7为増补性分割结果样本示例。

图8为边缘关注区域改进的示意图。

图9为改进分割结果及对比样本示例。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明提供了一种基于多成分邻域的小数据甲状腺超声图像分割方法，该方法在经由传统深度学习算法获取初步分割结果的基础上，利用多成分邻域极限学习机改进初步分割结果的边缘环形关注区域，以提高甲状腺超声分割结果。首先，甲状腺超声图像被用于提取边缘成分和超像素成分，以得到甲状腺超声多成分图像数据集；而后，基于三个深度学习U-Net算法，分别利用原始成分、边缘成分和超像素成分获取多成分分割输出和甲状腺初步分割结果，并基于多成分分割输出提取多成分小邻域特征；随后，基于多成分邻域极限学习机，得到融合的、优化的特征，并按像素位置还原分割图像，得到増补性分割结果；最后，基于初步分割提取甲状腺边缘环形关注区域，并结合増补性分割结果改进得到精度较高的甲状腺分割结果。如图1所示，具体步骤如下：

步骤一：加载甲状腺超声原始成分图像，为每幅图像匹配对应的图像分割标签并划分原始成分数据集，然后提取边缘成分图像和超像素成分图像，得到边缘成分图像训练集和超像素成分图像训练集，具体步骤如下：

步骤一一、加载全部甲状腺超声原始成分图像

其中

代表第*幅原始成分图像，共计X幅，并为每幅原始成分图像按相同的列队匹配图像分割标签

其中

代表第*幅分割图像标签；

步骤一二、在保证来自同一甲状腺的图像被划分到相同子集的情况下，按照数据划分规则将全部甲状腺超声原始成分图像划分为具有M幅原始成分图像的训练集

和具有N幅原始成分图像的测试集

以构成原始成分数据集；

步骤一三、基于步骤一二构建的原始成分数据集，利用索贝尔算子处理原始成分图像，得到边缘成分图像

的计算公式如下：

的计算方式与

相同；随后，为全部提取的边缘成分图像按相同列队配以边缘成分图像L_image，x和y分别为像素的横纵坐标，以构成边缘成分图像训练集

和边缘成分图像测试集

步骤一四、基于步骤一二构建的原始成分数据集，利用简单线性聚类处理原始成分图像，得到超像素成分图像T_SP、t_SP，在完成迭代i次后，原始成分图像的全部P像素点被聚类为K个超像素，以获得超像素成分图像T_SP、t_SP，原始成分图像中像素点p(x,y)的亮度计算公式如下：

式中，l(·)为像素亮度，cc_j为聚类中心点，cc^*为某像素距离最近的聚类中心点，

为步长，x和y分别为像素的横纵坐标，x_j和y_j分别为聚类中心的横纵坐标，t_SP的计算方式与T_SP相同；随后，为全部提取的超像素成分图像按相同列队配以边缘成分图像L_image，以构成超像素成分图像训练集

和超像素成分图像测试集

步骤二：利用多成分数据集训练三个U-Net分割算法，以获得初步分割结果和多成分分割输出，进而提取多成分小邻域特征F_x,y,f_x,y并配以像素二分类标签，具体步骤如下：

步骤二一、利用步骤一中获取的原始成分图像训练集T_US、边缘成分图像训练集T_Sobel和超像素成分图像训练集T_SP，分别训练一个U-Net，训练后获得三个深度学习分割算法

和

步骤二二、基于步骤一中获取的原始成分测试集t_US，通过

获取初步分割结果R_Pre：；

同时，基于

和

倒数第一层之前的算法，记为

和

利用甲状腺多成分图像数据集t_US、t_Sobel和t_SP获取多成分甲状腺分割输出O_US、O_Sobel和O_SP：

步骤二三、基于步骤二二获取的多成分甲状腺分割输出O_US、O_Sobel和O_SP，首先在每个分割输出的四个边上向外扩充

个像素，提取边长为Q的方形的多成分小邻域特征F_x,y,f_x,y，进而划分新的训练集和测试集

和

其中x,y为中心特征对应的横纵坐标；同时，基于图像分割标签L_images为小邻域特征提取小邻域特征的中心特征所对应的像素二分类标签L_pixels。

步骤三：在多成分邻域极限学习机中完成特征融合、最小冗余度-最大相关度特征筛选和极限学习机训练，获取像素分类结果并重构，以获得増补性分割结果，具体步骤如下：

步骤三一、基于步骤二中提取的大小为Q×Q的多成分小邻域特征F_x,y,f_x,y，进行数据大小改变为1×Q²，并按照原始成分小邻域特征、边缘成分小邻域特征和超像素成分小邻域特征的顺序进行数据融合，得到大小为1×3Q²的邻域特征F_x,y,f_x,y；

步骤三二、使用最小冗余度-最大相关度特征选择对邻域特征F_x,y,f_x,y进行特征选择：

式中，F为特征子集，f_i和f_j为特征子集F中任意两个特征，I(·)为互信息，互信息的定义如公式第二行，其中p(·)和p(·,·)为概率密度函数，则公式第一项等价于最大化特征与分类类别间的相关度，第二项等价于最小化特征间的相关度，即最小化冗余度，对特征进行优化后得到特征子集训练集

步骤三三、基于优化后得到的特征子集训练集

结合提取的像素二分类标签L_pixels，对极限学习机进行训练，训练完成后得到机器学习像素分类算法

进而对测试集的多成分邻域特征按照训练集的特征优化结果获取

子集，基于

获取像素分类结果C_pixels：

步骤三四、待获取全部像素分类后，按照中心特征的横纵坐标x,y，将对应的像素分类结果C_pixels还原到对应位置，得到増补性分割结果R_Sup。

步骤四：利用増补性分割结果，改进初步分割结果的边缘环形关注区域，以获取改进的最终分割结果，具体步骤如下：

步骤四一、基于步骤二中得到的初步分割结果R_Pre，提取边界线l_boundary，进而对边界线分别向内外扩充u和v个像素，得到边缘环形关注区域A_Boundary：

同时，对应的稳定环形内部区域A_Inside为：

步骤四二、根据A_Boundary基于步骤三中得到的増补性分割结果R_Sup，获取改进的甲状腺环形区域分割结果B_Sup：

B_Sup＝A_boundary∩R_Sup；

进而在稳定环形内部区域A_Inside上基于B_Sup获得最终改进优化后的分割结果R_Imp：

R_Imp＝A_boundary∩R_Sup∪A_inside。

下面结合具体甲状腺超声图像说明本发明的具体实施方式。

本发明的实验验证为甲状腺区域切片图像，来源于接受检测的志愿者人员，全部为真实采集的甲状腺超声图像，共计1595幅，同时由专业人员提供对应的1595幅甲状腺分割图像标签。

执行步骤一：加载全部甲状腺原始成分图像1595幅，随后为每幅原始图像匹配分割图像标签1595幅。进而，在保证来自同一甲状腺的图像被划分到相同子集的情况下，以大至0.8:0.2的比例将数据集划分为训练集(1251幅)和测试集(344幅)。然后分别基于索贝尔算子和简单线性聚类获取边缘成分(训练集1251幅+测试集344幅)和超像素成分(训练集12551幅+测试集344幅)，其中简单线性聚类中设置迭代10次，划分2000个像素块。以数据集中任一原始成分图像为例，如图2中分别展示了甲状腺超声多成分图像数据集中原始成分图像、边缘成分图像、超像素成分图像和对应的分割图像标签。

执行步骤二：基于步骤一构建的训练集中的1251幅甲状腺超声多成分图像及其分割图像标签，在完成训练后可分别得到一个深度学习U-Net分割算法。首先，利用344幅来自测试集的原始成分图像对基于原始成分图像获取的分割算法进行测试，以得到初步分割结果，其样本示例及对应分割图像标签如图3所示。进而在微调训练后的三个深度学习分割算法后，得到算法倒数第一层之前的分割输出算法，随后利用测试集中的原始成分图像、边缘成分图像和超像素成分图像获取甲状腺分割输出，分割输出的样本示例如图4。随后对多成分分割输出在上下左右四边上分别扩充2个像素，灰度值为0的边缘，然后提取边长为5个像素的多成分小邻域特征，具体的边缘扩充前后样本、扩充后局部放大示例及小邻域特征的示例图如图5所示，具体提取流程如图6左侧。然后利用提取的小邻域特征划分新的训练集和测试集，原始图像为224×224像素，为每个像素都提取小邻域特征后则可得到50176个特征样本，并以像素的横纵坐标位置对每个特征样本进行标记。同时，考虑到训练样本对硬件的内存要求，取43幅图提取的特征作为训练集，即2157568个训练样本，剩余的取自301幅图提取的15102976个样本作为测试集。最后为每个小邻域特征配以中心特征所对应的像素二分类标签。

执行步骤三：基于步骤二中提取的三个5×5像素的多成分小邻域特征，首先改变其大小为1×25像素，并按照原始成分小邻域特征、边缘成分小邻域特征和超像素成分小邻域特征的顺序进行数据融合，得到1×75像素的邻域特征。进而使用最小冗余度-最大相关度特征选择对融合后的邻域特征进行选择，并设定保留80％的更有效的特征子集得到优化后的特征。随后利用优化后的特征训练极限学习机器，并对测试集中的15102976个样本进行测试，获取像素分类结果。最后根据邻域特征被标记的横纵坐标位置横纵坐标位置还原到对应位置，得到増补性分割结果，步骤三的执行示意图如图6右侧，増补性分割结果的样本示例如图7所示。图7中的深灰色线圈为图像分割标签的轮廓，对比増补性分割结果及初步分割结果，可以发现増补性分割结果更接近真实的轮廓，在标记位置处分割得更加准确。

执行步骤四：基于步骤二中获取的初步分割结果，提取边缘环形关注区域和稳定环形内部区域，然后根据步骤三中得到的増补性分割结果，获取改进的甲状腺环形区域分割结果，以得到改进的最终分割结果，边缘关注区域改进的示意图如图8所示。获取的改进分割结果及对比样本示例如图9所示，分别给出了原始成分图像、改进分割结果、分割图像标签和改进对比图，其中改进对比图用不同的灰度及箭头分别标注出初步分割结果、改进后被包含的分割区域、改进后被消除的错误分割区域和过分割区域。从图中可以看出经过本发明的分割结果(改进)相较于初步分割结果(传统)具有更精确的分割结果，其边缘关注区域基于増补性分割结果(增补)获得到了较大的改进。进而，通过反复执行步骤三3)进行了五组实验，并通过F1评分、交并比和马修斯相关系数对本发明改进算法、増补性算法、传统算法进行对比，对比评价结果如表1所示。

表1本发明改进方法、増补性算法和传统算法的分割精度评价

从表1可以发现，本发明提出的基于多成分邻域的小数据甲状腺超声图像分割方法在五组实验结果中对分割精度均有较大改进。因此，通过上述实验验证，可以得到如下结论：本发明提出的基于多成分邻域的小数据甲状腺超声图像分割方法可以在小数据下获得精度更高的甲状腺超声分割结果，在临床及社会普查中提供更准确的甲状腺信息。

Claims (6)

1.一种基于多成分邻域的小数据甲状腺超声图像分割方法，其特征在于所述方法包括如下步骤：

步骤一：加载甲状腺超声原始成分图像，为每幅图像匹配对应的图像分割标签并划分原始成分数据集，然后提取边缘成分图像和超像素成分图像，得到边缘成分图像训练集和超像素成分图像训练集；

步骤二：利用多成分数据集训练三个U-Net分割算法，以获得初步分割结果和多成分分割输出，进而提取多成分小邻域特征F_x,y,f_x,y并配以像素二分类标签，具体步骤如下：

步骤二一、利用步骤一中获取的原始成分图像训练集T_US、边缘成分图像训练集T_Sobel和超像素成分图像训练集T_SP，分别训练一个U-Net，训练后获得三个深度学习分割算法

和

步骤二二、基于步骤一中获取的原始成分测试集t_US，通过

获取初步分割结果R_Pre，同时，基于

和

倒数第一层之前的算法，记为

和

利用甲状腺多成分图像数据集t_US、t_Sobel和t_SP获取多成分甲状腺分割输出O_US、O_Sobel和O_SP；

步骤二三、基于步骤二二获取的多成分甲状腺分割输出O_US、O_Sobel和O_SP，首先在每个分割输出的四个边上向外扩充

个像素，提取边长为Q的方形的多成分小邻域特征F_x,y,f_x,y，进而划分新的训练集和测试集

和

其中x,y为中心特征对应的横纵坐标；同时，基于图像分割标签L_images为小邻域特征提取小邻域特征的中心特征所对应的像素二分类标签L_pixels；

步骤三：在多成分邻域极限学习机中完成特征融合、最小冗余度-最大相关度特征筛选和极限学习机训练，获取像素分类结果并重构，以获得増补性分割结果，具体步骤如下：

步骤三一、基于步骤二中提取的大小为Q×Q的多成分小邻域特征F_x,y,f_x,y，进行数据大小改变为1×Q²，并按照原始成分小邻域特征、边缘成分小邻域特征和超像素成分小邻域特征的顺序进行数据融合，得到大小为1×3Q²的邻域特征F_x,y,f_x,y；

步骤三二、使用最小冗余度-最大相关度特征选择对邻域特征F_x,y,f_x,y进行特征选择，对特征进行优化后得到特征子集训练集

步骤三三、基于优化后得到的特征子集训练集

结合提取的像素二分类标签L_pixels，对极限学习机进行训练，训练完成后得到机器学习像素分类算法

进而对测试集的多成分邻域特征按照训练集的特征优化结果获取

子集，基于

获取像素分类结果C_pixels；

步骤三四、待获取全部像素分类后，按照中心特征的横纵坐标x,y，将对应的像素分类结果C_pixels还原到对应位置，得到増补性分割结果R_Sup；

步骤四：利用増补性分割结果，改进初步分割结果的边缘环形关注区域，以获取改进的最终分割结果，具体步骤如下：

步骤四一、基于步骤二中得到的初步分割结果R_Pre，提取边界线l_boundary，进而对边界线分别向内外扩充u和v个像素，得到边缘环形关注区域A_Boundary；

步骤四二、根据A_Boundary基于步骤三中得到的増补性分割结果R_Sup，获取改进的甲状腺环形区域分割结果B_Sup；进而在稳定环形内部区域A_Inside上基于B_Sup获得最终改进优化后的分割结果R_Imp。

2.根据权利要求1所述的基于多成分邻域的小数据甲状腺超声图像分割方法，其特征在于所述步骤一的具体步骤如下：

步骤一一、加载全部甲状腺超声原始成分图像

其中

代表第*幅原始成分图像，共计X幅，并为每幅原始成分图像按相同的列队匹配图像分割标签

其中

代表第*幅分割图像标签；

步骤一二、在保证来自同一甲状腺的图像被划分到相同子集的情况下，按照数据划分规则将全部甲状腺超声原始成分图像划分为具有M幅原始成分图像的训练集

和具有N幅原始成分图像的测试集

以构成原始成分数据集；

步骤一三、基于步骤一二构建的原始成分数据集，利用索贝尔算子处理原始成分图像，得到边缘成分图像

随后，为全部提取的边缘成分图像按相同列队配以边缘成分图像L_image，以构成边缘成分图像训练集

和边缘成分图像测试集

步骤一四、基于步骤一二构建的原始成分数据集，利用简单线性聚类处理原始成分图像，得到超像素成分图像T_SP、t_SP，在完成迭代i次后，原始成分图像的全部P像素点被聚类为K个超像素，以获得超像素成分图像T_SP、t_SP；随后，为全部提取的超像素成分图像按相同列队配以边缘成分图像L_image，以构成超像素成分图像训练集

和超像素成分图像测试集

3.根据权利要求2所述的基于多成分邻域的小数据甲状腺超声图像分割方法，其特征在于所述T_* ^Sobel的计算公式如下：

所述原始成分图像中像素点p(x,y)的亮度计算公式如下：

式中，l(·)为像素亮度，cc_j为聚类中心点，cc^*为某像素距离最近的聚类中心点，

为步长，x和y分别为像素的横纵坐标，x_j和y_j分别为聚类中心的横纵坐标。

4.根据权利要求1所述的基于多成分邻域的小数据甲状腺超声图像分割方法，其特征在于所述初步分割结果R_Pre为：

所述O_US、O_Sobel和O_SP为：

5.根据权利要求1所述的基于多成分邻域的小数据甲状腺超声图像分割方法，其特征在于所述使用最小冗余度-最大相关度特征选择对邻域特征F_x,y,f_x,y进行如下特征选择：

式中，F为特征子集，f_i和f_j为特征子集F中任意两个特征，I(·)为互信息，对特征进行优化后得到特征子集训练集

所述像素分类结果C_pixels为：

6.根据权利要求1所述的基于多成分邻域的小数据甲状腺超声图像分割方法，其特征在于所述边缘环形关注区域A_Boundary为：

所述稳定环形内部区域A_Inside为：

所述甲状腺环形区域分割结果B_Sup：

B_Sup＝A_boundary∩R_Sup；

所述改进优化后的分割结果R_Imp为：

R_Imp＝A_boundary∩R_Sup∪A_inside。

Images