CN114155202A - 基于特征融合和迁移学习的甲状腺结节超声图像分类方法 - Google Patents

基于特征融合和迁移学习的甲状腺结节超声图像分类方法 Download PDF

Info

Publication number
CN114155202A
CN114155202A CN202111334195.XA CN202111334195A CN114155202A CN 114155202 A CN114155202 A CN 114155202A CN 202111334195 A CN202111334195 A CN 202111334195A CN 114155202 A CN114155202 A CN 114155202A
Authority
CN
China
Prior art keywords
image
thyroid
nodule
pixel
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111334195.XA
Other languages
English (en)
Inventor
周爱云
徐盼
邱桃荣
付豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Nanchang University
Original Assignee
First Affiliated Hospital of Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Nanchang University filed Critical First Affiliated Hospital of Nanchang University
Priority to CN202111334195.XA priority Critical patent/CN114155202A/zh
Publication of CN114155202A publication Critical patent/CN114155202A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于特征融合和迁移学习的甲状腺结节超声图像分类方法，包括：采集甲状腺超声波影像进行预处理，提取出感兴趣区域并进行人工标记去除和降噪，并利用加权自适应伽马校正；进行图像增强，对图像增强后的样本数据集进行样本拓展，并利用拓展样本对预训练过的ResNet18卷积神经网络进行迁移学习微调；将自适应阈值LTP算子提取出的丰富纹理特征作为辅助输入，与超声图像通过多层卷积自动提取出的深层特征进行多尺度特征融合，共同对神经网络进行二次微调训练。本发明解决训练样本数量不足的问题，降低了模型的过拟合风险，还有效地将不同尺度的纹理特征和深层特征融合为联合特征参与网络训练，从而提升深层神经网络对甲状腺结节图像的分类效果。

Description

基于特征融合和迁移学习的甲状腺结节超声图像分类方法
技术领域
本发明属于图像区域定位和性状识别技术领域，具体应用于医院超声诊断识别技术，特别涉及基于特征融合和迁移学习的甲状腺结节超声图像分类方法。
背景技术
甲状腺癌的发病率虽只占甲状腺结节的5％、全身肿瘤的1％，却是内分泌系统最常见的恶性肿瘤。近些年来，中国甲状腺癌发病率一直呈攀升趋势，且在年龄小于30岁的年轻女性人群中，甲状腺癌发病率也位居恶性肿瘤的第1位。在过去的20余年中，随着医疗影像学技术的发展，大量的甲状腺结节可以在超声图像中正确地检测出来。因为大部分结节为良性或惰性的，对于结节的良恶性准确判断可以极大地降低病人的医疗风险以及大量的由细针穿刺活检带来的昂贵医疗费用，并且有利于减小病人在就医检查时的心理压力。目前对于甲状腺结节性状的检查主要依靠对超声波图像分析完成，医生总结了甲状腺结节的一系列超声图像特性作为癌变征兆，包括低回声、边缘粗糙不规则、微钙化点、硬度高、结节实性和纵横比等。基于这些性质，超声诊断医师提出了一种专业的甲状腺图像报告及数据系统(TI-RADS)来分类甲状腺结节并评估结节癌变的风险。在所有肿瘤的良恶性判断中，医生对于甲状腺肿瘤的诊断、治疗和效果争论最多，单凭TI-RADS系统对甲状腺结节进行评估耗费时间多且鲁棒性差。由于当前的超声图像学中的癌变结节判别依据尚不完善，成像后甲状腺良性结节与恶性结节的特征往往会相互交叉出现，这极大地限制医生的判别能力。因此，利用计算机对超声图像进行处理辅助医生做出诊断，有助于更加准确快速地判别出患者的甲状腺结节性状。
过去由于人工智能技术还未在医疗影像领域普及，为保障医学诊断的严谨，大都是依靠专业人员在大批量超声图像中对甲状腺结节进行区域标记和性状识别，但这不仅耗费人力成本和时间成本，而且误诊与漏诊的概率也会偏高。
随着现代计算机技术的飞速发展，传统的超声诊断技术和前沿的人工智能技术相结合，辅助医生进行甲状腺结节良恶性诊断已成大势所趋，这也对甲状腺癌疾病的预防和治疗具有重要意义。当前，人工智能与甲状腺结节超声诊断结合的研究目标大都集中于两个方向，一个是专注于提升甲状腺结节良恶性的分类精确率，一个是专注于提升甲状腺结节病灶的定位分割能力。但归根结底，对病灶的分割提取，也是为了辅助医生更好地对结节定性诊断，因为对甲状腺结节良恶性状的精准高效预判，才是医生和患者最需要的东西。
此前的研究工作大部分集中于从甲状腺超声图像中提取不同的低层特征信息，然后通过经典的机器学习分类器进行有监督分类。例如Chen等人提出了将纹理特征结合传统病理学特征并借助遗传支持向量机对甲状腺结节进行分类，Katsigiannis等人采用基于图像轮廓小波变换的特征对甲状腺超声纹理进行分类，Acharya等人采用复小波变换滤波器对甲状腺三维超声图像提取特征以进行分类甲状腺肿瘤。这些工作都是使用纹理特征结合支持向量机(SVM)分类器用来完成对结节性质的检测和分类。但传统的医学特征提取需要人工设计复杂的特征提取方法，提取到的特征维度较高，工作量大且效率较低。
随着机器学习的发展，近年来深度学习成为机器学习研究领域的一大热点。通过深度卷积神经网络(DCNNs)提取的图像特征被证明可以有效地应用于图像分类、分割或目标检测等应用中。与传统的特征提取算法相比，DCNNs在图像扭曲的情况下特征提取更加鲁棒，且具有计算量相对较低、以及面对不同输入图像，网络卷积层参数更加稳定等诸多优势。
也正因为其在非医疗图像上的优势，DCNNs开始被逐渐应用于医疗影像分类和检测问题中。例如，Spanhol等人提出了使用DCNNs来分类乳腺癌病理图像，Li等人提出了基于DCNNs的肺结节分类系统，以上DCNNs应用于医疗影像上的成功经验令研究者们尝试应用DCNNs对甲状腺超声图像进行分类。然而，当前用以训练DCNNs模型的图像可能存在以下缺陷：
(1)超声图像往往受超声仪器精度不同，图像采集角度差异等难以避免的干扰，有效特征信息表现较弱，噪声较多；
(2)数据集图像成像质量分布不均，且超声诊断医师在图像中所做的人工标记势必会影响学习识别效果；
(3)训练图像的数据量仍然较少，并不足以独立训练出完善且泛化性能较强的卷积神经网络。
(4)超声成像后重要的边缘信息模糊，关键分类特征易交叉显示。
发明内容
针对现有技术中的不足与难题，本发明旨在提供一种基于特征融合和迁移学习的甲状腺结节超声图像分类方法。
本发明通过以下技术方案予以实现：
基于特征融合和迁移学习的甲状腺结节超声图像分类方法，包括如下步骤：
1、数据集预处理
对采集到的数据集甲状腺超声波影像，进行数据预处理，主要包括以下几个步骤。
1.1甲状腺结节病灶区域提取
原始数据集包含许多不利于结节识别的无效边缘信息，如超声影像仪器采集的影像四周、黑色背景及其以文字、图标形式标注的仪器测试参数。因此，良恶性结节病灶作为感兴趣区域(ROI)需要提前分离出来。
具体步骤如下：
1)根据影像师给定的甲状腺结节标记框位置得出标记框的最左上角坐标值和最右下角坐标值(xi,yi)、(xj,yj)；
2)计算出标记框中心点坐标，记为(xc,yc)，其中xc为xi和xj的平均值，yc为yi和yj的平均值；
3)计算出结节区域的长和宽，取最大值，即
max(xj-xi,yi-yj)，记为w；
4)基于左上角(xc–w/2,yc+w/2)，右上角(xc+w/2,yc+w/2)，左下角(xc–w/2,yc–w/2)，右下角(xc+w/2,yc–w/2)确定坐标区域截取结节子图。如果截取框超出原成像区域，则以邻近像素值填充。
本发明提取出的结节子图能确保按比例缩放时不改变结节本身的形状轮廓且包含正常的甲状腺组织，使得卷积神经网络能更好地从结节本身和正常组织之间的差异中学习甲状腺结节的特征。
1.2人工标记去除及降噪
超声图像中的人工标记主要指超声图像中由影像师所做的对病灶区域的亮白色标记，人工标记会遮挡图像中的纹理部分，影响待分析区域图像的完整性，因此需要将图像中的人工标记去除并复原被遮挡的部分。
首先计算出图像中所有非零区域并对其进行标签化，即：
Figure BDA0003349918910000031
式中，f为输入图像，g为通过迭代选择连通域峰值T后进行标签二值化输出的人工标记区域图像。
在通过区域分割效果确定最佳阈值后，这样就可以找到对应g中面积最大的区域从f中去除，得到疑似标记区域，
Figure BDA0003349918910000032
上式中，Lmax为具有最大面积的连通域，M为输出包含疑似标记区域的图像，然后从图像中去除掉满足条件的像素点即得到去除标记的超声图像。
接下来，对M中的空白区域采用经典的图像修复算法TV模型进行处理，得到对于图像空白区域的估算像素值并填充修复。估算像素值的数学表达式如下：
Figure BDA0003349918910000033
式中，Fo代表当前像素，Fp代表其4个邻域像素，系数H定义为
Figure BDA0003349918910000041
式中，λ为平滑系数，而wp的定义为
Figure BDA0003349918910000042
式中，
Figure BDA0003349918910000043
为散度，以右侧领域为例
Figure BDA0003349918910000044
定义为
Figure BDA0003349918910000045
式中，FE，FNE，FSE分别代表当前像素的右邻接、右上邻接和右下邻接像素，再通过迭代可以实现空白区域的像素估计修复，最后以均值滤波平滑修复区域，超声科医师所添加的标记被很好地移除并最大限度地复原为与周围的组织相似的纹理。
1.3对超声图像进行加权自适应伽马校正
甲状腺超声成像极易受光照条件等非人为因素干扰，导致结节同正常组织边缘间的像素对比度极低，结节内部回声细节模糊不清。而提高超声图像的全局对比度是有效提取结节良恶性特征的关键步骤。考虑到超声影像拍摄仪器的光电转换特性都是非线性的，相较于应用更普遍的直方均衡化图像增强方法，伽马校正更能有效地还原和保留原始像素细节。
2、基于ResNet的迁移学习
本发明方法采取迁移学习策略，在训练ResNet18网络时先导入开源的在Imagenet自然图像数据集上预训练好的模型，获取初始权重参数后基于现有的甲状腺结节超声图像拓展样本进行迁移学习微调。实施步骤有以下几步：
2.1数据增强
对现有的图像进行数据增强获得足够的拓展样本，用于预训练ResNet模型以得到对甲状腺结节性状特征敏感的深度网络。根据TI-RADS评价标准，甲状腺结节组织的纵横比是判别结节良恶性的重要特征之一。为防止破坏这一细节信息，本发明只采取垂直翻转、水平翻转、顺时针旋转180°这三种数据增强方式，额外得到三倍的拓展样本数据。
2.2迁移学习与微调
在得到数量足够的高质量训练图像样本后，可以对ResNet18进行参数微调以得到可以准确高效提取甲状腺超声图像特征的深度网络。
实验基于Keras深度学习框架进行卷积层参数微调，步骤如下：
1)将经过预处理和数据增强后的甲状腺结节超声图像作为训练集输入；
2)自定义ResNet18中最后一层全连接softmax层的输出神经元个数，由1000修改为2，对应网络只学习良恶性两种类别输出；
3)将网络的输出层重新命名，这样导入预训练权重时就会因为名字不匹配重新随机生成参数并训练。
4)设置自衰减学习率初始值为0.004，微调所有网络卷积层。经过迁移学习后的ResNet18网络，其卷积层将能自动提取出甲状腺结节图像的代表性特征。
3、融合多尺度特征的甲状腺结节分类
深度神经网络可以直接对图像进行分类，但在卷积和下采样过程中会损失许多细节信息和全局特征，并未利用到图像的低层次特征。考虑到医疗图像中具有大量的纹理等低层次细节特征，本发明利用自适应阈值LTP算子提取出的关键纹理特征与通过多层卷积提取出的深层特征级联，从而融合成多尺度联合特征共同对神经网络进行二次微调训练。
主要包括以下两个步骤：
3.1基于自适应阈值的LTP特征提取
局部三值模式(local ternary pattern,LTP)由Tan等人在LBP基础上提出,LTP局部三值化算子是一种灰度范围内描述图像纹理特征的算子，它在LBP算子的基础上进行扩展，采用三值编码，对光照变化和噪声更加鲁棒，增强了局部纹理特征的分类性能。
该算子对各像素点的(P,R)邻域采样，P表示邻域内像素总数，R表示邻域半径，采样后以中心像素值ic为阈值对邻域内各像素值ip做三值化处理。相较于LBP算子，LTP算子量化阶段，增加了-1值模式及用户自定义阈值t，将映射在[-t，+t]区间内的像素差值量化为0值，大于该区间的差值量化为1，小于该区间的差值量化为-1，s(x)变换为三值编码形式，具体定义如下:
Figure BDA0003349918910000051
利用LTP进行编码，t为用户自定义的阈值，权值的编码方式同LBP算子，计算公式如下:
Figure BDA0003349918910000052
本发明方法针对甲状腺提取特征的效果进行了改进，将原用于计算对比度的中心像素gc，替换为邻域及中心像素之和的平均值ga，并在最后一步向上取整，使得梯度变化信息更明显，结节轮廓更突出。
具体新的阈值计算步骤如下：
(1)先计算邻域像素及中心像素gc的平均值ga:
Figure BDA0003349918910000061
(2)计算邻域像素gi和上式中得到的ga的差值作为邻域对比度Δga:
Δga＝gi-ga (16)
(3)对8个邻域像素与ga得到的差值Δga求平均:
Figure BDA0003349918910000062
(4)计算并向上取整获得邻域离散度α:
Figure BDA0003349918910000063
P表示像素邻域个数(一般为8)，gi表示邻域像素的灰度值。和传统LTP算法相比，改进后的自适应阈值LTP算法(ATLTP)能提取出更多的纹理细节；相较于ε-LTP算法又选取邻域像素及中心像素的平均值，保留了中心像素与邻域的相对关系，也降低了对中心像素的依赖。同时，阈值的大小也将随着局部像素的改变而改变，实现了阈值的自适应性,极大限度地保留了图像中的纹理细节。
在得到局部阈值后，为简化计算，从图像提取LTP特征时可以分解为正、负模式两层，再在各层分别使用LBP编码方式，得到两层呈现不同纹理的特征结节。
3.2采用多尺度特征融合与二次微调
卷积神经网络通过逐层抽象的方式来提取目标的特征，其中一个重要的概念就是感受野。如果感受野太小，则只能观察到局部的特征，如果感受野太大，则获取了过多的无效信息。因此，设计多尺度特征输入对卷积网络性能的提升有极大的帮助。
以一张待分类甲状腺结节超声图像为例，输入至微调好的ResNet18中，以conv2_4层的输出即为图像的深度特征，该特征映射维数为56×56×64。图像的浅层纹理特征采用改进的ATLTP算子进行提取，三值化正负模式特征层均可转化为二维图像显示，初始维度为224×224×2，然后通过Resize将特征图放缩维度至56×56×2，获得多尺度信息。然后将ATLTP浅层纹理特征映射通过批归一化(BN)层，与深度特征拼接形成维度56×56×66的多尺度联合特征并输入下一个神经网络层。
对网络进行二次微调训练时，将专门用于提取深度特征的网络层，即conv2_4及之前的网络层训练属性设为False，冻结蓝色虚线框内的卷积层参数，仅对特征融合输入后的网络层参数训练。实际实验时在输出层之前的平均池化层加入Dropout正则化预防过拟合现象，rate值设置为0.8。
与现有技术相比，本发明有益效果包括：
(1)本发明提出在预处理时提升超声图像的质量，并通过数据增强得到更多拓展样本用于迁移学习，这样既能解决训练样本数量不足的问题，也降低了模型的过拟合风险。
(2)本发明提出的深度学习模型具有多尺度信息输入结构，能够有效地将不同尺度的纹理特征和深层特征融合为联合特征参与网络训练，从而提升深层神经网络对甲状腺结节图像的分类效果。
附图说明
图1为本发明甲状腺结节良恶性分类算法流程图。
图2为本发明中甲状腺超声影像及其结病灶提取示意图。
图3为本发明中超声图像中的人工标记去除后的图像。
图4为各方法对比度增强效果对比示意图。
图5为传统LTP算法(阈值设为1和5)、ε-LTP算法特征提取效果对比图。
图6为本发明中LTP分解为LBP的编码过程演示图。
图7为本发明中图像特征叠加融合的示意图。
具体实施方式
下面结合附图，对本发明作进一步地说明。
基于特征融合和迁移学习的甲状腺结节超声图像分类方法流程如图1所示，首先从原始图像数据提取出感兴趣区域并进行人工标记去除和降噪，并利用加权自适应伽马校正以实现在抑制噪声产生的同时提高全局信息对比度；然后对图像增强后的样本数据集进行样本拓展，并利用拓展样本对预训练过的ResNet18卷积神经网络进行迁移学习微调；最后将自适应阈值LTP算子提取出的丰富纹理特征作为辅助输入，与超声图像通过多层卷积自动提取出的深层特征进行多尺度特征融合，共同对神经网络进行二次微调训练。
(一)数据预处理
1、甲状腺结节病灶区域提取
具体步骤如下：
1)根据影像师给定的甲状腺结节标记框位置得出标记框的最左上角坐标值和最右下角坐标值(xi,yi)、(xj,yj)；
2)计算出标记框中心点坐标，记为(xc,yc)，其中xc为xi和xj的平均值，yc为yi和yj的平均值；
3)计算出结节区域的长和宽，取最大值，即max(xj-xi,yi-yj)，记为w；
4)基于左上角(xc–w/2,yc+w/2)，右上角(xc+w/2,yc+w/2)，左下角(xc–w/2,yc–w/2)，右下角(xc+w/2,yc–w/2)确定坐标区域截取结节子图。如果截取框超出原成像区域，则以邻近像素值填充。
如图2所示，内边框为影像师实际标记框，外边框为ROI提取区域，可见本方法提取出的结节子图能确保按比例缩放时不改变结节本身的形状轮廓且包含正常的甲状腺组织，使得卷积神经网络能更好地从结节本身和正常组织之间的差异中学习甲状腺结节的特征。
2、人工标记去除及降噪
超声图像中的人工标记主要指超声图像中由影像师所做的对病灶区域的亮白色标记。如图3(a)所示，人工标记会遮挡图像中的纹理部分，影响待分析区域图像的完整性，因此需要将图像中的人工标记去除并复原被遮挡的部分。首先计算出图像中所有非零区域并对其进行标签化，即：
Figure BDA0003349918910000081
式中，f为输入图像，g为通过迭代选择连通域峰值T后进行标签二值化输出的人工标记区域图像,如图3(b)所示。在通过区域分割效果确定最佳阈值后，这样就可以找到对应g中面积最大的区域从f中去除，得到疑似标记区域，
Figure BDA0003349918910000082
上式中，Lmax为具有最大面积的连通域，M为输出包含疑似标记区域的图像，然后从图像中去除掉满足条件的像素点即得到去除标记的超声图像，如图3(c)所示。
接下来，对M中的空白区域采用经典的图像修复算法TV模型进行处理，得到对于图像空白区域的估算像素值并填充修复。估算像素值的数学表达式如下：
Figure BDA0003349918910000083
式中，Fo代表当前像素，Fp代表其4个邻域像素，系数H定义为
Figure BDA0003349918910000084
式中，λ为平滑系数，而wp的定义为
Figure BDA0003349918910000085
式中，
Figure BDA0003349918910000091
为散度，以右侧领域为例
Figure BDA0003349918910000092
定义为
Figure BDA0003349918910000093
式中，FE，FNE，FSE分别代表当前像素的右邻接、右上邻接和右下邻接像素，再通过迭代可以实现空白区域的像素估计修复，最后以均值滤波平滑修复区域。实验效果如图3(d)，超声科医师所添加的标记被很好地移除并最大限度地复原为与周围的组织相似的纹理。
3、加权自适应伽马校正
伽马校正就是对图像的伽马曲线进行编辑,以对图像进行非线性色调编辑的方法,检测出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度效果。伽马校正的原理是基于伽马校正的变换形式(TGC)，简单表达形式如下：
T(l)＝lmax(l/lmax)γ (7)
其中lmax是原始图像的单通道图像像素的最大值。执行此功能函数后，便可将输入图像像素值l转换为T(l)。然而，当对比度直接通过伽马校正进行校正时，不同的图像会显示出与固定参数相同的强度变化。所以，应通过计算数字图像中每个强度级别的概率密度来解决这个问题。概率密度函数(PDF)形式表示如下：
Figure BDA0003349918910000094
其中nl表示的是像素值为l的像素个数，而MN代表的是图像中的像素总数，累积分布函数(CDF)又是基于PDF的分布函数，是概率密度函数的积分，表示如下：
Figure BDA0003349918910000095
自适应伽马校正(AGC)公式表示如下：
T(l)＝lmax(l/lmax)γ＝lmax(l/lmax)1-cdf(l) (10)
此外，加权分布(WD)函数也可应用于统计直方图轻微修改且不造成不良损失，其公式表示如下：
Figure BDA0003349918910000096
这里α是可调参数，通常将α设为1，pdfmax和pdfmin分别代表统计灰度直方图中最大和最小的的pdf值。最后AGCWD方法就是基于加权分布函数，将γ表示为：
Figure BDA0003349918910000097
峰值信噪比提供了一个衡量图像失真或是噪声水平的客观标准,值越大，代表失真越少。由表1和图4可知，同全局直方均衡化(HE)、限制对比度的自适应直方均衡化(CLAHE)相比，加权自适应伽马校正方法在极大增强对比度的同时，最大程度地保留了原始图像的细节信息，有效抑制了图像增强时所放大的噪声。
表1图像评价指标
Figure BDA0003349918910000101
(二)基于ResNet的迁移学习
采取迁移学习策略，在训练ResNet18网络时先导入开源的在Imagenet自然图像数据集上预训练好的模型，获取初始权重参数后基于现有的甲状腺结节超声图像拓展样本进行迁移学习微调。现有的甲状腺图像数据量不足以训练出完善的网络，因此利用数据增强后得到的拓展样本作为迁移学习和参数微调的训练集，从而得到对甲状腺结节特征敏感的深度卷积网络。
1、数据增强
现有的甲状腺超声图像数据量不足以训练全新的网络模型，因此对现有的图像进行数据增强获得足够的拓展样本，用于预训练ResNet模型以得到对甲状腺结节性状特征敏感的深度网络。根据TI-RADS评价标准，甲状腺结节组织的纵横比是判别结节良恶性的重要特征之一。为防止破坏这一细节信息，本发明只采取垂直翻转、水平翻转、顺时针旋转180°这三种数据增强方式，额外得到三倍的拓展样本数据。
2、迁移学习与微调
在得到数量足够的高质量训练图像样本后，可以对ResNet18进行参数微调以得到可以准确高效提取甲状腺超声图像特征的深度网络，ResNet18的网络结构参数如表2所示。
实验基于Keras深度学习框架进行卷积层参数微调，步骤如下：
1)将经过预处理和数据增强后的甲状腺结节超声图像作为训练集输入；
2)自定义ResNet18中最后一层全连接softmax层的输出神经元个数，由1000修改为2，对应网络只学习良恶性两种类别输出；
3)将网络的输出层重新命名，这样导入预训练权重时就会因为名字不匹配重新随机生成参数并训练。
4)设置自衰减学习率初始值为0.004，微调所有网络卷积层。经过迁移学习后的ResNet18网络，其卷积层将能自动提取出甲状腺结节图像的代表性特征。
表2 ResNet网络结构参数
Figure BDA0003349918910000111
(三)融合多尺度特征的甲状腺结节分类
1、自适应阈值LTP特征提取
局部三值模式(local ternary pattern,LTP)由Tan等人在LBP基础上提出,LTP局部三值化算子是一种灰度范围内描述图像纹理特征的算子，它在LBP算子的基础上进行扩展，采用三值编码，对光照变化和噪声更加鲁棒，增强了局部纹理特征的分类性能。该算子对各像素点的(P,R)邻域采样，P表示邻域内像素总数，R表示邻域半径，采样后以中心像素值ic为阈值对邻域内各像素值ip做三值化处理。相较于LBP算子，LTP算子量化阶段，增加了-1值模式及用户自定义阈值t，将映射在[-t，+t]区间内的像素差值量化为0值，大于该区间的差值量化为1，小于该区间的差值量化为-1，s(x)变换为三值编码形式，具体定义如下:
Figure BDA0003349918910000112
利用LTP进行编码，t为用户自定义的阈值，权值的编码方式同LBP算子，计算公式如下:
Figure BDA0003349918910000113
本发明方法针对甲状腺提取特征的效果进行了改进，将原用于计算对比度的中心像素gc，替换为邻域及中心像素之和的平均值ga，并在最后一步向上取整，使得梯度变化信息更明显，结节轮廓更突出。具体新的阈值计算步骤如下：
(1)先计算邻域像素及中心像素gc的平均值ga:
Figure BDA0003349918910000121
(2)计算邻域像素gi和上式中得到的ga的差值作为邻域对比度Δga:
Δga＝gi-ga (16)
(3)对8个邻域像素与ga得到的差值Δga求平均:
Figure BDA0003349918910000122
(4)计算并向上取整获得邻域离散度α:
Figure BDA0003349918910000123
P表示像素邻域个数(一般为8)，gi表示邻域像素的灰度值。和传统LTP算法相比，改进后的自适应阈值LTP算法(ATLTP)能提取出更多的纹理细节；相较于ε-LTP算法又选取邻域像素及中心像素的平均值，保留了中心像素与邻域的相对关系，也降低了对中心像素的依赖。同时，阈值的大小也将随着局部像素的改变而改变，实现了阈值的自适应性,极大限度地保留了图像中的纹理细节。这里与传统LTP算法(阈值设为1和5)、ε-LTP算法特征提取效果对比如图5。
在得到局部阈值后，为简化计算，从图像提取LTP特征时可以分解为正、负模式两层，再在各层分别使用LBP编码方式，得到两层呈现不同纹理的特征结节，提取过程如图6所示。
2、多尺度特征融合与二次微调
以一张待分类甲状腺结节超声图像为例，输入至微调好的ResNet18中，以conv2_4层的输出即为图像的深度特征，由网络结构表2即可知该特征映射维数为56×56×64。图像的浅层纹理特征采用改进的ATLTP算子进行提取，三值化正负模式特征层均可转化为二维图像显示，初始维度为224×224×2，然后通过Resize将特征图放缩维度至56×56×2，获得多尺度信息。然后将ATLTP浅层纹理特征映射通过批归一化(BN)层，与深度特征拼接形成维度56×56×66的多尺度联合特征并输入下一个神经网络层，过程可视化如图7。
对网络进行二次微调训练时，将专门用于提取深度特征的网络层，即conv2_4及之前的网络层训练属性设为False，冻结蓝色虚线框内的卷积层参数，仅对特征融合输入后的网络层参数训练。实际实验时在输出层之前的平均池化层加入Dropout正则化预防过拟合现象，rate值设置为0.8。
本实施例进行数据增强后超声样本总数共扩展至5632张，将其分为包含3468张恶性样本和1864张良性样本的训练集，以及包含200张恶性样本和100张良性样本的测试集。
针对上述数据集进行实验，步骤如下：
1)对收集到的甲状腺结节图像数据集采用本发明提出的算法流程进行分类；
2)对比浅层纹理特征提取方法在甲状腺结节超声图像上的表现以评价本发明的ATLTP算子提取办法是否鲁棒；
3)基于本文的非开源数据集，通过程序对训练集随机分组进行10折交叉验证训练模型，在训练完成后计算测试集的各项评估指标，最后再与其他同类型算法应用于同一数据集进行比较。
考虑二分类的情况，类别可分为1和0，结节的良恶性识别情况便可用其进行表示。在本发明实验中，如表3所示，将横轴的1和0分别作为模型识别出的正类(positive)和负类(negative)，正类表示该结节为恶性，而负类表示结节为良性；而纵轴的0和1表示结节实际的标签属性，若识别正确前缀为True，识别错误前缀为False。即在实验中所有可能产生出分类的结果共有如下4种，对应结果参数具体见表3如下：
表3分类结果指标表
Figure BDA0003349918910000131
在临床上，上表中各统计量代表的含义分别为：真阳性(TP)指恶性结节被正确判定的个数，假阳性(FP)是指良性结节被错误判定为恶性结节的个数。真阴性(TN)是指良性结节被正确判定的个数，假阴性(FN)是指恶性结节被错误判定为良性结节的个数。
实验结果对分类算法的评价指标主要为在相同运行环境的前提下，在同样的测试集中其分类的准确率(ACC)、灵敏度(SENS)、召回率(REC)、特异度(SPEC)、精确率(PRE)，以及AUC值和F1分数。具体定义如下：
Figure BDA0003349918910000132
Figure BDA0003349918910000133
Figure BDA0003349918910000134
Figure BDA0003349918910000141
Figure BDA0003349918910000142
针对上述实验结果进行分析和比较：
(1)纹理特征提取效果比较
实验首先对比本发明的ATLTP算子与其他纹理特征提取方法在SVM分类器上的表现，包括LBP、LTP、ULBP等纹理特征提取算法。在图像经过预处理后的情况下提取测试集中的超声样本纹理特征,并转化为特征向量输入非线性SVM进行别，得到分类准确率与误分类样本个数如表4所示：
表4纹理特征提取方法对比
Figure BDA0003349918910000143
如上表所示，本发明改进后的ATLTP算法相较于其他算法在实验的甲状腺结节数据集上的纹理特征提取具有更优的表现，误分类样本更少，可以更好地描述出超声图像结节部位的纹理信息。
(2)迁移学习分类效果比较
小样本数据集使用卷积层过深的网络模型极易产生过拟合效应，迁移学习可以有效地减少过拟合，并训练出对小样本超声数据集敏感的卷积神经网络。为了验证迁移学习微调模型的效果，实验对当前经典的用于图像分类的深度学习网络模型进行对比。同样是仅对原始图像进行裁剪和图像去标记降噪的预处理情况下，训练集样本输入AlexNet、VGG-16、LeNet等神经网络进行迭代训练，并分别对比了使用迁移学习前后的测试集准确率，如表5所示。
表5迁移学习效果对比
Figure BDA0003349918910000144
Figure BDA0003349918910000151
由表5可知，本发明所使用的经过迁移学习微调后的网络模型在对比中测试集分类准确率达到84.7％，明显高于其他深度学习网络模型的准确率。
(3)甲状腺结节分类效果比较
本发明提出的方法分别与当前深度学习文献方法进行了评估指标对比，同时对照了预处理阶段仅截取ROI时的模型分类效果。下表6给出了各处理方法下的甲状腺结节良恶分类效果对比。其中基于Inception-v3、ResNet50、Inception-ResNet-v2均为当前流行且分类性能出众的深度学习网络模型；基于中值滤波和残差网和基于GoogLeNet则都是通过卷积神经网络充分结合了甲状腺结节超声图像的浅层特征和深层特征进行分类。
表6各方法关键性能指标对比
Figure BDA0003349918910000152
综合以上实验对比结果表明，本发明的方法对甲状腺结节超声数据集的识别准确率高达95.3％，优于各对比方法。相较于之前文献提出的GoogLeNet和代价敏感随机森林的组合分类模型，虽然特异度略低，但本发明方法涉及的训练参数更少，准确率更高，对恶性结节的识别也更为敏感，且完全基于深度神经网络进行端对端识别，无需另外设置机器学习分类器参数。本发明方法法充分展现了深度迁移学习与特征融合在甲状腺超声图像分类上的优势。
以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.基于特征融合和迁移学习的甲状腺结节超声图像分类方法，其特征在于，所述方法包括以下步骤：
(1)数据集预处理：采集甲状腺超声波影像作为原始图像数据集并进行预处理，首选从原始图像数据集提取出感兴趣区域并进行人工标记去除和降噪，并利用加权自适应伽马校正；
(2)基于ResNet的迁移学习：将预处理后的图像数据进行图像增强，对图像增强后的样本数据集进行样本拓展，并利用拓展样本对预训练过的ResNet18卷积神经网络进行迁移学习微调；
(3)融合多尺度特征的甲状腺结节分类：将自适应阈值LTP算子提取出的丰富纹理特征作为辅助输入，与超声图像通过多层卷积自动提取出的深层特征进行多尺度特征融合，共同对神经网络进行二次微调训练，再对图像进行分类。
2.根据权利要求1所述的基于特征融合和迁移学习的甲状腺结节超声图像分类方法，其特征在于，所述步骤(1)中从原始图像数据集中良恶性结节病灶作为感兴趣区域(ROI)分离出来，具体步骤如下：
1)根据甲状腺结节标记框位置得出标记框的最左上角坐标值和最右下角坐标值(xi,yi)、(xj,yj)；
2)计算出标记框中心点坐标，记为(xc,yc)，其中xc为xi和xj的平均值，yc为yi和yj的平均值；
3)计算出结节区域的长和宽，取最大值，即max(xj-xi,yi-yj)，记为w；
4)基于左上角(xc–w/2,yc+w/2)，右上角(xc+w/2,yc+w/2)，左下角(xc–w/2,yc–w/2)，右下角(xc+w/2,yc–w/2)确定坐标区域截取结节子图；如果截取框超出原成像区域，则以邻近像素值填充。
3.根据权利要求2所述的基于特征融合和迁移学习的甲状腺结节超声图像分类方法，其特征在于，所述步骤(1)中将人工标记去除和降噪，首先将良恶性结节病灶区域进行亮白色标记；再将图像中的人工标记去除并复原被遮挡的部分，具体步骤如下：
1)计算出图像中所有非零区域并对其进行标签化
Figure FDA0003349918900000011
式中，f为输入图像，g为通过迭代选择连通域峰值T后进行标签二值化输出的人工标记区域图像；
2)在通过区域分割效果确定最佳阈值后，找到对应g中面积最大的区域从f中去除，得到疑似标记区域，
Figure FDA0003349918900000021
式中，Lmax为具有最大面积的连通域，M为输出包含疑似标记区域的图像，然后从图像中去除掉满足条件的像素点即得到去除标记的超声图像；
3)对M中的空白区域采用经典的图像修复算法TV模型进行处理，得到对于图像空白区域的估算像素值并填充修复，估算像素值的数学表达式如下：
Figure FDA0003349918900000022
式中，Fo代表当前像素，Fp代表其4个邻域像素，系数H定义为：
Figure FDA0003349918900000023
式中，λ为平滑系数，而wp的定义为：
Figure FDA0003349918900000024
式中，
Figure FDA0003349918900000025
为散度，以右侧领域为例
Figure FDA0003349918900000026
定义为：
Figure FDA0003349918900000027
式中，FE，FNE，FSE分别代表当前像素的右邻接、右上邻接和右下邻接像素，再通过迭代可以实现空白区域的像素估计修复，最后以均值滤波平滑修复区域。
4.根据权利要求1所述的基于特征融合和迁移学习的甲状腺结节超声图像分类方法，其特征在于，所述步骤(2)中数据增强采取垂直翻转、水平翻转、顺时针旋转180°这三种数据增强方式，进而额外得到三倍的拓展样本数据；
所述步骤(2)中迁移学习微调的步骤如下：
1)将经过预处理和数据增强后的甲状腺结节超声图像作为训练集输入；
2)自定义ResNet18中最后一层全连接softmax层的输出神经元个数，由1000修改为2，对应网络只学习良恶性两种类别输出；
3)将网络的输出层重新命名，这样导入预训练权重时就会因为名字不匹配重新随机生成参数并训练；
4)设置自衰减学习率初始值为0.004，微调所有网络卷积层，经过迁移学习后的ResNet18网络，其卷积层将能自动提取出甲状腺结节图像的代表性特征。
5.根据权利要求1所述的基于特征融合和迁移学习的甲状腺结节超声图像分类方法，其特征在于，所述步骤(3)中自适应阈值的LTP特征提取是甲状腺提取特征的效果进行改进，将原用于计算对比度的中心像素gc，替换为邻域及中心像素之和的平均值ga，并在最后一步向上取整，使得梯度变化信息更明显，结节轮廓更突出；在得到局部阈值后，为简化计算，从图像提取LTP特征时可以分解为正、负模式两层，再在各层分别使用LBP编码方式，得到两层呈现不同纹理的特征结节；
具体新的阈值计算步骤如下：
1)先计算邻域像素及中心像素gc的平均值ga:
Figure FDA0003349918900000031
2)计算邻域像素gi和上式中得到的ga的差值作为邻域对比度Δga:
Δga＝gi-ga
3)对8个邻域像素与ga得到的差值Δga求平均:
Figure FDA0003349918900000032
4)计算并向上取整获得邻域离散度α:
Figure FDA0003349918900000033
P表示像素邻域个数，gi表示邻域像素的灰度值。
CN202111334195.XA 2021-11-11 2021-11-11 基于特征融合和迁移学习的甲状腺结节超声图像分类方法 Withdrawn CN114155202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111334195.XA CN114155202A (zh) 2021-11-11 2021-11-11 基于特征融合和迁移学习的甲状腺结节超声图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111334195.XA CN114155202A (zh) 2021-11-11 2021-11-11 基于特征融合和迁移学习的甲状腺结节超声图像分类方法

Publications (1)

Publication Number Publication Date
CN114155202A true CN114155202A (zh) 2022-03-08

Family

ID=80459847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111334195.XA Withdrawn CN114155202A (zh) 2021-11-11 2021-11-11 基于特征融合和迁移学习的甲状腺结节超声图像分类方法

Country Status (1)

Country Link
CN (1) CN114155202A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386848A (zh) * 2023-03-10 2023-07-04 王子骁 基于ai技术的多维度甲状腺结节精准化评价系统及方法
CN116523840A (zh) * 2023-03-30 2023-08-01 苏州大学 一种基于深度学习的肺部ct图像检测系统以及方法
CN116843626A (zh) * 2023-06-08 2023-10-03 江苏苏港智能装备产业创新中心有限公司 一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法
CN117982106A (zh) * 2024-04-02 2024-05-07 天津市肿瘤医院（天津医科大学肿瘤医院） 一种基于mri图像的乳腺癌化疗疗效预测系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386848A (zh) * 2023-03-10 2023-07-04 王子骁 基于ai技术的多维度甲状腺结节精准化评价系统及方法
CN116523840A (zh) * 2023-03-30 2023-08-01 苏州大学 一种基于深度学习的肺部ct图像检测系统以及方法
CN116523840B (zh) * 2023-03-30 2024-01-16 苏州大学 一种基于深度学习的肺部ct图像检测系统以及方法
CN116843626A (zh) * 2023-06-08 2023-10-03 江苏苏港智能装备产业创新中心有限公司 一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法
CN117982106A (zh) * 2024-04-02 2024-05-07 天津市肿瘤医院（天津医科大学肿瘤医院） 一种基于mri图像的乳腺癌化疗疗效预测系统及方法

Similar Documents

Publication Publication Date Title
CN108665456B (zh) 基于人工智能的乳腺超声病灶区域实时标注的方法及系统
CN114155202A (zh) 基于特征融合和迁移学习的甲状腺结节超声图像分类方法
CN106056595B (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统
CN109064470B (zh) 一种基于自适应模糊聚类的图像分割方法及装置
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN110706225B (zh) 基于人工智能的肿瘤识别系统
CN105828691B (zh) 图像处理装置、图像处理方法
Rashid Sheykhahmad et al. A novel method for skin lesion segmentation
Sarwar et al. Segmentation of cervical cells for automated screening of cervical cancer: a review
CN112001895A (zh) 一种甲状腺钙化检测装置
Liu et al. Extracting lungs from CT images via deep convolutional neural network based segmentation and two-pass contour refinement
CN114972272A (zh) 一种基于Grad-CAM的新冠肺炎病灶分割方法
Kanca et al. Learning hand-crafted features for k-NN based skin disease classification
KR101118211B1 (ko) 점막하 종양의 초음파 내시경 영상 분석에 의한 질병의 진단 방법
CN113539477A (zh) 一种基于解耦机制的病灶良恶性预测方法及装置
CN113870194B (zh) 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置
CN109377461A (zh) 一种基于nsct的乳腺x射线图像自适应增强方法
CN112634280B (zh) 基于能量泛函的mri图像脑肿瘤分割方法
CN113940702A (zh) 一种甲状腺结节回声分析装置
Ko et al. A computer-aided grading system of breast carcinoma: scoring of tubule formation
CN113940704A (zh) 一种基于甲状腺的肌肉和筋膜检测装置
Kalsoom et al. An efficient liver tumor detection using machine learning
Wei et al. Predicting malignancy and benign thyroid nodule using multi-scale feature fusion and deep learning
Feudjio et al. Automatic Extraction of breast region in raw mammograms using a combined strategy
Nandanwar et al. Analysis of pixel intensity variation by performing morphological operations for image segmentation on cervical cancer pap smear image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220308