CN114494216A - 基于多级加权神经网络的甲状腺结节定位方法 - Google Patents

基于多级加权神经网络的甲状腺结节定位方法 Download PDF

Info

Publication number
CN114494216A
CN114494216A CN202210110301.4A CN202210110301A CN114494216A CN 114494216 A CN114494216 A CN 114494216A CN 202210110301 A CN202210110301 A CN 202210110301A CN 114494216 A CN114494216 A CN 114494216A
Authority
CN
China
Prior art keywords
feature
nodule
feature map
thyroid
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210110301.4A
Other languages
English (en)
Inventor
赵星
赵婉君
石一磊
牟立超
朱晓香
张雷
朱精强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maide Intelligent Technology Wuxi Co ltd
Original Assignee
Maide Intelligent Technology Wuxi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maide Intelligent Technology Wuxi Co ltd filed Critical Maide Intelligent Technology Wuxi Co ltd
Priority to CN202210110301.4A priority Critical patent/CN114494216A/zh
Publication of CN114494216A publication Critical patent/CN114494216A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多级加权神经网络的甲状腺结节定位方法。构建基于PyTorch深度学习框架的甲状腺结节定位模型,其中,所构建的甲状腺结节定位模型包括结节轮廓粗定位网络模型以及结节轮廓精定位网络模型;对任一待识别定位的甲状腺超声图像,对所述甲状腺超声图像进行预处理,并将预处理后的甲状腺超声图像依次经结节轮廓粗定位网络模型以及结节轮廓精定位网络模型分割定位处理,以得到甲状腺结节位置轮廓特征图,并根据所述甲状腺结节位置轮廓特征图,在所识别定位的甲状腺超声图像上描绘出甲状腺结节的位置与轮廓。本发明能对甲状腺超声图像上的结节实现快速准确的定位,使诊断结果更加可靠。

Description

基于多级加权神经网络的甲状腺结节定位方法
技术领域
本发明涉及一种甲状腺结节定位方法,尤其是一种基于多级加权神经网络的甲状腺结节定位方法。
背景技术
近几年来,甲状腺疾病的发病率不断攀升,已受到人们越来越多的关注。甲状腺结节是指在甲状腺组织中出现的一种异常生长的肿块,是临床常见的病症。甲状腺结节有良、恶性之分,早期发现病灶并正确判断其良恶性对后续治疗方案有重要的指导意义。
甲状腺良恶性结节在超声图像上存在可辨别的影像特征,同时超声检查具有成本低廉、无辐射、安全可靠等优点,已成为诊断甲状腺疾病的常用手段之一,故研究如何辅助医生在超声图像上准确定位结节并确定结节轮廓,就具有重要的临床应用价值。但由于甲状腺超声图像常常出现分辨率低、灰度不均匀、边缘模糊、且斑点噪声严重等问题,加之不同人群甲状腺结节的边界轮廓、大小及位置多变,故结节在超声图像上呈现的形态千变万化,这在很大程度上影响了对结节轮廓判断的准确性。
随着计算机技术和算法的不断发展,以深度学习为核心的人工智能技术在各个领域得到了深入研究与广泛的应用,通过人工智能技术对医学图像进行辅助分析可以降低医生的工作量,同时可以减少成像设备差异性、医生水平等因素对诊断结果的影响。
在过去的十几年中,研究人员提出了多种甲状腺结节分割定位算法,但由于在甲状腺超声图像上结节形态的复杂性,很难得到准确的分割定位结果,难以满足医疗辅助的实际要求。
发明内容
本发明的目的是克服现有技术中存在的不足,提供一种基于多级加权神经网络的甲状腺结节定位方法,其能对甲状腺超声图像上的结节实现快速准确的定位,同时准确的结节边缘轮廓有助于结节良恶性判断,避免过多的主观因素,使诊断结果更加可靠。
按照本发明提供的技术方案,一种基于多级加权神经网络的甲状腺结节定位方法,构建基于PyTorch深度学习框架的甲状腺结节定位模型,其中,所构建的甲状腺结节定位模型包括结节轮廓粗定位网络模型以及结节轮廓精定位网络模型;
对任一待识别定位的甲状腺超声图像,对所述甲状腺超声图像进行预处理,并将预处理后的甲状腺超声图像依次经结节轮廓粗定位网络模型以及结节轮廓精定位网络模型分割定位处理,以得到甲状腺结节位置轮廓特征图,并根据所述甲状腺结节位置轮廓特征图,在所识别定位的甲状腺超声图像上描绘出甲状腺结节的位置与轮廓。
对所述甲状腺超声图像预处理时,包括将所述甲状腺超声图像转换至目标尺寸规格,并将转换后图像的像素值归一化处理。
构建基于PyTorch深度学习框架的甲状腺结节定位模型时,包括如下步骤:
步骤1、提供基于PyTorch深度学习框架的目标定位模型,并配置训练所述目标定位模型的超参数;
步骤2、制作用于训练目标定位模型的训练数据集和测试数据集,在利用所制作的数据集对目标定位模型进行训练时,损失函数采用FocalLoss损失函数,利用Adam优化器对当前目标定位模型的模型参数进行优化,并在训练终止后得到基于PyTorch深度学习框架的甲状腺结节定位模型。
结节轮廓粗定位网络模型对预处理后的甲状腺超声图像处理时,包括如下步骤:
步骤10、将待识别定位的甲状腺超声图像预处理后,以得到特征图一,并将所得到的特征图一输入到结节轮廓粗定位网络模型,所述结节轮廓粗定位网络模型利用步长为2的卷积操作实现下采样,并使用双线性插值方法逐步扩增特征图,最后得到通道数为2的特征图二;
步骤11、对特征图二内两个通道内的元素值进行比较,以得到表征结节位置指示特征的特征图三;
步骤12、根据特征图三,确定粗结节定位轮廓以及与所确定粗结节定位轮廓相适配的轮廓外扩矩形,根据所确定的轮廓外扩矩形在甲状腺超声图像上截取图像块,以利用所截取的图像块生成特征图四,并将所述特征图四输入到结节轮廓精定位网络模型。
所述结节轮廓精定位网络模型包括结节轮廓第一定位子网络、结节轮廓第二定位子网络以及结节轮廓第三定位子网络,其中,通过结节轮廓第一定位子网络对特征图四处理后得到通道数为2的特征图五;结节轮廓第二定位子网络对特征图五和特征图四进行处理,以得到通道数为2的特征图六;结节轮廓第三定位子网络对特征图六和特征图四进行处理,以得到通道数为2的特征图七。
对特征图七内两个通道内的元素值进行比较,并在比较后得到特征图八;
将特征图八的尺寸调整到与轮廓外扩矩形相同的尺寸,并将尺寸调整后的特征图八覆盖到特征图三中,以得到表征结节精位置指示特征的特征图九,利用特征图九,在所识别定位的甲状腺超声图像上描绘出甲状腺结节的位置与轮廓。
8、根据权利要求6所述的基于多级加权神经网络的甲状腺结节定位方法,其特征是,通过结节轮廓第一定位子网络对特征图四处理后得到特征图五时,所述特征图五的通道数为2,其中,任一特征点的第一通道特征值表示该特征点为非甲状腺结节的概率值,任一特征点的第二通道特征值表示该特征点为甲状腺结节的概率值。
结节轮廓第二定位子网络对特征图五和特征图四进行处理时,包括如下步骤:
步骤20、将特征图四均匀地分割为特征子图Fi(i=1、2、3、4),对四块特征图依次处理后得到四块通道数为2的特征图M′i(i=1、2、3、4);
步骤21、根据特征图四分割得到特征子图Fi(i=1、2、3、4)的方式对特征图五进行均匀分割,以得到特征子图Ni(i=1、2、3、4),并将特征图Ni(i=1、2、3、4)与特征图M′i(i=1、2、3、4)按通道拼接,以得到通道数为4的特征拼接图;
步骤22、对特征拼接图进行特征融合,以得到通道数为2的特征图Pi,其中,对特征图Pi,任一特征点的第一通道特征值表示所述特征点为非甲状腺结节的概率值,任一特征点的第二通道特征值表示所述特征点为甲状腺结节的概率值;
步骤23、对特征图Pi的任一特征点,计算所述特征点预测结果的可信度s,并根据所有特征点的预测结果的可信度s得到预测结果可信度特征图Pi c;根据预测结果可信度特征图的计算确定方式,对特征子图Ni(i=1、2、3、4)计算得到预测结果可信度特征图Ni c
步骤24、利用预测结果可信度特征图Pi c以及预测结果可信度特征图Ni c,计算得到优化排序特征图Ci
步骤25、将优化排序特征图Ci内的特征值按从大到小排列,确定前k个特征点的坐标;根据所确定前k个特征点的坐标,对特征子图Ni(i=1、2、3、4)的特征值采用加权求和方式处理,以输出特征子图Mi(i=1、2、3、4);
步骤26、根据特征图四分割得到特征子图Fi(i=1、2、3、4)的坐标参数,将特征子图Mi(i=1、2、3、4)进行位置拼接,以得到通道数为2,大小为128*128的特征图六。
根据权利要求6所述的基于多级加权神经网络的甲状腺结节定位方法,其特征是,步骤24中,利用预测结果可信度特征图Pi c以及预测结果可信度特征图Ni c,得到排序特征图Ci时,则有:
Figure BDA0003494889340000031
其中,
Figure BDA0003494889340000032
表示逐点相乘。
结节轮廓第三定位子网络对特征图六和特征图四进行处理,以得到通道数为2的特征图七时,具体包括如下步骤:
步骤30、将特征图四均匀地分割为特征子图,对所述特征子图F′j(j=1、2、3、...、16)依次处理后得到十六块通道数为2的特征图M′j(j=1、2、3、...、16);
步骤31、根据特征图四分割得到特征子图F′j(j=1、2、3、…、16)的方式对特征图六进行均匀分割,以得到特征子图Nj(j=1、2、3、...、16),并将特征子图Nj(j=1、2、3、...、16)与特征图M′j(j=1、2、3、...、16)按通道拼接,以得到通道数为4的特征拼接图;
步骤32、对上述特征拼接图进行特征融合,以得到通道数为2的特征图P′j(j=1、2、3、...、16),其中,对特征图P′j(j=1、2、3、...、16),任一特征点的第一通道特征值表示所述特征点为非甲状腺结节的概率值,任一特征点的第二通道特征值表示所述特征点为甲状腺结节的概率值;
步骤33、对特征图P′j(j=1、2、3、…、16)的任一特征点,计算所述特征点预测结果的可信度s,并根据所有特征点的预测结果的可信度s得到预测结果可信度特征图
Figure BDA0003494889340000041
根据预测结果可信度特征图的计算确定方式,对特征子图Nj(j=1、2、3、…、16)计算得到预测结果可信度特征图
Figure BDA0003494889340000042
步骤34、利用预测结果可信度特征图
Figure BDA0003494889340000043
以及预测结果可信度特征图
Figure BDA0003494889340000044
计算得到优化排序特征图C′j(j=1、2、3、…、16);
步骤35、将优化排序特征图C′j内的特征值按从大到小排列,确定前q个特征点的坐标;根据所确定前q个特征点的坐标,对特征子图Nj(j=1、2、3、…、16)的特征值采用加权求和方式处理,以输出特征子图Mj(j=1、2、3、…、16);
步骤36、根据特征图四分割得到特征子图F′j(j=1、2、3、…、16)的坐标参数,将特征子图Mj(j=1、2、3、…、16)进行位置拼接,以得到通道数为2且大小为128*128的特征图七。
本发明的优点:对待识别定位的甲状腺超声图像,对所述甲状腺超声图像进行预处理,并将预处理后的甲状腺超声图像依次经结节轮廓粗定位网络模型以及结节轮廓精定位网络模型分割定位处理,以得到甲状腺结节位置轮廓特征图,并根据所述甲状腺结节位置轮廓特征图,在所识别定位的甲状腺超声图像上描绘出甲状腺结节的位置与轮廓,在分割定位处理时,分割图像边缘信息更加精细,得到的轮廓线更准确,对甲状腺超声图像结节尤其是小结节具有良好的适应性,从而能对甲状腺超声图像上的结节实现快速准确的定位,同时准确的结节边缘轮廓有助于结节良恶性判断,避免过多的主观因素,使诊断结果更加可靠。
附图说明
图1为本发明的流程图。
图2为本发明结节轮廓精定位网络模型的工作流程示意图。
图3为本发明具体分割定位的示意图。
具体实施方式
下面结合具体附图和实施例对本发明作进一步说明。
如图1所示:为了能对甲状腺超声图像上的结节实现快速准确的定位,同时准确的结节边缘轮廓有助于结节良恶性判断,避免过多的主观因素,使诊断结果更加可靠,本发明的甲状腺结节定位方法,具体为:构建基于PyTorch深度学习框架的甲状腺结节定位模型,其中,所构建的甲状腺结节定位模型包括结节轮廓粗定位网络模型以及结节轮廓精定位网络模型;
对任一待识别定位的甲状腺超声图像,对所述甲状腺超声图像进行预处理,并将预处理后的甲状腺超声图像依次经结节轮廓粗定位网络模型以及结节轮廓精定位网络模型分割定位处理,以得到甲状腺结节位置轮廓特征图,并根据所述甲状腺结节位置轮廓特征图,在所识别定位的甲状腺超声图像上描绘出甲状腺结节的位置与轮廓。
具体地,PyTorch深度学习框架为现有常用的深度学习框架,因此,可以利用PyTorch深度学习框架构建基于PyTorch深度学习框架的甲状腺结节定位模型,以利用所构建的基于PyTorch深度学习框架的甲状腺结节定位模型对甲状腺超声图像内甲状腺结节进行定位。
本发明实施例中,所构建的甲状腺结节定位模型包括结节轮廓粗定位网络模型以及结节轮廓精定位网络模型,具体工作时,对任一待识别定位的甲状腺超声图像,对所述甲状腺超声图像进行预处理,并将预处理后的甲状腺超声图像依次经结节轮廓粗定位网络模型以及结节轮廓精定位网络模型分割定位处理,以得到甲状腺结节位置轮廓特征图,并根据所述甲状腺结节位置轮廓特征图,在所识别定位的甲状腺超声图像上描绘出甲状腺结节的位置与轮廓。对于结节轮廓粗定位网络模型以及结节轮廓精定位网络模型的具体分割定位处理的过程,可以参考上述具体说明。
本发明实施例中,由专业人员对收集到的甲状腺超声图像进行标注,并将标注的图像转换为二值灰度图,其中,甲状腺结节区域灰度值设为255,其他区域灰度值设为0。由于来自不同超声设备的图像尺寸大小不一,故在输入模型前需进行预处理,即将所有甲状腺超声图像和标注图像的尺寸统一转换至目标尺寸规格,具体实施时,所述目标尺寸规格为512*512;同时将所有像素值除以255,即像素值归一化到[0,1]。
进一步地,构建基于PyTorch深度学习框架的甲状腺结节定位模型时,包括如下步骤:
步骤1、提供基于PyTorch深度学习框架的目标定位模型,并配置训练所述目标定位模型的超参数;
提供基于PyTorch深度学习框架的目标定位模型,利用FocalLoss损失函数以及Adam优化器对模型参数进行训练,同时配置训练所述目标定位模型的超参数。在达到训练终止状态后,即能得到基于PyTorch深度学习框架的甲状腺结节定位模型。
具体地,所配置的超参数包括学习率、batchsize、权值衰减系数等;配置超参数的具体方式以及过程均可采用现有常用的方式,为本技术领域人员所熟知,此处不再赘述。具体确定训练终止状态的方式以及过程可与现有相一致,为本技术领域人员所熟知。
步骤2、制作用于训练目标定位模型的训练数据集和测试数据集,在利用所制作的数据集对目标定位模型进行训练时,损失函数采用FocalLoss损失函数,利用Adam优化器对当前目标定位模型的模型参数进行优化,并在训练终止后得到基于PyTorch深度学习框架的甲状腺结节定位模型。
具体地,在制作数据集时,通过医院收集甲状腺超声图像,并由专业人员对收集到的图像进行标注,以能形成训练和测试数据集,具体制作训练和测试数据集的情况以及具体制作过程为本技术领域人员所熟知,此处不再赘述。当然,在具体实施时,输入到模型中的超声图像为经过预处理后的图像,具体预处理可以参考上述说明,此处不再赘述。
进一步地,结节轮廓粗定位网络模型对预处理后的甲状腺超声图像处理时,包括如下步骤:
步骤10、将待识别定位的甲状腺超声图像预处理后,以得到特征图一,并将所得到的特征图一输入到结节轮廓粗定位网络模型,所述结节轮廓粗定位网络模型利用步长为2的卷积操作实现下采样,并使用双线性插值方法逐步扩增特征图,最后得到通道数为2的特征图二;
具体地,结节轮廓粗定位网络模型内,卷积操作的卷积核大小为3*3,步长为1或2,利用步长为2的卷积操作实现下采样,使特征图的尺寸下降;批归一化操作具体方式为:
Figure BDA0003494889340000061
其中,x′为归一化后的输出数据,x为需要归一化的输入数据;mean(x)、Var(x)分别为批数据的均值与方差;γ、β分别为可学习的缩放参数与平移参数,初始值分别设置为1和0。
此外,激活操作使用Leaky Relu激活函数,Leaky Relu激活函数的具体情况与现有相一致,此处不再赘述。待识别定位的甲状腺超声图像,经预处理后,即得到512*512大小的特征图一。特征图一经过结节轮廓粗定位网络模型处理后得到通道数为2,大小为512*512的特征图二。
利用结节轮廓粗定位网络模型具体实现步长为2的卷积操作实现下采样以及双线性插值的过程与现有相一致,此处不再赘述。
步骤11、对特征图二内两个通道内的元素值进行比较,以得到表征结节位置指示特征的特征图三;
具体地,按通道比较特征图二中的元素值,如第一通道的元素值大于等于第二通道相应的元素值,则该处置为0,否则,置为1;经过逐个比较后,得到通道数为1,与特征图二大小相同的特征图三。
特征图三即为粗结节位置的指示特征图,特征值为1表示甲状腺超声图像内,该处像素点为甲状腺结节的一个像素点,特征值为0表示甲状腺超声图像内,该处像素点不是甲状腺结节的一个像素点。
步骤12、根据特征图三,确定粗结节定位轮廓以及与所确定粗结节定位轮廓相适配的轮廓外扩矩形,根据所确定的轮廓外扩矩形在甲状腺超声图像上截取图像块,以利用所截取的图像块生成特征图四,并将所述特征图四输入到结节轮廓精定位网络模型。
具体地,特征图三上所有值为1的像素点组成的轮廓即为结节的粗定位轮廓,根据粗定位轮廓,确定结节粗定位轮廓的最小外接矩形,使用w和h分别表示最小外接矩形的宽和高。比较矩形w与h之间的大小,将矩形长边的值记为L。将最小外接矩形在其上下左右四个方向上同时外扩0.25×L个像素点,得到结节粗定位的轮廓外扩矩形。利用轮廓外扩矩形的四个坐标值在甲状腺超声图像上截取图像块,并将其转换为128*128大小;在尺寸规格转换后,将所有像素值除以255,像素值归一化到[0,1],得到特征图四,特征图四为结节轮廓精定位网络模型的输入。
如图2所示,所述结节轮廓精定位网络模型包括结节轮廓第一定位子网络、结节轮廓第二定位子网络以及结节轮廓第三定位子网络,其中,通过结节轮廓第一定位子网络对特征图四处理后得到特征图五;结节轮廓第二定位子网络对特征图五和特征图四处理后得到通道数为2的特征图六;结节轮廓第三定位子网络对特征图六和特征图四处理后得到通道数为2的特征图七。
具体实施时,结节轮廓精定位网络模型的具体工作可以参考图2,其中,通过结节轮廓第一定位子网络对特征图四处理后得到特征图五;结节轮廓第二定位子网络对特征图五和特征图四处理后得到通道数为2的特征图六;结节轮廓第三定位子网络对特征图六和特征图四处理后得到通道数为2的特征图七。
图2中,结节轮廓第一定位子网络包括Net1模块,其中,尺寸大小为128*128的特征图四输入到Net1模块中,Net1模块输出大小同样为128*128,通道数为2的特征图五。对于特征图五,任一特征点的第一通道特征值表示所述特征点为非甲状腺结节的概率值,任一特征点的第二通道特征值表示所述特征点为甲状腺结节的概率值。利用Net1模块对特征图处理,具体得到特征图五的方式以及过程均与现有相一致,为本技术领域人员所熟知,此处不再赘述。
图2中,结节轮廓第二定位子网络包括Net2模块以及Net2优化模块,结节轮廓第二定位子网络对特征图五和特征图四处理时,包括如下步骤:
步骤20、将特征图四均匀地分割为特征子图Fi(i=1、2、3、4),对四块特征图依次处理后得到四块通道数为2的特征图M′i(i=1、2、3、4);
具体地,采用本技术领域常用的技术手段实现将特征图四均匀地分割为特征子图Fi(i=1、2、3、4),四个特征子图依次输入到Net2模块中,可输出大小同样为64*64,通道数为2的特征图M′i(i=1、2、3、4),即特征图M′i(i=1、2、3、4)与特征子图Fi(i=1、2、3、4)呈一一对应的关系。利用Net2模块得到特征图M′i(i=1、2、3、4)的具体方式以及过程均与现有相一致,为本技术领域人员所熟知,此处不再赘述。
步骤21、根据特征图四分割得到特征子图Fi(i=1、2、3、4)的方式对特征图五进行均匀分割,分割特征图五得到特征子图Ni(i=1、2、3、4),并将特征图Ni(i=1、2、3、4)与特征图M′i(i=1、2、3、4)按通道进行拼接,以得到通道数为4的特征拼接图;
具体地,对特征图四分割得到特征子图Fi时,记录特征子图Fi在特征图四上面对应的四个位置坐标点
Figure BDA0003494889340000071
利用这四个坐标点在特征图五上切分出大小为64*64,通道数为2的特征图Ni(i=1、2、3、4)。
将特征图Ni(i=1、2、3、4)与特征图M′i(i=1、2、3、4)按通道进行拼接,以得到通道数为4的特征拼接图,具体按通道拼接的方式以及过程均与现有相一致,为本技术领域人员所熟知,此处不再赘述。
步骤22、将特征拼接图输入到特征融合网络进行特征融合,以得到通道数为2的特征图Pi(i=1、2、3、4),其中,对特征图Pi,任一特征点的第一通道特征值表示所述特征点为非甲状腺结节的概率值,任一特征点的第二通道特征值表示所述特征点为甲状腺结节的概率值。
具体地,特征融合后可输出大小为64*64,通道数为2的特征图Pi;对于特征图Pi,任一特征点的第一通道特征值表示所述特征点为非甲状腺结节的概率值,任一特征点的第二通道特征值表示所述特征点为甲状腺结节的概率值;
步骤23、对于特征图Pi的任一特征点,计算所述特征点预测结果的可信度s,并根据所有特征点的预测结果的可信度s得到预测结果可信度特征图Pi c;根据预测结果可信度特征图的计算确定方式,对特征子图Ni计算得到预测结果可信度特征图Ni c
具体地,对特征图Pi的每一特征点计算所述特征点预测结果的可信度s,具体计算方式为:
s=|value1-value2|
其中,value1为所述特征点为非甲状腺结节的概率值、value2为所述特征点为甲状腺结节的概率值。
特征图Pi所有特征点的预测结果可信度s计算完成之后得到对应的预测结果可信度特征图Pi c。同理,对特征子图Ni使用相同方法计算得到对应的预测结果可信度特征图Ni c,即对特征子图Ni内素有特征点计算所述特征点预测结果的可信度,具体计算方式可以参考上述说明,此处不再赘述。
步骤24、利用预测结果可信度特征图Pi c以及预测结果可信度特征图Ni c,得到排序特征图Ci
具体地,利用预测结果可信度特征图Pi c以及预测结果可信度特征图Ni c,得到排序特征图Ci时,则有:
Figure BDA0003494889340000081
其中,
Figure BDA0003494889340000082
表示逐点相乘。
步骤25、将排序特征图Ci内的特征值按从大到小排列,确定前k个特征点的坐标;根据所确定前k个特征点的坐标,对特征子图Ni(i=1、2、3、4)的特征值采用加权求和方式处理,以输出特征子图Mi(i=1、2、3、4);
具体地,对排序特征图Ci按特征值从大到小进行排序,确定排序在前面的k个特征点坐标,即为特征子图Ni上需要优化的特征点坐标。对特征子图Ni的特征值采用加权求和的方式进行优化,具体公式为:
value′1=0.3×value1(Ni)+0.7×value1(M′i)
value′2=0.3×value2(Ni)+0.7×value2(M′i)
其中,value1(Ni)为特征子图Ni上一特征点的第一通道的特征值、value2(Ni)为特征子图Ni上该特征点的第二通道的特征值,value1(M′i)为特征图M′i上对应特征点第一通道的特征值、value2(M′i)为特征图M′i上对应特征点第二通道的特征值,value′1为所述特征点优化后第一通道的特征值、value′2为所述特征点优化后第二通道的特征值。在确定前k个特征点的坐标时,k为经验值,下述给出了k为1024的实例,具体取值为本技术领域人员所熟知,以能满足输出所需的特征子图Mi(i=1、2、3、4)为准。
步骤26、根据特征图四分割特征子图Fi(i=1、2、3、4)时的坐标参数,将特征子图Mi(i=1、2、3、4)进行拼接,以得到通道数为2的特征图六。
具体地,对特征子图Ni上1024(k=1024)个特征点的特征值进行优化后,优化之后通过Net2优化模块输出的特征子图Mi(i=1、2、3、4)。四块特征图Mi(i=1、2、3、4)按照切分时的位置拼接在一起,即得到尺寸大小为128*128,通道数为2的特征图六。
具体地,上述步骤23~步骤26中输出特征子图Mi(i=1、2、3、4)的过程均由结节轮廓第二定位子网络内的Net2优化模块处理完成。
图2中,对于结节轮廓第三定位子网络包括Net3模块以及Net3优化模块,具体分割定位过程为:
结节轮廓第三定位子网络对特征图六和特征图四进行处理,以得到通道数为2的特征图七时,具体包括如下步骤:
步骤30、将特征图四均匀地分割为特征子图,对所述特征子图F′j(j=1、2、3、…、16)依次处理后得到十六块通道数为2的特征图M′j(j=1、2、3、...、16);
具体地,将特征图四切分成大小为32*32的十六块特征子图F′j(j=1、2、3、…、16),并依次输入到Net3模块中,利用Net3模块能输出大小同样为32*32,通道数为2的特征图M′j(j=1、2、3、...、16)。将特征图四切分得到特征子图F′j(j=1、2、3、…、16)时,记录特征子图F′j(j=1、2、3、…、16)在特征图四上面对应的四个位置坐标点
Figure BDA0003494889340000091
步骤31、根据特征图四分割得到特征子图F′j(j=1、2、3、…、16)的方式对特征图六进行均匀分割,以得到特征子图Nj(j=1、2、3、…、16),并将特征子图Nj(j=1、2、3、…、16)与特征图M′j(j=1、2、3、...、16)按通道拼接,以得到通道数为4的特征拼接图;
具体地,利用这四个坐标点在特征图六上切分出大小为32*32,通道数为2的特征子图Nj(j=1、2、3、…、16),具体分割得到Nj(j=1、2、3、…、16)以及特征拼接图的具体方式、过程可以参考上述说明。
步骤32、对上述特征拼接图进行特征融合,以得到通道数为2的特征图P′j(j=1、2、3、…、16),其中,对特征图P′j(j=1、2、3、…、16),任一特征点的第一通道特征值表示所述特征点为非甲状腺结节的概率值,任一特征点的第二通道特征值表示所述特征点为甲状腺结节的概率值;
具体地,得到特征图P′j(j=1、2、3、…、16)的具体方式,以及特征图P′j(j=1、2、3、…、16)的特性均可参考上述说明。
步骤33、对特征图P′j(j=1、2、3、…、16)的任一特征点,计算所述特征点预测结果的可信度s,并根据所有特征点的预测结果的可信度s得到预测结果可信度特征图
Figure BDA0003494889340000092
根据预测结果可信度特征图的计算确定方式,对特征子图Nj(j=1、2、3、…、16)计算得到预测结果可信度特征图
Figure BDA0003494889340000093
步骤34、利用预测结果可信度特征图
Figure BDA0003494889340000094
以及预测结果可信度特征图
Figure BDA0003494889340000095
计算得到优化排序特征图C′j(j=1、2、3、…、16);
步骤35、将优化排序特征图C′j内的特征值按从大到小排列,确定前q个特征点的坐标;根据所确定前q个特征点的坐标,对特征子图Nj(j=1、2、3、…、16)的特征值采用加权求和方式处理,以输出特征子图Mj(j=1、2、3、…、16);
步骤36、根据特征图四分割得到特征子图F′j(j=1、2、3、…、16)的坐标参数,将特征子图Mj(j=1、2、3、…、16)进行位置拼接,以得到通道数为2且大小为128*128的特征图七。
具体地,上述步骤31~步骤36的过程均由Net3优化模块完成,Net3优化模块的具体情况可参考Net2优化模块的工作过程说明,此处不再赘述。具体地,通过Net3优化模块最终输出特征图Mj(j=1、2、3、…、16)。十六块特征图Mj(j=1、2、3、…、16)按照切分时的位置拼接在一起,即得到尺寸大小为128*128,通道数为2的特征图七。q与上述k类似,均为经验值,具体可以参考上述说明,此处不再赘述。
进一步地,对特征图七的两个通道元素值进行比较,并在比较后得到特征图八;
将特征图八的尺寸调整到与结节粗定位轮廓外扩矩形相同的尺寸,并将尺寸调整后的特征图八覆盖到特征图三中,以得到表征精结节位置指示特征的特征图九,利用特征图九,在所识别定位的甲状腺超声图像上描绘出甲状腺结节的位置与轮廓。
本发明实施例中,特征图七内两个通道内元素比较的方式可以参考从特征图二得到特征图三的说明,此处不再赘述。特征图九即为甲状腺结节位置轮廓特征图。
具体实施时,对Unet、Unet++、DeepLabv3+和本发明的分割定位效果进行对比评估。本发明分别采用Dice相似系数、IOU、Sensitivity(灵敏度)和Precision(精确率)这四个量化指标来评价分割定位效果。Dice相似系数(Dice Similarity Coefficient)是一种集合相似度度量指标,常用于计算两个样本的相似度;IOU的全称为交并比(Intersectionover Union),表示模型预测结果和真实标签这两个集合的交集与两个集合的并集之比;Sensitivity表示预测正确的阳性样本占总阳性样本的比例,在本发明实施例中,甲状腺结节视为阳性,Precision表示预测为阳性的样本中,预测正确的比例。
分割定位对比表
方法 Dice IOU Sensitivity Precision
Unet 0.8805 0.7925 0.8846 0.8920
Unet++ 0.9025 0.8252 0.9021 0.9113
DeepLabv3+ 0.8926 0.8115 0.8943 0.9018
本发明 0.9169 0.8483 0.9183 0.9204
通过上表的量化指标可见,相比于传统方法,本发明的方法在Dice相似系数、IOU、Sensitivity和Precision这四个指标上都有明显的提升。
综上,如图3所示,对待识别定位的甲状腺超声图像,对所述甲状腺超声图像进行预处理,并将预处理后的甲状腺超声图像依次经结节轮廓粗定位网络模型以及结节轮廓精定位网络模型分割定位处理,以得到甲状腺结节位置轮廓特征图,并根据所述甲状腺结节位置轮廓特征图,在所识别定位的甲状腺超声图像上描绘出甲状腺结节的位置与轮廓。
在分割定位处理时,分割图像边缘信息更加精细,得到的轮廓线更准确,对甲状腺超声图像结节尤其是小结节具有良好的适应性。图3中,最后一幅图内,圆环状的区域即描绘甲状腺结节的位置与轮廓。

Claims (10)

1.一种基于多级加权神经网络的甲状腺结节定位方法,其特征是:构建基于PyTorch深度学习框架的甲状腺结节定位模型,其中,所构建的甲状腺结节定位模型包括结节轮廓粗定位网络模型以及结节轮廓精定位网络模型;
对任一待识别定位的甲状腺超声图像,对所述甲状腺超声图像进行预处理,并将预处理后的甲状腺超声图像依次经结节轮廓粗定位网络模型以及结节轮廓精定位网络模型分割定位处理,以得到甲状腺结节位置轮廓特征图,并根据所述甲状腺结节位置轮廓特征图,在所识别定位的甲状腺超声图像上描绘出甲状腺结节的位置与轮廓。
2.根据权利要求1所述的基于多级加权神经网络的甲状腺结节定位方法,其特征是:对所述甲状腺超声图像预处理时,包括将所述甲状腺超声图像转换至目标尺寸规格,并将转换后图像的像素值归一化处理。
3.根据权利要求2所述的基于多级加权神经网络的甲状腺结节定位方法,其特征是,构建基于PyTorch深度学习框架的甲状腺结节定位模型时,包括如下步骤:
步骤1、提供基于PyTorch深度学习框架的目标定位模型,并配置训练所述目标定位模型的超参数;
步骤2、制作用于训练目标定位模型的训练数据集和测试数据集,在利用所制作的数据集对目标定位模型进行训练时,损失函数采用FocalLoss损失函数,利用Adam优化器对当前目标定位模型的参数进行优化,并在训练终止后得到基于PyTorch深度学习框架的甲状腺结节定位模型。
4.根据权利要求1至3任一项所述的基于多级加权神经网络的甲状腺结节定位方法,其特征是,结节轮廓粗定位网络模型对预处理后的甲状腺超声图像处理时,包括如下步骤:
步骤10、将待识别定位的甲状腺超声图像预处理后,以得到特征图一,并将所得到的特征图一输入到结节轮廓粗定位网络模型,所述结节轮廓粗定位网络模型利用步长为2的卷积操作实现下采样,并使用双线性插值方法逐步扩增特征图,最后得到通道数为2的特征图二;
步骤11、对特征图二内两个通道内的元素值进行比较,以得到表征结节位置指示特征的特征图三;
步骤12、根据特征图三,确定粗结节定位轮廓以及与所确定粗结节定位轮廓相适配的轮廓外扩矩形,根据所确定的轮廓外扩矩形在甲状腺超声图像上截取图像块,以利用所截取的图像块生成特征图四,并将所述特征图四输入到结节轮廓精定位网络模型。
5.根据权利要求4所述的基于多级加权神经网络的甲状腺结节定位方法,其特征是,所述结节轮廓精定位网络模型包括结节轮廓第一定位子网络、结节轮廓第二定位子网络以及结节轮廓第三定位子网络,其中,通过结节轮廓第一定位子网络对特征图四处理后得到通道数为2的特征图五;结节轮廓第二定位子网络对特征图五和特征图四进行处理,以得到通道数为2的特征图六;结节轮廓第三定位子网络对特征图六和特征图四进行处理,以得到通道数为2的特征图七。
6.根据权利要求5所述的基于多级加权神经网络的甲状腺结节定位方法,其特征是,对特征图七内两个通道内的元素值进行比较,并在比较后得到特征图八;
将特征图八的尺寸调整到与轮廓外扩矩形相同的尺寸,并将尺寸调整后的特征图八覆盖到特征图三中,以得到表征结节精位置指示特征的特征图九,利用特征图九,在所识别定位的甲状腺超声图像上描绘出甲状腺结节的位置与轮廓。
7.根据权利要求5所述的基于多级加权神经网络的甲状腺结节定位方法,其特征是,通过结节轮廓第一定位子网络对特征图四处理后得到特征图五时,所述特征图五的通道数为2,其中,任一特征点的第一通道特征值表示该特征点为非甲状腺结节的概率值,任一特征点的第二通道特征值表示该特征点为甲状腺结节的概率值。
8.根据权利要求5所述的基于多级加权神经网络的甲状腺结节定位方法,其特征是,结节轮廓第二定位子网络对特征图五和特征图四进行处理时,包括如下步骤:
步骤20、将特征图四均匀地分割为特征子图Fi(i=1、2、3、4),对四块特征图依次处理后得到四块通道数为2的特征图M′i(i=1、2、3、4);
步骤21、根据特征图四分割得到特征子图Fi(i=1、2、3、4)的方式对特征图五进行均匀分割,以得到特征子图Ni(i=1、2、3、4),并将特征子图Ni(i=1、2、3、4)与特征图M′i(i=1、2、3、4)按通道拼接,以得到通道数为4的特征拼接图;
步骤22、对特征拼接图进行特征融合,以得到通道数为2的特征图Pi,其中,对特征图Pi,任一特征点的第一通道特征值表示所述特征点为非甲状腺结节的概率值,任一特征点的第二通道特征值表示所述特征点为甲状腺结节的概率值;
步骤23、对特征图Pi的任一特征点,计算所述特征点预测结果的可信度s,并根据所有特征点的预测结果的可信度s得到预测结果可信度特征图Pi c;根据预测结果可信度特征图的计算确定方式,对特征子图Ni(i=1、2、3、4)计算得到预测结果可信度特征图Ni c
步骤24、利用预测结果可信度特征图Pi c以及预测结果可信度特征图Ni c,计算得到优化排序特征图Ci(i=1、2、3、4);
步骤25、将优化排序特征图Ci内的特征值按从大到小排列,确定前k个特征点的坐标;根据所确定前k个特征点的坐标,对特征子图Ni(i=1、2、3、4)的特征值采用加权求和方式处理,以输出特征子图Mi(i=1、2、3、4);
步骤26、根据特征图四分割得到特征子图Fi(i=1、2、3、4)的坐标参数,将特征子图Mi(i=1、2、3、4)进行位置拼接,以得到通道数为2,大小为128*128的特征图六。
9.根据权利要求8所述的基于多级加权神经网络的甲状腺结节定位方法,其特征是,步骤24中,利用预测结果可信度特征图Pi c以及预测结果可信度特征图Ni c,得到排序特征图Ci时,则有:
Figure FDA0003494889330000031
其中,
Figure FDA0003494889330000032
表示逐点相乘。
10.根据权利要求8所述的基于多级加权神经网络的甲状腺结节定位方法,其特征是,结节轮廓第三定位子网络对特征图六和特征图四进行处理,以得到通道数为2的特征图七时,具体包括如下步骤:
步骤30、将特征图四均匀地分割为特征子图,对所述特征子图Fj′(j=1、2、3、...、16)依次处理后得到十六块通道数为2的特征图M′j(j=1、2、3、...、16);
步骤31、根据特征图四分割得到特征子图F′j(j=1、2、3、...、16)的方式对特征图六进行均匀分割,以得到特征子图Nj(j=1、2、3、...、16),并将特征子图Nj(j=1、2、3、...、16)与特征图M′j(j=1、2、3、...、16)按通道拼接,以得到通道数为4的特征拼接图;
步骤32、对上述特征拼接图进行特征融合,以得到通道数为2的特征图P′j(j=1、2、3、...、16),其中,对特征图P′j(j=1、2、3、...、16),任一特征点的第一通道特征值表示所述特征点为非甲状腺结节的概率值,任一特征点的第二通道特征值表示所述特征点为甲状腺结节的概率值;
步骤33、对特征图P′j(j=1、2、3、...、16)的任一特征点,计算所述特征点预测结果的可信度s,并根据所有特征点的预测结果的可信度s得到预测结果可信度特征图
Figure FDA0003494889330000033
根据预测结果可信度特征图的计算确定方式,对特征子图Nj(j=1、2、3、...、16)计算得到预测结果可信度特征图
Figure FDA0003494889330000034
步骤34、利用预测结果可信度特征图
Figure FDA0003494889330000035
以及预测结果可信度特征图
Figure FDA0003494889330000036
计算得到优化排序特征图C′j(j=1、2、3、...、16);
步骤35、将优化排序特征图C′j内的特征值按从大到小排列,确定前q个特征点的坐标;根据所确定前q个特征点的坐标,对特征子图Nj(j=1、2、3、...、16)的特征值采用加权求和方式处理,以输出特征子图Mj(j=1、2、3、…、16);
步骤36、根据特征图四分割得到特征子图F′j(j=1、2、3、…、16)的坐标参数,将特征子图Mj(j=1、2、3、…、16)进行位置拼接,以得到通道数为2且大小为128*128的特征图七。
CN202210110301.4A 2022-01-29 2022-01-29 基于多级加权神经网络的甲状腺结节定位方法 Pending CN114494216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210110301.4A CN114494216A (zh) 2022-01-29 2022-01-29 基于多级加权神经网络的甲状腺结节定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210110301.4A CN114494216A (zh) 2022-01-29 2022-01-29 基于多级加权神经网络的甲状腺结节定位方法

Publications (1)

Publication Number Publication Date
CN114494216A true CN114494216A (zh) 2022-05-13

Family

ID=81478834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210110301.4A Pending CN114494216A (zh) 2022-01-29 2022-01-29 基于多级加权神经网络的甲状腺结节定位方法

Country Status (1)

Country Link
CN (1) CN114494216A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116797879A (zh) * 2023-06-28 2023-09-22 脉得智能科技(无锡)有限公司 一种甲状腺癌转移淋巴结预测模型构建方法、系统、设备及介质
CN117333435A (zh) * 2023-09-15 2024-01-02 什维新智医疗科技(上海)有限公司 甲状腺结节边界清晰度检测方法、系统、电子设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116797879A (zh) * 2023-06-28 2023-09-22 脉得智能科技(无锡)有限公司 一种甲状腺癌转移淋巴结预测模型构建方法、系统、设备及介质
CN117333435A (zh) * 2023-09-15 2024-01-02 什维新智医疗科技(上海)有限公司 甲状腺结节边界清晰度检测方法、系统、电子设备及介质

Similar Documents

Publication Publication Date Title
CN112288706B (zh) 一种自动化的染色体核型分析以及异常检测方法
CN109919230B (zh) 基于循环特征金字塔的医学图像肺结节检测方法
CN112529894B (zh) 一种基于深度学习网络的甲状腺结节的诊断方法
CN110021425B (zh) 一种比较检测器及其构建方法与宫颈癌细胞检测方法
CN114494216A (zh) 基于多级加权神经网络的甲状腺结节定位方法
CN113870230B (zh) 一种基于混合监督学习的表面异常检测方法
CN112784869B (zh) 一种基于注意力感知与对抗学习的细粒度图像识别方法
CN111325750A (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN112750137B (zh) 基于深度学习的肝脏肿瘤分割方法及系统
CN111340816A (zh) 一种基于双u型网络框架的图像分割方法
CN111047608A (zh) 一种基于Distance-AttU-Net的端到端的乳腺超声图像的分割方法
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
CN112365973A (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法
CN114494215A (zh) 基于Transformer的甲状腺结节检测方法
CN116091490A (zh) 一种基于YOLOv4-CA-CBAM-K-means++-SIOU的肺结节检测方法
CN114332572A (zh) 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN116797609A (zh) 全局-局部特征关联融合的肺部ct图像分割方法
CN111784676A (zh) 一种用于肝脏ct影像的特征提取与分割新方法
CN117611599B (zh) 融合中心线图和增强对比度网络的血管分割方法及其系统
CN113205484B (zh) 一种基于迁移学习的乳腺组织分类识别方法
CN113902738A (zh) 一种心脏mri分割方法及系统
CN117934489A (zh) 基于残差和金字塔切分注意力的眼底硬渗出物分割方法
CN116681883A (zh) 基于Swin Transformer改进的乳腺影像病灶检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination