CN111096767A - 基于深度学习的纵膈淋巴结超声弹性图像分割分类方法 - Google Patents

基于深度学习的纵膈淋巴结超声弹性图像分割分类方法 Download PDF

Info

Publication number
CN111096767A
CN111096767A CN202010016996.0A CN202010016996A CN111096767A CN 111096767 A CN111096767 A CN 111096767A CN 202010016996 A CN202010016996 A CN 202010016996A CN 111096767 A CN111096767 A CN 111096767A
Authority
CN
China
Prior art keywords
mediastinal lymph
lymph node
image
network
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010016996.0A
Other languages
English (en)
Inventor
宋宁宁
秦航
唐璐
方苏榕
田传耕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing First Hospital
Original Assignee
Nanjing First Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing First Hospital filed Critical Nanjing First Hospital
Priority to CN202010016996.0A priority Critical patent/CN111096767A/zh
Publication of CN111096767A publication Critical patent/CN111096767A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Vascular Medicine (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的纵膈淋巴结超声弹性图像分割分类方法。训练好的U‑net卷积神经网络可实现纵膈淋巴结超声弹性成像的快速、自动分割，且训练好的VGG16卷积神经网络可实现对纵膈淋巴结超声弹性图象的良恶性自动分类，分类准确率比传统的计算蓝色面积法实现纵膈淋巴结超声弹性图象的良恶性分类提高了5％左右。

Description

基于深度学习的纵膈淋巴结超声弹性图像分割分类方法
技术领域
本发明属于深度学习技术领域，尤其涉及一种基于深度学习的纵膈淋巴结超声弹性图像分割分类方法。
背景技术
肺癌具有发病率高，死亡率高，5年生存率低等特点，淋巴结转移作为肺癌转移最常见的转移路径，对于肺癌的分期具有重要的意义。对于高度怀疑肺癌，并伴有肺门或纵膈淋巴结肿大的病人，应及早进行穿刺活检以明确淋巴结的性质。2002年，日本Olympus公司将支气管镜搭载上微型超声探头，实现了实时超声引导下的肺门及纵膈淋巴结经支气管细针穿刺活检，超声弹性成像(UE，ultrasound elastography)技术作为一种可直接或间接反映组织的软硬程度的超声新技术，已逐步联合经支气管针吸活检术技术用于肺癌纵隔淋巴结。
随着计算机图像处理和模式识别等技术的快速发展，随着大数据与人工智能等前沿技术在医疗领域的应用，深度学习技术也逐渐应用于计算机辅助医疗领域。传统的使用超声弹性图像判断纵膈淋巴结性质时，需从弹性图像中手动分割纵膈淋巴结，然后通过计算淋巴结弹性图像中蓝色部分面积来判断淋巴结性质。此过程费时费力，且准确率很大程度上依赖于医生的经验。
发明内容
为解决上述技术问题，本发明提供一种基于深度学习的纵膈淋巴结超声弹性图像分割分类方法。
为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
本发明采用如下技术方案：
在一些可选的实施例中，提供一种基于深度学习的纵膈淋巴结超声弹性图像分割分类方法，包括：
S1：收集纵膈淋巴结超声弹性图像，并对图像进行分割；
S2：将分割后的图像进行预处理，并分为训练集与测试集两部分；
S3：搭建卷积神经网络U-net网络用于图像分割，利用训练集对U-net网络进行训练，利用验证集对U-net网络进行验证；
S4：利用训练好的U-net网络对纵膈淋巴结超声弹性图像进行自动分割；
S5：搭建卷积神经网络VGG16网络用于图像分类，利用训练集对VGG16网络进行训练，利用验证集对VGG16网络进行验证；
S6：利用训练好的VGG16网络对纵膈淋巴结超声弹性图象进行良恶性自动分类。
在一些可选的实施例中，所述纵膈淋巴结超声弹性图象是指完成带弹性超声的支气管镜针吸活检，有确定的病理结果，或经长时间随访后最终确定良恶性的纵膈淋巴结超声弹性图像。
在一些可选的实施例中，步骤S2包括：将分割完成的纵膈淋巴结超声弹性图象进行滤波及归一化操作，统一标号后分为训练集与测试集两部分。
本发明所带来的有益效果：训练好的U-net卷积神经网络可实现纵膈淋巴结超声弹性成像的快速、自动分割，且训练好的VGG16卷积神经网络可实现对纵膈淋巴结超声弹性图象的良恶性自动分类，分类准确率比传统的计算蓝色面积法实现纵膈淋巴结超声弹性图象的良恶性分类提高了5％左右。
附图说明
图1是本发明的一种基于深度学习的纵膈淋巴结超声弹性图像分割分类方法的流程示意图。
具体实施方式
以下描述和附图充分地展示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。
在一些说明性的实施例中，如图1所示，提供一种基于深度学习的纵膈淋巴结超声弹性图像分割分类方法，主要包括两部分：基于深度学习的纵膈淋巴结超声弹性图像的自动分割和基于深度学习的纵膈淋巴结良恶性智能判定。
具体包括：
S1：收集纵膈淋巴结超声弹性图像，并对图像进行分割。
纵膈淋巴结超声弹性图象是指完成带弹性超声的支气管镜针吸活检，有确定的病理结果，或经长时间随访后最终确定良恶性的纵膈淋巴结超声弹性图像。获取到纵膈淋巴结超声弹性图像后的图像分割步骤可选择通过临床有经验的医生进行手动分割。
S2：将分割后的图像进行预处理，并分为训练集与测试集两部分。
预处理是指将分割完成的纵膈淋巴结超声弹性图象进行滤波及归一化操作，统一标号后分为训练集与测试集两部分。
S3：搭建卷积神经网络U-net网络用于图像分割，利用训练集对U-net网络进行训练，利用验证集对U-net网络进行验证。
深度卷积网络U-net网络架构由contracting path和expansive path组成。contracting path是典型的卷积网络架构，它的架构是一种重复结构，每次重复中都有2个卷积层和一个池化层，卷积层中卷积核大小均为33，激活函数使用ReLU函数，两个卷积层之后是一个22的步长为2的最大层。每一次下采样后把特征通道的数量加倍。contractingpath中的每一步都首先使用反卷积，每次使用反卷积都将特征通道数量减半，特征图大小加倍。反卷积过后，将反卷积的结果与contracting path中对应步骤的特征图拼接起来。contracting path中的特征图尺寸稍大，将其修剪过后进行拼接。对拼接后的map进行2次33的卷积。最后一层的卷积核大小为11，将64通道的特征图转化为特定深度，即分类数量，二分类为2的结果。网络总共23层。
利用搭建完成的U-net网络对预处理后的训练集样本进行模型训练，不断调整网络参数，迭代次数达到时，网络终止训练，得到纵膈淋巴结分割模型，利用验证集样本对U-net网络进行验证。
S4：利用训练好的U-net网络对纵膈淋巴结超声弹性图像进行自动分割。
S5：搭建卷积神经网络VGG16网络用于图像分类，利用训练集对VGG16网络进行训练，利用验证集对VGG16网络进行验证。
卷积神经网络VGG16网络共包含13个卷积层，3个全连接层和5个池化层，分别用maxpool，卷积层和全连接层具有权重系数，因此也被称为权重层。卷积层均采用相同的卷积核参数，池化层均采用相同的池化核参数，模型是由若干卷积层和池化层堆叠的方式构成，比较容易形成较深的网络结构。
利用搭建完成的VGG16网络对预处理后的训练集样本进行模型训练，不断调整网络参数，迭代次数达到时，网络终止训练，得到纵膈淋巴结良恶性分类模型，利用验证集样本对U-net网络进行验证。
S6：利用训练好的VGG16网络对纵膈淋巴结超声弹性图象进行良恶性自动分类。
纵膈淋巴结良性图像包括病理诊断为肺炎、肺结节病、肺结核、肺部感染、肺部炎性增生、肺曲霉菌病、干燥综合症等病症的图像；纵膈淋巴结恶性图像包括病理诊断为肺鳞癌、肺腺癌、小细胞癌、淋巴瘤、差分化癌等病症的图像。
本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

Claims (3)

1.基于深度学习的纵膈淋巴结超声弹性图像分割分类方法，其特征在于，包括：
S1：收集纵膈淋巴结超声弹性图像，并对图像进行分割；
S2：将分割后的图像进行预处理，并分为训练集与测试集两部分；
S3：搭建卷积神经网络U-net网络用于图像分割，利用训练集对U-net网络进行训练，利用验证集对U-net网络进行验证；
S4：利用训练好的U-net网络对纵膈淋巴结超声弹性图像进行自动分割；
S5：搭建卷积神经网络VGG16网络用于图像分类，利用训练集对VGG16网络进行训练，利用验证集对VGG16网络进行验证；
S6：利用训练好的VGG16网络对纵膈淋巴结超声弹性图象进行良恶性自动分类。
2.根据权利要求1所述的基于深度学习的纵膈淋巴结超声弹性图像分割分类方法，其特征在于，所述纵膈淋巴结超声弹性图象是指完成带弹性超声的支气管镜针吸活检，有确定的病理结果，或经长时间随访后最终确定良恶性的纵膈淋巴结超声弹性图像。
3.根据权利要求2所述的基于深度学习的纵膈淋巴结超声弹性图像分割分类方法，其特征在于，步骤S2包括：将分割完成的纵膈淋巴结超声弹性图象进行滤波及归一化操作，统一标号后分为训练集与测试集两部分。
CN202010016996.0A 2020-01-08 2020-01-08 基于深度学习的纵膈淋巴结超声弹性图像分割分类方法 Pending CN111096767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010016996.0A CN111096767A (zh) 2020-01-08 2020-01-08 基于深度学习的纵膈淋巴结超声弹性图像分割分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010016996.0A CN111096767A (zh) 2020-01-08 2020-01-08 基于深度学习的纵膈淋巴结超声弹性图像分割分类方法

Publications (1)

Publication Number Publication Date
CN111096767A true CN111096767A (zh) 2020-05-05

Family

ID=70426918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010016996.0A Pending CN111096767A (zh) 2020-01-08 2020-01-08 基于深度学习的纵膈淋巴结超声弹性图像分割分类方法

Country Status (1)

Country Link
CN (1) CN111096767A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112741651A (zh) * 2020-12-25 2021-05-04 上海交通大学烟台信息技术研究院 一种内窥镜超声影像的处理方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009082442A (ja) * 2007-09-28 2009-04-23 Canon Inc 診断支援装置、診断支援装置の制御方法、プログラム及び記憶媒体
CN107644419A (zh) * 2017-09-30 2018-01-30 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置
CN109035252A (zh) * 2018-06-29 2018-12-18 山东财经大学 一种面向医学图像分割的超像素方法
CN109685811A (zh) * 2018-12-24 2019-04-26 北京大学第三医院 基于双路径U-net卷积神经网络的PET/CT高代谢淋巴结分割方法
CN110060774A (zh) * 2019-04-29 2019-07-26 赵蕾 一种基于生成式对抗网络的甲状腺结节识别方法
CN110097106A (zh) * 2019-04-22 2019-08-06 苏州千视通视觉科技股份有限公司 基于深度学习的U-net网络的低照度成像算法及装置
CN110335261A (zh) * 2019-06-28 2019-10-15 山东科技大学 一种基于时空循环注意力机制的ct淋巴结检测系统
CN110443813A (zh) * 2019-07-29 2019-11-12 腾讯医疗健康(深圳)有限公司 血管、眼底图像的分割方法、装置、设备及可读存储介质
CN110516747A (zh) * 2019-08-29 2019-11-29 电子科技大学 基于对抗生成网络和自编码结合的肺结节良恶性分类方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009082442A (ja) * 2007-09-28 2009-04-23 Canon Inc 診断支援装置、診断支援装置の制御方法、プログラム及び記憶媒体
CN107644419A (zh) * 2017-09-30 2018-01-30 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置
CN109035252A (zh) * 2018-06-29 2018-12-18 山东财经大学 一种面向医学图像分割的超像素方法
CN109685811A (zh) * 2018-12-24 2019-04-26 北京大学第三医院 基于双路径U-net卷积神经网络的PET/CT高代谢淋巴结分割方法
CN110097106A (zh) * 2019-04-22 2019-08-06 苏州千视通视觉科技股份有限公司 基于深度学习的U-net网络的低照度成像算法及装置
CN110060774A (zh) * 2019-04-29 2019-07-26 赵蕾 一种基于生成式对抗网络的甲状腺结节识别方法
CN110335261A (zh) * 2019-06-28 2019-10-15 山东科技大学 一种基于时空循环注意力机制的ct淋巴结检测系统
CN110443813A (zh) * 2019-07-29 2019-11-12 腾讯医疗健康(深圳)有限公司 血管、眼底图像的分割方法、装置、设备及可读存储介质
CN110516747A (zh) * 2019-08-29 2019-11-29 电子科技大学 基于对抗生成网络和自编码结合的肺结节良恶性分类方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112741651A (zh) * 2020-12-25 2021-05-04 上海交通大学烟台信息技术研究院 一种内窥镜超声影像的处理方法及系统
CN112741651B (zh) * 2020-12-25 2022-11-25 上海交通大学烟台信息技术研究院 一种内窥镜超声影像的处理方法及系统

Similar Documents

Publication Publication Date Title
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN108305249B (zh) 基于深度学习的全尺度病理切片的快速诊断和评分方法
CN109670510B (zh) 一种基于深度学习的胃镜活检病理数据筛查系统
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN110929789A (zh) 基于多期ct影像分析的肝肿瘤自动分类方法及装置
CN108564026A (zh) 用于甲状腺肿瘤细胞学涂片图像分类的网络构建方法及系统
CN108564123A (zh) 一种甲状腺肿瘤细胞学涂片图像分类方法及其装置
CN112085741B (zh) 一种基于深度学习的胃癌病理切片分割算法
CN112001921B (zh) 一种基于病灶加权损失函数的新冠肺炎ct影像病灶分割图像处理方法
CN108427963B (zh) 一种基于深度学习的黑色素瘤皮肤病的分类识别方法
CN109902682A (zh) 一种基于残差卷积神经网络的乳腺x线图像检测方法
CN111724401A (zh) 一种基于边界约束级联U-Net的图像分割方法和系统
WO2021243783A1 (zh) 一种提取b超图像显著纹理特征的方法及其应用
CN113284136A (zh) 一种双损失函数训练的残差网络和XGBoost的医学图像分类方法
CN112102332A (zh) 基于局部分类神经网络的癌症wsi的分割方法
CN115471701A (zh) 基于深度学习和迁移学习的肺腺癌组织学亚型分类方法
CN114494199A (zh) 一种基于深度学习的肝脏ct肿瘤分割与分类的方法
CN111096767A (zh) 基于深度学习的纵膈淋巴结超声弹性图像分割分类方法
CN111932541A (zh) 一种用于预测新冠肺炎预后的ct影像图像处理方法
CN111275103A (zh) 多视角信息协作的肾脏良恶性肿瘤分类方法
CN113033667B (zh) 一种超声图像两阶段深度学习的乳腺肿瘤分类方法和装置
CN112330662B (zh) 一种基于多层级神经网络的医学图像分割系统及方法
CN113538435A (zh) 一种基于深度学习的胰腺癌病理图像分类方法及系统
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法
Mo et al. Deep learning based multi-label chest x-ray classification with entropy weighting loss

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200505