CN111340130B - 一种基于深度学习和影像组学的泌尿结石检测分类方法 - Google Patents

一种基于深度学习和影像组学的泌尿结石检测分类方法 Download PDF

Info

Publication number
CN111340130B
CN111340130B CN202010156643.0A CN202010156643A CN111340130B CN 111340130 B CN111340130 B CN 111340130B CN 202010156643 A CN202010156643 A CN 202010156643A CN 111340130 B CN111340130 B CN 111340130B
Authority
CN
China
Prior art keywords
calculus
deep learning
region
interest
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010156643.0A
Other languages
English (en)
Other versions
CN111340130A (zh
Inventor
范兵
吕晨翀
李明智
张佳琦
胡阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yizhun Intelligent Technology Co ltd
Jiangxi Provincial Peoples Hospital
Original Assignee
Zhejiang Yizhun Intelligent Technology Co ltd
Jiangxi Provincial Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Yizhun Intelligent Technology Co ltd, Jiangxi Provincial Peoples Hospital filed Critical Zhejiang Yizhun Intelligent Technology Co ltd
Priority to CN202010156643.0A priority Critical patent/CN111340130B/zh
Publication of CN111340130A publication Critical patent/CN111340130A/zh
Application granted granted Critical
Publication of CN111340130B publication Critical patent/CN111340130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度学习与影像组学的泌尿系结石检测分类方法和系统。本发明首先利用第一深度学习模型从所述CT图像中自动化地提取结石感兴趣区域,对结石感兴趣区域进行存在确认和初次粗略分类,再利用第二深度学习模型和提取的结石感兴趣区域内的结石周围的影像组学特征对所检出的结石感兴趣区域进行二次精细分类,得到最终的结石分类结果。本发明将多个深度学习模型与结石影像组学的特征组合利用,实现了高效、准确、全流程自动化的结石分类方法,为后流程的临床结石治疗提供支撑。

Description

一种基于深度学习和影像组学的泌尿结石检测分类方法
技术领域
本发明涉及一种图像处理技术,特别涉及一种基于深度学习与影像组学的泌尿系结石检测分类方法及系统。
背景技术
泌尿系结石是临床常见病,患病率为5%~10%。按成分可以分为磷酸钙、草酸钙、磷酸镁胺、胱氨酸、尿酸结石。根据欧洲泌尿协会(EUA)2019指南,不同成分的结石治疗方案存在差异,尿酸结石可以通过降尿酸等药物溶石治疗,磷酸镁胺易碎,体外冲击波(ESWL)效果好,胱氨酸结石对ESWL耐受,不易粉碎。术前无创的对泌尿系结石检测及分类对治疗方案的选择至关重要。
目前临床上常用的判别结石成分的方法是根据CT值进行初步判断或利用能谱CT进行能谱平扫检查,然后用能量分析技术计算出结石的有效原子序数的定量数值,与已知各种成分的有效原子序数进行对照进而判断结石的真实组成成分,从而指导临床医师采取最适合的结石治疗方案。现阶段常用的这两种方法均需要人工进行分析,且分析结果存在一定程度的偏差,对任意给定的未知样本数据无法进行预测,而且因分析过程需要人工参与,所以对样本的规模有限制。对于临床医师而言,这种传统的方法费时费力,受主观因素影像较大,而且准确率不高,无法满足临床需求。
中国专利申请ZL201910156319.6(《基于机器学习和能谱CT的泌尿结石成分分析方法及系统》)首先通过对能谱CT图像利用传统的区域生长算法提取结石的感兴趣区域,然后对感兴趣区域提取一系列的包括灰度值等在内的特征,最后利用随机森林算法进行模型训练,对未知类型的结石进行判别分类。此方法相对于已有的根据CT值或利用能量分析技术对照已有成分的原子序数进而判断结石成分的方法更加客观和准确,但是利用区域生长法无法准确获得结石感兴趣区域,后续手工设计的特征提取方法费时费力,且性能受到所提取和选择特征的直接影响。
中国专利申请201910523992.9(《基于机器学习算法的体内尿路结石成分鉴别方法》)首先对CT图像进行超分辨率重建,对病灶区域进行手动感兴趣区域提取,再对所提取的感兴趣区域进行裁剪,得到最终的感兴趣区域,随后对感兴趣区域进行二维和三维上的灰度、形状、纹理特征提取,并对提取得到的特征进行筛选,将筛选得到的特征放入分类器进行模型训练,获得用于体内尿路结石成分鉴别的模型。此方法也是采用手工筛选感兴趣区域,无法做到自动识别与提取。
由上可知,如何自动化地找到CT图像结石所在的感兴趣区域,并将感兴趣区域提取出来是目前较为急迫的技术问题,目前CT图像设备来源不一,参数设置不同会带来图像上的差异,一般算法的鲁棒性均较差。此外,在结石检测过程中,标签影像数据较少的情况使用一般模型很难得到有效训练,从而使泌尿系结石分类效果不够精准。
有鉴于此,提出本发明。
发明内容
为解决上述技术问题,本发明在于提供一种更加智能、准确、高效的深度学习与影像组学的泌尿系结石检测分类方法,使其能够提供有根据的临床辅助诊断。
本发明所采用的技术方案是:
一种基于深度学习与影像组学的泌尿系结石检测分类方法,包括以下步骤:
获取常规CT图像;
利用第一深度学习模型从所述CT图像中自动化地提取结石感兴趣区域,确认所述结石感兴趣区域的结石是否存在,并对结石感兴趣区域进行初次粗略分类;
提取结石感兴趣区域的影像组学特征;
利用第二深度学习模型和结石感兴趣区域内的结石周围的影像组学特征对所检出的结石感兴趣区域进行二次精细分类,得到最终的结石分类结果。
进一步,所述结石感兴趣区域为CT图像的一个或多个区域。
进一步,第一深度学习模型至少包括Faster R-CNN模型,所述Faster R-CNN模型至少依次包括卷积预处理层、区域候选网络(RPN)、结石感兴趣区域池化层、第一分类层:其中,
所述卷积预处理层对常规CT图像进行缩放、剪裁,并输出常规CT图像的特征图谱;
所述区域候选网络(RPN)用于生成和校正包含若干结石感兴趣区域,并输出各结石感兴趣区域内的结石是否存在信息;
所述结石感兴趣区域池化层叠加所述特征图谱和所述结石感兴趣区域,生成若干带有特征图谱的结石感兴趣区域,并将带有特征图谱的结石感兴趣区域作池化处理,以使得带有特征图谱的各个结石感兴趣区域具有相同输出尺度;
所述第一分类层分别计算各个有特征图谱的结石感兴趣区域所属类别,并将其进行初次粗略分类。
进一步,卷积预处理层包括至少13个卷积微层、13个激活函数层、4个池化层。
进一步,所述区域候选网络(RPN)被配置至少用于生成锚点、函数分类器选取正锚点、边界框回归修正正锚点、利用修正后的正锚点生成结石感兴趣区域。
进一步,所述生成锚点的步骤至少包括,根据实际CT图像中结石大小,将锚点大小设置为第一锚点值×第二锚点值,
所述第一锚点值为6,10,16,22,32或64,和,所述第二锚点值为6,10,16,22,32或64。
进一步,所述函数分类器为softmax或sigmoid。
进一步,在结石检测分类前,对第一深度学习模型和第二深度学习模型进行训练,其中第一深度学习模型的训练至少包括区域候选网络(RPN)的训练和第一分类层的训练,第二深度学习模型至少包括第二分类层的训练。
进一步,区域候选网络(RPN)的训练用到的正锚点和负锚点的获取方式为:如果一个锚点与标准真值的IoU>第一样本阈值,就认定为正锚点,如果锚点与标准真值满足0<=IoU<第二样本阈值,认定为负锚点,如果锚点与标准真值的IoU满足第二样本阈值<=IoU<第一样本阈值之间,则不参与训练,所述标准真值来源于医生对涉及到的CT影像标记实际结石感兴趣区域。
进一步,所述第一样本阈值为大于等于0.5,和/或,所述第二样本阈值为小于等于0.4。
进一步,所述提取结石感兴趣区域的影像组学的步骤至少包括:
采用聚类方法区分结石感兴趣区域内的结石核心区域和结石周围区域;
根据结石核心区域和结石周围区域提取影像组学特征。
进一步,所述聚类方法为K-means聚类算法,所述K-means聚类算法被配置区分结石感兴趣区域内的结石核心区域和结石周围区域。
进一步,所述影像组学特征至少包括一阶统计特征,二维形状特征,灰度共生矩阵(GLCM),灰度区域尺寸矩阵(GLSZM),统计图灰度游程矩阵(GLRLM),邻域灰度差分矩阵(NGTDM),灰度相关矩阵(GLDM)的一种或其组合。
进一步,所述影像组学特征至少是被筛选算法进行过筛选的特征,所述筛选算法为最小冗余最大相关方法。
进一步,所述被筛选的特征至少为全部特征的四分之一,优选地,所述被筛选的特征为至少为25个。
进一步,所述第二深度学习模型的输入向量至少采用第一深度学习模型的输出特征的一部分或全部。
进一步,所述利用第二深度学习模型和结石周围的影像组学特征对所检出的结石进行二次精细分类,得到最终的结石分类结果的步骤至少包括,第二深度学习模型自动地将第一深度学习模型卷积预处理层输出的特征图谱和影像组学特征拼接形成第二深度学习模型的第二分类层的输入向量,经深度学习网络运算后,由第二分类层输出的类别一一对应结石感兴趣区域的精细分类类别,根据输出结果得到得到最终的结石分类结果;
进一步,所述第二深度学习模型为Resnet50模型网络。
本发明另一方面采取的技术方案:
一种基于深度学习与影像组学的泌尿系结石检测分类系统,包括:
获取模块,获取常规CT图像;
第一分析模块,利用第一深度学习模型从所述CT图像中自动化地提取结石感兴趣区域,确认所述结石感兴趣区域的结石是否存在,并对结石感兴趣区域进行初次粗略分类;
影像模块,提取结石感兴趣区域的影像组学特征;
第二分析模块,利用第二深度学习模型和结石感兴趣区域内的结石周围的影像组学特征对所检出的结石感兴趣区域进行二次精细分类,得到最终的结石分类结果。
第一深度学习模型至少包括Faster R-CNN模型,所述Faster R-CNN模型至少依次包括卷积预处理层、区域候选网络(RPN)、结石感兴趣区域池化层、第一分类层,其中,
所述卷积预处理层对常规CT图像进行缩放、剪裁、池化,并输出常规CT图像的特征图谱;
所述区域候选网络(RPN)用于生成和校正包含若干结石感兴趣区域,并输出各结石感兴趣区域内的结石是否存在信息;
所述结石感兴趣区域池化层叠加所述特征图谱和所述结石感兴趣区域,生成若干带有特征图谱的结石感兴趣区域,并将带有特征图谱的结石感兴趣区域作池化处理,以使得带有特征图谱的各个结石感兴趣区域具有相同输出尺度;
所述第一分类层分别计算各个有特征图谱的结石感兴趣区域所属类别,并将其进行初次粗略分类;
优选地,所述区域候选网络(RPN)至少包括生成锚点单元、函数分类器选取正锚点单元、边界框回归修正正锚点单元、利用修正后的正锚点生成结石感兴趣区域单元。
优选地,所述生成锚点单元至少包括,根据实际CT图像中结石大小,将锚点大小设置为第一锚点值×第二锚点值,所述第一锚点值为6,10,16,22,32或64,和,所述第二锚点值为6,10,16,22,32或64;优选地,所述函数分类器为softmax或sigmoid。
进一步地,分类系统还训练模块,在结石检测分类前,对第一深度学习模型和第二深度学习模型进行训练,其中第一深度学习模型的训练至少包括区域候选网络(RPN)的训练单元和第一分类层的训练单元,第二深度学习模型至少包括第二分类层的训练单元;
其中,区域候选网络(RPN)的训练单元还包括正负锚点判断子单元:如果一个锚点与标准真值的IoU>第一样本阈值,就认定为正锚点,如果锚点与标准真值满足0<=IoU<第二样本阈值,认定为负锚点,如果锚点与标准真值的IoU满足第二样本阈值<=IoU<第一样本阈值之间,则不参与训练,所述标准真值来源于医生对涉及到的CT影像标记实际结石感兴趣区域;优选地,所述第一样本阈值为大于等于0.5,和/或,所述第二样本阈值为小于等于0.4。
影像模块至少包括:采用聚类方法区分结石感兴趣区域内的结石核心区域和结石周围区域;根据结石核心区域和结石周围区域提取影像组学特征。其中,所述聚类方法为K-means聚类算法,所述K-means聚类算法被配置区分结石感兴趣区域内的结石核心区域和结石周围区域。优选地,所述影像组学特征至少包括一阶统计特征,二维形状特征,灰度共生矩阵(GLCM),灰度区域尺寸矩阵(GLSZM),统计图灰度游程矩阵(GLRLM),邻域灰度差分矩阵(NGTDM),灰度相关矩阵(GLDM)的一种或其组合,优选地,所述影像组学特征至少是被筛选算法进行过筛选的特征,所述被筛选的特征至少为全部特征的四分之一,优选地,所述被筛选的特征为至少为25个。
第二分析模块还包括,第二深度学习模型自动地将第一深度学习模型卷积预处理层输出的特征图谱和影像组学特征拼接形成第二深度学习模型的第二分类层的输入向量,经深度学习网络运算后,由第二分类层输出的类别一一对应结石感兴趣区域的精细分类类别,根据输出结果得到得到最终的结石分类结果;其中,所述第二深度学习模型为Resnet50模型网络。
本发明的有益效果是:(1)对合有不同大小、形态的结石的各类CT图像样本实现了自动化的感兴趣区域准确提取;(2)克服了人工设计特征主导或者硬性卡取阈值带来的误差,实现了从图像中智能化获取泌尿系结石的分类信息;(3)有效解决在带标签影像数据较少的情况下对泌尿系结石进行更加精确检测分类的问题,有效提高检测的精度和准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于深度学习与影像组学的泌尿系结石检测分类方法和系统流程图。
图2为泌尿系统原始CT图像。
图3为第一深度学习模型提取的结石感兴趣区域的实际图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,本文所使用的诸如″具有″、″包含″以及″包括″术语并不排除一个或多个其它元件或其组合的存在或添加。
参照图1,本实施例的一种基于深度学习与影像组学的泌尿系结石检测分类方法,包括以下步骤:
1)获取常规CT图像,例如图2所示泌尿系统原始常规CT图像;
2)利用第一深度学习模型从所述CT图像中自动化地提取结石感兴趣区域,确认所述结石感兴趣区域的结石是否存在,并对结石感兴趣区域进行初次粗略分类;
3)提取结石感兴趣区域的影像组学特征;
4)利用第二深度学习模型和结石感兴趣区域内的结石周围的影像组学特征对所检出的结石感兴趣区域进行二次精细分类,得到最终的结石分类结果。
所述步骤2)采用了FasterR-CNN模型作为第一深度学习模型,进一步作为优选的实施方式,Faster R-CNN模型主要由三个部分组成:卷积预处理层;区域候选网络RPN(RegionProposalNetwork)层;FastR-CNN分类层。这三个层的组合将特征图谱抽取,结石感兴趣区域提取,结石感兴趣区域回归以及结石感兴趣区域粗略分类都整和在一个网络中,使得综合性能有较大提高,真正实现了端到端的目标检测。
进一步作为优选的实施方式,卷积预处理层主要有以下步骤:首先使用一组基础的卷积微层(conv)+激活函数(relu)层+池化(pooling)层提取原始CT的特征图谱(featuremaps),所述特征图谱被共享用于后续RPN(Region Proposal Network)层和全连接(Fully Connection)层。
所述特征提取实验中采取的神经网络骨干网(backbone)是VGG16。对于任意大小的输入图像M×N,将其送入网络,所述基础特征提取网络层包含了13个卷积层+13个激活函数层+4个池化层。为了保持基础特征提取网络层中的卷积层不改变输入和输出矩阵的大小,所有的卷积层的操作都进行了扩边处理(pad=1),只有在池化层的时候长宽会变成输入的1/2,因此经过卷积层后特征图谱(feature maps)的大小为(M/16)×(N/16)。
区域候选网络RPN层主要有以下步骤:RPN网络层通过函数判断锚点(anchors)属于前景(foreground)或者背景(background),再利用边界框回归(boUnding boxregression)修正锚点获得精确的结石感兴趣区域。
进一步作为优选的实施方式,在RPN网络中,通过统计CT图像中结石大小,可将实验中用到的锚点大小设置为第一锚点值×第二锚点值,对于生成的锚点,利用判断函数判断哪些锚点是包含结石的前景(foreground),哪些是不包含结石的背景(background),并对包含前景的锚点进行回归,以获取精确的结石感兴趣区域。
优选地,所述第一锚点值等于所述第二锚点值,进一步地,第一锚点值为6,10,16,22,32或64。
优选地,所述判断函数为softmax或sigmoid。
在训练RPN网络时用到的正负样本的获取方式为:如果一个锚点与标准真值(groundtruth)的IoU>第一样本阈值,就认定为正锚点,如果锚点与标准真值满足0<=IoU<第二样本阈值,认定为负锚点,也就是背景。如果锚点与标准真值的IoU满足第二样本阈值<=IoU<第一样本阈值之间,那么在训练时将会被忽略。所述标准真值来源于医生对涉及到的CT影像标记实际结石感兴趣区域。优选地,所述第一样本阈值为大于等于0.5,和/或所述第二样本阈值为小于等于0.4。
感兴趣区域池化层(ROI pooling)主要工作步骤:收集卷积预处理层步骤输入的特征图谱和RPN网络步骤输入的结石感兴趣区域,将输入信息综合处理后提取结石感兴趣区域的特征图谱,送入后续全连接层判定结石感兴趣区域的类别。
优选地,感兴趣区域池化层将RPN网络输出的每个所述区域候选图像块(即结石感兴趣区域)的特征图都池化为固定大小和固定长度的输出。
第一分类层(Classification)主要步骤:利用结石感兴趣区域的特征图谱计算每个结石感兴趣区域的类别,同时再次边界框回归获得结石感兴趣区域最终的精确位置。优选地,所述目标分类模块通过全连接层和函数分类器计算每个结石感兴趣区域具体属于哪个类别。由于不同的结石种类代表的特征图不同,因此包含有该特征图谱的结石感兴趣区域被归类于不同的类别,输出每类别对应的概率向量cls_prob;同时再次利用边界框回归获得每个结石感兴趣区域的位置偏移量bbox_pred,用于回归更加精确的结石感兴趣区域,优选地,函数分类器为为softmax或sigmoid,如图3所示,其为第一深度学习模型提取的结石感兴趣区域的实际图。
由于Faster R-CNN模型在最后一步Classification(即第一分类层)会给出所检测的结石感兴趣区域的初步粗略类别,但是考虑到训练网络采用的数据量有限且结石种类较难区分的因素,此分类结果的准确度不高,因此利用第二深度学习模型去对结石类别进行二次精细分类。
对检测出来的包含结石的感兴趣区域进行分割,为更好地划分结石所在的精准区域,考虑到结石与周围区域相比呈高密度表现,采用聚类方法对检测框内的像素点进行聚类分析并获得聚类结果,根据所述聚类结果得到结石区域的掩模(mask)用于后续的分析。
优选地,所述聚类方法为k-means。优选地,所述聚类结果为至少两类。优选地,所述聚类结果中结石区域为一类,标签为1,周围背景区域一类,标签为0。
对包含结石病灶的感兴趣区域的结石周围信息进行分割,并进行组学特征提取,所述组学特征至少包括:一阶统计特征、二维形状特征、灰度共生矩阵、灰度区域尺寸矩阵、灰度游程矩阵、邻域灰度差分矩阵、灰度相关矩阵的一种或多种。
其中,一阶统计特征共19个。
二维形状特征:基于边界框聚类得到的掩模里面的分类信息来计算的,共10个。
灰度共生矩阵(GLCM),统计图像中不同灰度值的像素对出现的情况,共24个。
灰度区域尺寸矩阵(GLSZM),统计图像中具有相同灰度的区域(灰度、大小)出现的情况,共16个。
灰度游程矩阵(GLRLM),统计图像中具有相同灰度的直线区域(灰度、方向、长度)出现的情况,共16个。
邻域灰度差分矩阵(NGTDM),统计图像中相邻区域的灰度差异情况,共5个。
灰度相关矩阵(GLDM),共14个。
其中的形状特征是基于边界框聚类得到的掩模里面的标签信息来计算的,其余的特征均根据边界框的灰度值来计算。
在优选的实施例中,共有104个或更少,进一步地,可采用特征选择方法获得最优性能表现的特征集,优选地,所述特征选择方法为最小冗余最大相关方法。在优选的实施例中,用于后续分析的影像组学特征至少为全部特征的四分之一,在优选的实施例,影像组学特征至少25个。
第二分类层采用Resnet50网络。将卷积预处理层输出的特征图谱重构(reshape)成一个向量,然后将利用影像组学计算得到的25维特征拼接在特征图谱之后,将最后拼接成的特征向量作为全连接层的输入,而其输出,也就是全连接层输出的类别数跟结石类别数保持一致。
实施例
对本发明的基于深度学习与影像组学的泌尿系结石检测分类方法进行以下实验和评价分析。
1、图像获取:获取带有金标准的泌尿系结石常规CT影像。
2、在自有的标注系统上,由专业的泌尿系医生对涉及到的CT影像标记结石的位置,并根据该影像对应的金标准文件对标记的结石打类别的标签,实验中涉及到的结石种类可分为合钙结石(草酸钙结石为主)、尿酸结石这2种类型。
3、划分数据集:将获取的数据集按照6:2:2的比例随机划分为训练集、验证集、测试集,其中训练集以及验证集用于训练结石检测分类模型,测试集用于测试该模型的性能。同时考虑到训练模型需要较大数据量的事实,将训练样本进行扩增,优选的方法有翻转以及随机角度旋转等常用的有意义的数据扩增方式。
4、利用训练数据集训练泌尿系结石检测分类网络:
1)结石检测网络:根据结石分类数目,设置网络的最后一层输出,同时设置训练过程中需要的参数:训练batch大小,epoch数量,初始化学习率,所采用的优化方法等。
2)对检测网络得到的结果进行分割:对得到的检测框中的像素点进行k-means聚类(K=2),根据聚类结果确定结石区域类标为1,背景区域类标为0,并保留分割后结石区域的mask。
3)结石分类网络:采用Resnet50作为二阶段的分类网络,将Resnet50的全连接层网络之前卷积预处理层的输出reshape成向量,再将提取的影像组学特征拼接在其后,并将拼接得到的特征向量最终作为全连接层的输入,得到分类结果。
5、对训练好的模型在测试数据集验证其性能:将测试样本输入一阶段训练好的模型(即第一深度学习模型)中,首先得到待测试影像中检出的结石感兴趣区域,然后对结石感兴趣区域进行分割得到其对应的掩模(mask),之后对该结石感兴趣区域提取对应的至少25种影像组学特征,最后利用训练好的二阶段的分类网络(即第二深度学习模型)对每个结石感兴趣区域的类别进行判定。
实验数据分组依据:
200个测试case,结石共计284个,其中含钙结石149个,尿酸结石135个。
检测阶段结果:
表1
其中Sens指检出率,即模型检出的结石个数/实际测试集中包含的结石个数。
FPI指平均每个case上模型检测到的的假阳个数。
分类阶段结果(实验结果统计是在检测出来的结石基础上开展)。
表2
衡量分类算法性能的指标为精确率(precision),召回率(recall)以及F1值(F1 score)。
True negative(TN),实际是负样本预测成负样本的样本数;
False positive(FP),实际是负样本预测成正样本的样本数;
False Negative(FN),实际是正样本预测成负样本的样本数;
True positive(TP),实际是正样本预测成正样本的样本数;
表3
由实验结果可看出,该系统在区别含钙结石和尿酸结石上表现良好,能够满足对含钙结石和尿酸结石的区分。
上述方法实施例中的内容均适用于本系统实施例中,本系统实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (16)

1.一种基于深度学习与影像组学的泌尿系结石检测分类方法,其特征在于,包括以下步骤:获取CT图像;利用第一深度学习模型从所述CT图像中自动化地提取结石感兴趣区域,确认所述结石感兴趣区域的结石是否存在,并对结石感兴趣区域进行初次粗略分类;提取结石感兴趣区域的影像组学特征;利用第二深度学习模型和结石感兴趣区域内的结石周围的影像组学特征对所检出的结石感兴趣区域进行二次精细分类,得到最终的结石分类结果;
所述提取结石感兴趣区域的影像组学特征的步骤至少包括:采用聚类方法区分结石感兴趣区域内的结石核心区域和结石周围区域;根据结石核心区域和结石周围区域提取影像组学特征;
所述影像组学特征至少包括一阶统计特征,二维形状特征,灰度共生矩阵(GLCM),灰度区域尺寸矩阵(GLSZM),统计图灰度游程矩阵(GLRLM),邻域灰度差分矩阵(NGTDM),灰度相关矩阵(GLDM)的一种或其组合;
所述利用第二深度学习模型和结石周围的影像组学特征对所检出的结石进行二次精细分类,得到最终的结石分类结果的步骤至少包括,第二深度学习模型自动地将第一深度学习模型卷积预处理层输出的特征图谱和影像组学特征拼接形成第二深度学习模型的第二分类层的输入向量,经深度学习网络运算后,由第二分类层输出的类别一一对应结石感兴趣区域的精细分类类别,根据输出结果得到得到最终的结石分类结果;其中,所述第二深度学习模型为Resnet50模型网络。
2.根据权利要求1所述的基于深度学习与影像组学的泌尿系结石检测分类方法,其特征在于:所述结石感兴趣区域为CT图像的一个或多个区域。
3.根据权利要求2所述的基于深度学习与影像组学的泌尿系结石检测分类方法,其特征在于:第一深度学习模型至少包括Faster R-CNN模型,所述Faster R-CNN模型至少依次包括卷积预处理层、区域候选网络(RPN)、结石感兴趣区域池化层、第一分类层,其中,所述卷积预处理层对CT图像进行缩放、剪裁、池化,并输出CT图像的特征图谱;所述区域候选网络(RPN)用于生成和校正包含若干结石感兴趣区域,并输出各结石感兴趣区域内的结石是否存在信息;所述结石感兴趣区域池化层叠加所述特征图谱和所述结石感兴趣区域,生成若干带有特征图谱的结石感兴趣区域,并将带有特征图谱的结石感兴趣区域作池化处理,以使得带有特征图谱的各个结石感兴趣区域具有相同输出尺度;所述第一分类层分别计算各个有特征图谱的结石感兴趣区域所属类别,并将其进行初次粗略分类。
4.根据权利要求3所述的基于深度学习与影像组学的泌尿系结石检测分类方法,其特征在于:卷积预处理层包括至少13个卷积微层、13个激活函数层、4个池化层。
5.根据权利要求3所述的基于深度学习与影像组学的泌尿系结石检测分类方法,其特征在于:所述区域候选网络(RPN)被配置至少用于生成锚点、函数分类器选取正锚点、边界框回归修正正锚点、利用修正后的正锚点生成结石感兴趣区域。
6.根据权利要求5所述的基于深度学习与影像组学的泌尿系结石检测分类方法,其特征在于:所述生成锚点的步骤至少包括,根据实际CT图像中结石大小,将锚点大小设置为第一锚点值×第二锚点值,所述第一锚点值为6,10,16,22,32或64,和,所述第二锚点值为6,10,16,22,32或64。
7.根据权利要求5所述的基于深度学习与影像组学的泌尿系结石检测分类方法,其特征在于:所述函数分类器为softmax或sigmoid。
8.根据权利要求6所述的基于深度学习与影像组学的泌尿系结石检测分类方法,其特征在于:在结石检测分类前,对第一深度学习模型和第二深度学习模型进行训练,其中第一深度学习模型的训练至少包括区域候选网络(RPN)的训练和第一分类层的训练,第二深度学习模型至少包括第二分类层的训练。
9.根据权利要求8所述的基于深度学习与影像组学的泌尿系结石检测分类方法,区域候选网络(RPN)的训练用到的正锚点和负锚点的获取方式为:如果一个锚点与标准真值的IoU>第一样本阈值,就认定为正锚点,如果锚点与标准真值满足0<=IoU<第二样本阈值,认定为负锚点,如果锚点与标准真值的IoU满足第二样本阈值<=IoU<第一样本阈值之间,则不参与训练,所述标准真值来源于医生对涉及到的CT影像标记实际结石感兴趣区域。
10.根据权利要求9所述的基于深度学习与影像组学的泌尿系结石检测分类方法,其特征在于:所述第一样本阈值为大于等于0.5,和/或,所述第二样本阈值为小于等于0.4。
11.根据权利要求2所述的基于深度学习与影像组学的泌尿系结石检测分类方法,其特征在于,所述聚类方法为K-means聚类算法,所述K-means聚类算法被配置区分结石感兴趣区域内的结石核心区域和结石周围区域。
12.根据权利要求1所述的基于深度学习与影像组学的泌尿系结石检测分类方法,其特征在于,所述影像组学特征至少是被筛选算法进行过筛选的特征,所述筛选算法为最小冗余最大相关方法。
13.根据权利要求12所述的基于深度学习与影像组学的泌尿系结石检测分类方法,其特征在于,所述被筛选的特征至少为全部特征的四分之一,所述被筛选的特征为至少为25个。
14.根据权利要求2所述的基于深度学习与影像组学的泌尿系结石检测分类方法,其特征在于,所述第二深度学习模型的输入向量至少采用第一深度学习模型的输出特征的一部分或全部。
15.一种基于深度学习与影像组学的泌尿系结石检测分类系统,其特征在于:获取模块,获取CT图像;第一分析模块,利用第一深度学习模型从所述CT图像中自动化地提取结石感兴趣区域,确认所述结石感兴趣区域的结石是否存在,并对结石感兴趣区域进行初次粗略分类;影像模块,提取结石感兴趣区域的影像组学特征;所述提取结石感兴趣区域的影像组学特征,包括:采用聚类方法区分结石感兴趣区域内的结石核心区域和结石周围区域;根据结石核心区域和结石周围区域提取影像组学特征;所述影像组学特征至少包括一阶统计特征,二维形状特征,灰度共生矩阵(GLCM),灰度区域尺寸矩阵(GLSZM),统计图灰度游程矩阵(GLRLM),邻域灰度差分矩阵(NGTDM),灰度相关矩阵(GLDM)的一种或其组合;第二分析模块,利用第二深度学习模型和结石感兴趣区域内的结石周围的影像组学特征对所检出的结石感兴趣区域进行二次精细分类,得到最终的结石分类结果;所述利用第二深度学习模型和结石周围的影像组学特征对所检出的结石进行二次精细分类,得到最终的结石分类结果,包括:第二深度学习模型自动地将第一深度学习模型卷积预处理层输出的特征图谱和影像组学特征拼接形成第二深度学习模型的第二分类层的输入向量,经深度学习网络运算后,由第二分类层输出的类别一一对应结石感兴趣区域的精细分类类别,根据输出结果得到得到最终的结石分类结果;其中,所述第二深度学习模型为Resnet50模型网络。
16.根据权利要求15所述的基于深度学习与影像组学的泌尿系结石检测分类系统,其特征在于:第一深度学习模型至少包括Faster R-CNN模型,所述Faster R-CNN模型至少依次包括卷积预处理层、区域候选网络(RPN)、结石感兴趣区域池化层、第一分类层,其中,所述卷积预处理层对CT图像进行缩放、剪裁、池化,并输出CT图像的特征图谱;所述区域候选网络(RPN)用于生成和校正包含若干结石感兴趣区域,并输出各结石感兴趣区域内的结石是否存在信息;所述结石感兴趣区域池化层叠加所述特征图谱和所述结石感兴趣区域,生成若干带有特征图谱的结石感兴趣区域,并将带有特征图谱的结石感兴趣区域作池化处理,以使得带有特征图谱的各个结石感兴趣区域具有相同输出尺度;所述第一分类层分别计算各个有特征图谱的结石感兴趣区域所属类别,并将其进行初次粗略分类;所述区域候选网络(RPN)至少包括生成锚点单元、函数分类器选取正锚点单元、边界框回归修正正锚点单元、利用修正后的正锚点生成结石感兴趣区域单元;所述生成锚点单元至少包括,根据实际CT图像中结石大小,将锚点大小设置为第一锚点值×第二锚点值,所述第一锚点值为6,10,16,22,32或64,和,所述第二锚点值为6,10,16,22,32或64;所述函数分类器为softmax或sigmoid。
CN202010156643.0A 2020-03-09 2020-03-09 一种基于深度学习和影像组学的泌尿结石检测分类方法 Active CN111340130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010156643.0A CN111340130B (zh) 2020-03-09 2020-03-09 一种基于深度学习和影像组学的泌尿结石检测分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010156643.0A CN111340130B (zh) 2020-03-09 2020-03-09 一种基于深度学习和影像组学的泌尿结石检测分类方法

Publications (2)

Publication Number Publication Date
CN111340130A CN111340130A (zh) 2020-06-26
CN111340130B true CN111340130B (zh) 2023-12-05

Family

ID=71185994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010156643.0A Active CN111340130B (zh) 2020-03-09 2020-03-09 一种基于深度学习和影像组学的泌尿结石检测分类方法

Country Status (1)

Country Link
CN (1) CN111340130B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967419B (zh) * 2020-08-25 2023-06-20 深圳大学 一种坝岸险情预测方法、装置、计算机设备及存储介质
KR102209086B1 (ko) 2020-08-28 2021-01-28 주식회사 스타랩스 요로결석 정보제공 방법, 장치 및 컴퓨터 판독가능 매체
CN112801964B (zh) * 2021-01-20 2022-02-22 中国人民解放军总医院 肺部ct图像的多标签智能检测方法、装置、设备和介质
CN113205504B (zh) * 2021-05-12 2022-12-02 青岛大学附属医院 基于知识图谱的人工智能肾肿瘤预测系统
CN113255757B (zh) * 2021-05-20 2022-10-11 西华大学 基于激活值分布差异的对抗样本检测方法及系统
CN113962992A (zh) * 2021-12-21 2022-01-21 青岛大学附属医院 基于深度学习的泌尿结石平扫ct图像识别系统及训练方法
CN114419003B (zh) * 2022-01-21 2022-10-21 黑龙江中医药大学 一种用于保胆取石的结石多定位管理方法
CN114240937B (zh) * 2022-02-24 2022-05-27 武汉烽火凯卓科技有限公司 一种基于ct切片的肾结石检测方法及系统
CN114782340B (zh) * 2022-04-09 2024-03-26 中南大学湘雅二医院 主动脉夹层检测方法、系统、电子设备及存储介质
CN116452898B (zh) * 2023-06-16 2023-10-17 中国人民大学 基于影像组学和深度学习的肺腺癌亚型识别方法和装置
CN117036352B (zh) * 2023-10-09 2023-12-08 天津畅玩网络科技有限公司 一种基于人工智能的视频分析方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN109636788A (zh) * 2018-12-11 2019-04-16 中国石油大学(华东) 一种基于深度神经网络的ct图像胆结石智能检测模型
CN110033432A (zh) * 2019-03-01 2019-07-19 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 基于机器学习和能谱ct的泌尿结石成分分析方法及系统
CN110301940A (zh) * 2019-06-17 2019-10-08 翟凯 一种基于机器学习的腹腔彩超仪
CN110321943A (zh) * 2019-06-25 2019-10-11 中国科学院自动化研究所 基于半监督深度学习的ct图像分类方法、系统、装置
CN110378875A (zh) * 2019-06-18 2019-10-25 中国科学院苏州生物医学工程技术研究所 基于机器学习算法的体内尿路结石成分鉴别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN109636788A (zh) * 2018-12-11 2019-04-16 中国石油大学(华东) 一种基于深度神经网络的ct图像胆结石智能检测模型
CN110033432A (zh) * 2019-03-01 2019-07-19 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 基于机器学习和能谱ct的泌尿结石成分分析方法及系统
CN110301940A (zh) * 2019-06-17 2019-10-08 翟凯 一种基于机器学习的腹腔彩超仪
CN110378875A (zh) * 2019-06-18 2019-10-25 中国科学院苏州生物医学工程技术研究所 基于机器学习算法的体内尿路结石成分鉴别方法
CN110321943A (zh) * 2019-06-25 2019-10-11 中国科学院自动化研究所 基于半监督深度学习的ct图像分类方法、系统、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A. Nithya等.Kidney disease detection and segmentation using artificial neural network and multi-kernel k-means clustering for ultrasound images.《Measurement》.第第149卷卷1-8. *

Also Published As

Publication number Publication date
CN111340130A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111340130B (zh) 一种基于深度学习和影像组学的泌尿结石检测分类方法
EP1593094B1 (en) Image analysis for the purpose of assessing cancer
CN107451615A (zh) 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统
CN110021425B (zh) 一种比较检测器及其构建方法与宫颈癌细胞检测方法
CN112184657A (zh) 一种肺结节自动检测方法、装置及计算机系统
US8285013B2 (en) Method and apparatus for detecting abnormal patterns within diagnosis target image utilizing the past positions of abnormal patterns
CN107464234B (zh) 基于rgb通道叠加方法的肺结节图像深度学习识别系统及其方法
CN111784704B (zh) Mri髋关节炎症分割与分类自动定量分级序贯方法
CN111476774A (zh) 基于新型冠状病毒肺炎ct检测的智能征象识别装置
CN111369530A (zh) 一种基于深度学习的ct图像肺结节快速筛查方法
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN114359288A (zh) 基于人工智能的医学影像脑动脉瘤检测和定位方法
CN115115841A (zh) 一种阴影斑点图像处理分析方法及系统
Zhang et al. An algorithm for automatic rib fracture recognition combined with nnU-Net and DenseNet
CN104835155A (zh) 基于分形的早期乳腺癌钙化点计算机辅助检测方法
CN112381818B (zh) 面向亚类疾病的医学图像识别增强方法
CN111724356B (zh) 一种用于ct影像肺炎识别的图像处理方法和系统
CN111612749B (zh) 基于肺部影像的病灶检测方法和装置
Bernal et al. A region segmentation method for colonoscopy images using a model of polyp appearance
CN115880266B (zh) 一种基于深度学习的肠道息肉检测系统和方法
JP2008535519A (ja) 細胞の構造及びその構成要素を分析する方法
Jlassi et al. Brain Tumor Segmentation of Lower-Grade Glioma Across MRI Images Using Hybrid Convolutional Neural Networks.
CN113838008A (zh) 一种基于引入注意力机制的异常细胞检测方法
Dhar et al. Automatic tracing of mandibular canal pathways using deep learning
CN111401119A (zh) 细胞核的分类

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 330006 No. 92 Patriotic Road, Nanchang, Jiangxi

Applicant after: JIANGXI PROVINCIAL PEOPLE'S Hospital

Applicant after: Zhejiang Yizhun Intelligent Technology Co.,Ltd.

Address before: 330006 No. 92 Patriotic Road, Nanchang, Jiangxi

Applicant before: JIANGXI PROVINCIAL PEOPLE'S Hospital

Applicant before: Beijing Yizhun Intelligent Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant