CN110232386A - 基于局部特征金字塔的肺结节分类方法及装置 - Google Patents

基于局部特征金字塔的肺结节分类方法及装置 Download PDF

Info

Publication number
CN110232386A
CN110232386A CN201910386433.8A CN201910386433A CN110232386A CN 110232386 A CN110232386 A CN 110232386A CN 201910386433 A CN201910386433 A CN 201910386433A CN 110232386 A CN110232386 A CN 110232386A
Authority
CN
China
Prior art keywords
local
feature
lung neoplasm
prediction probability
local feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910386433.8A
Other languages
English (en)
Other versions
CN110232386B (zh
Inventor
林浩亮
周振
卢光明
李秀丽
俞益洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shenrui Bolian Technology Co Ltd
Beijing Shenrui Bolian Technology Co Ltd
Original Assignee
Hangzhou Shenrui Bolian Technology Co Ltd
Beijing Shenrui Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shenrui Bolian Technology Co Ltd, Beijing Shenrui Bolian Technology Co Ltd filed Critical Hangzhou Shenrui Bolian Technology Co Ltd
Priority to CN201910386433.8A priority Critical patent/CN110232386B/zh
Publication of CN110232386A publication Critical patent/CN110232386A/zh
Application granted granted Critical
Publication of CN110232386B publication Critical patent/CN110232386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明实施例公开一种基于局部特征金字塔的肺结节分类方法及装置，其中方法包括如下步骤：采用骨干网对肺结节图像数据进行整体特征提取，根据整体特征图计算指示肺结节类型的整体预测概率，采用局部特征提取器对上述图像数据进行局部特征提取，根据局部特征图计算指示肺结节类型的局部预测概率，最后基于局部特征金字塔分析出的不同尺度的特征图之间的内在联系，计算综合上述两个预测概率之后，肺结节的最终预测概率。采用本发明，通过显式地建模提取不同尺寸的局部特征、整体特征、以及它们之间的内在联系的过程，可以降低模型优化的难度，达到诊断恶性肺结节的效果。

Description

基于局部特征金字塔的肺结节分类方法及装置
技术领域
本发明涉及疾病诊断技术领域，尤其涉及一种基于局部特征金字塔的肺结节分类方法及装置。
背景技术
肺癌是中国男性发病率最高，女性发病率第二高的癌症，同时也是中国死亡率最高的癌症。肺结节是小于30毫米的肺部病灶。近年来，随着CT技术的提高与肺癌早期筛查的普及，越来越多的肺部结节被发现，但肺结节的定性诊断仍存在困难。由于恶性结节早期发病比较隐匿，病程迅速，预后差，因此研究基于肺部CT的定性分类算法十分必要。基于影像学因素的肺结节定性诊断需要综合考虑肺结节的大小、形状、密度、征象等复杂因素，对于医生和计算机算法都很具挑战性。
现有的肺结节检测与定性诊断算法多数是基于深度学习的检测与分类算法，这样做会面临两个问题。一是结节的良恶性判别不仅需要基于整体特征(例如密度、大小、形状)，而且需要基于局部特征(空洞、毛刺、血管穿越等局部征象)以及它们之间的内在联系。二是结节和其局部特征的大小范围跨度极大，从一到三十毫米大小的特征都需要进行处理。这些就导致模型优化的难度极大。
发明内容
本发明实施例提供一种基于局部特征金字塔的肺结节分类方法及装置，通过显式地建模提取不同尺寸的局部特征、整体特征、以及它们之间的内在联系的过程，可以降低模型优化的难度，达到诊断恶性肺结节的效果。
本发明实施例第一方面提供了一种基于局部特征金字塔的肺结节分类方法，可包括：
采用骨干网对肺结节图像数据进行整体特征提取，根据整体特征图计算指示肺结节类型的整体预测概率；
采用局部特征提取器对肺结节图像数据进行局部特征提取，根据局部特征图计算指示肺结节类型的局部预测概率；
基于局部特征金字塔分析出的不同特征图之间的内在联系，计算综合整体预测概率和局部预测概率之后，肺结节的最终预测概率。
进一步的，上述采用骨干网对肺结节图像数据进行整体特征提取，根据整体特征图计算指示肺结节类型的整体预测概率，包括：
基于连续的三个密集连接模块对肺结节图像数据进行语义特征处理，得到整体特征图；
采用全连接层对整体特征图进行概率预测，生成指示肺结节类型的整体预测概率。
进一步的，上述局部特征提取包括大尺度局部特征提取和小尺度局部特征提取。
进一步的，上述方法还包括：
对整体特征图进行卷积处理并由之后的局部特征提取器进行后向约束得到大尺度局部特征图；
采用细粒度分类局部特征提取器对大尺度局部特征图进行特征提取和分类，确定大尺度局部特征图对应的肺结节类型的大尺度预测概率。
进一步的，上述方法还包括：
基于连续的两个密集连接模块对肺结节图像数据进行语义特征处理，得到包含较高分辨率纹理细节信息的小尺度纹理特征图；
对大尺度局部特征图进行上采样处理，得到包含高层语义信息和准确位置信息的小尺度语义特征图；
采用一密集连接模块对小尺度纹理特征图和小尺度语义特征图进行语义特征处理得到小尺度融合特征图；
对小尺度融合特征图进行卷积处理并由之后的局部特征提取器进行后向约束得到小尺度局部特征图；
基于细粒度分类局部特征提取器对小尺度局部特征图进行特征提取和分类，确定小尺度特征图对应的肺结节类型的小尺度预测概率。
进一步的，上述整体特征图、大尺度局部特征图和小尺局部度特征图三者之间的特征提取过程构成局部特征金字塔网络。
进一步的，上述方法还包括：
对整体预测概率、大尺度预测概率和小尺度预测概率进行加总平均，得到肺结节的最终预测概率。
本发明实施例第二方面提供了一种基于局部特征金字塔的肺结节分类装置，可包括：
整体概率预测模块，用于采用骨干网对肺结节图像数据进行整体特征提取，根据整体特征图计算指示肺结节类型的整体预测概率；
局部概率预测模块，用于采用局部特征提取器对肺结节图像数据进行局部特征提取，根据局部特征图计算指示肺结节类型的局部预测概率；
最终概率计算模块，用于基于局部特征金字塔分析出的不同特征图之间的内在联系，计算综合整体预测概率和局部预测概率之后，肺结节的最终预测概率。
进一步的，上述整体概率预测模块包括：
整体特征处理单元，用于基于连续的三个密集连接模块对肺结节图像数据进行语义特征处理，得到整体特征图；
整体概率生成单元，用于采用全连接层对整体特征图进行概率预测，生成指示肺结节类型的整体预测概率。
进一步的，上述局部特征提取包括大尺度局部特征提取和小尺度局部特征提取。
进一步的，上述局部概率预测模块包括：
大局部特征处理单元，用于对整体特征图进行卷积处理并由之后的局部特征提取器进行后向约束得到大尺度局部特征图；
大局部概率确定单元，用于采用细粒度分类局部特征提取器对大尺度局部特征图进行特征提取和分类，确定大尺度局部特征图对应的肺结节类型的大尺度预测概率。
进一步的，上述局部概率预测模块还包括：
纹理特征处理单元，用于基于连续的两个密集连接模块对肺结节图像数据进行语义特征处理，得到包含较高分辨率纹理细节信息的小尺度纹理特征图；
语义特征处理单元，用于对大尺度局部特征图进行上采样处理，得到包含高层语义信息和准确位置信息的小尺度语义特征图；
特征图融合单元，用于采用一密集连接模块对尺度纹理特征图和小尺度语义特征图进行语义特征处理得到小尺度融合特征图；
小局部特征处理单元，用于对小尺度融合特征图进行卷积处理并由之后的局部特征提取器进行后向约束得到小尺度局部特征图；
小局部概率确定单元，用于基于细粒度分类局部特征提取器对卷积处理后的小尺度局部特征图进行特征提取和分类，确定小尺度特征图对应的肺结节类型的小尺度预测概率。
进一步的，上述整体特征图、大尺度局部特征图和小尺局部度特征图三者之间的特征提取过程构成局部特征金字塔网络。
进一步的，最终概率计算模块，具体用于对整体预测概率、大尺度预测概率和小尺度预测概率进行加总平均，得到肺结节的最终预测概率。
在本发明实施例中，通过通过骨干网对肺结节图像进行整体特征提取，再通过滤波器进行局部特征处理，并基于局部特征金字塔分析不同尺度的特征图之间的内在联系，确定最终肺结节类型的预测概率，降低了模型优化的难度，达到了诊断恶性肺结节的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的局部特征金字塔网络模型的结构示意图；
图2是本发明实施例提供的一种基于局部特征金字塔的肺结节分类方法的流程示意图；
图3是本发明实施例提供的基于局部特征金字塔的肺结节分类装置的结构示意图；
图4是本发明实施例提供的整体概率预测模块的结构示意图；
图5是本发明实施例提供的局部概率预测模块的结构示意图；
图6是本发明实施例提供的局部概率预测模块另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例提供的基于局部特征金字塔的肺结节分类方法可以应用于分析肺结节图像数据确定肺结节是否为恶性结节的应用场景。
下面将结合附图1和附图2，对本发明实施例提供的基于局部特征金字塔的肺结节分类方法进行详细介绍。
请参见图1，为本发明实施例提供了一种局部特征金字塔网络模型的结构示意图，图中Dense Block即箭头1代表密集连接模块，FC layer即箭头2代表全连接层，1*1*1Conv即箭头3代表1*1*1卷积层，Upsample即箭头4代表上采样，Copy即箭头5代表复制，DFLmodule即箭头6代表基于滤波器学习的细粒度分类局部特征提取器，4D Feature Map即三维立方体代表4D特征图，num_class Prob Vec即平面矩形代表预测的概率。图1所示的为一种三层局部特征金字塔网络，具体包括，整体特征层、大局部特征层以及小局部特征层，该金字塔网络模型对不同特征之间的内在关系可以通过下面的实施例具体阐述。
请参见图2，为本发明实施例提供了一种基于局部特征金字塔的肺结节分类方法的流程示意图。如图2所示，本发明实施例的所述方法可以包括以下步骤S101-步骤S103。
S101，采用骨干网对肺结节图像数据进行整体特征提取，根据整体特征图计算指示肺结节类型的整体预测概率。
具体的，上述分类装置可以采用骨干网对肺结节图像数据进行整体特征提取，得到整体特征图。上述肺结节图像数据可以是医院进行病情检查时拍摄的肺部CT，进一步的，可以根据整体特征图计算指示肺结节类型的整体预测概率，图1中的1-1-1-2-5这条线可以为上述整体特征提取确定整体预测概率的过程。可以理解的是，预测概率可以是上述分类装置在特征提取、模型分类等处理后预测肺结节为恶性结节的概率。
可选的，上述骨干网可以是三个密集连接模块组成的，上述分类装置可以基于上述三个密集连接模块对肺结节图像数据进行语义特征处理，得到整体特征图，然后通过全连接层对整体特征图进行概率预测，生成指示肺结节类型的整体预测概率。需要说明的是，上述每个密集连接模块后都有一层最大池化层，用于提升感受野、增强语义表达能力。
S102，采用局部特征提取器对肺结节图像数据进行局部特征提取，根据局部特征图计算指示肺结节类型的局部预测概率。
需要说明的是，整体特征图虽然具备较好的感受野以及语义表达能力，但降低了分辨率，丢失了关键细节信息，为弥补上述不足，分类装置可以采用局部特征提取器对肺结节图像数据进行局部特征提取，根据局部特征图计算指示肺结节类型的局部预测概率。优选的，上述局部特征提取器可以是滤波器学习模块，该模块主要由一个1*1*1卷积层和一个全局最大池化层组成，用于提取网络认为最具影响力的局部特征，该模块除了使用传统的交叉熵函数，还有一个由通道平均池化层构成的辅助损失函数约束每个滤波器学习其被设定类别的正相关特征。除了对局部特征的提取效果好，此种模块对每个滤波器设定的学习目标清晰且易于理解。受此模块约束生成的局部特征特征图很适合作为其他分支的引导特征图。同时，清晰易懂的可视化结果也更能让医生更容易理解算法的判断逻辑和依据。
可以理解的是，上述局部特征提取可以包括大尺度局部特征提取和小尺度局部特征提取，大尺度局部特征提取得到大尺度预测概率的过程可以为图1中的1-1-1-3-6-5这条路径结构指示的过程，小尺度局部特征提取得到小尺度预测概率的过程可以为图1中的这条路径结构指示的过程。
在可选实施例中，上述分类装置可以对整体特征图进行1*1*1的卷积处理并由之后的局部特征提取器进行后向约束得到大尺度局部特征图，然后再采用基于滤波器学习的细粒度分类局部特征提取器对该大尺度局部特征图进行特征提取和分类，确定其对应的肺结节类型的大尺度预测概率。可以理解的是，大尺度局部特征图的分辨率为原始图像的1/8，局部特征提取器提取出的主要是大尺寸(4mm左右)的局部特征。然而，对于肺结节，尤其是筛查数据中的肺结节来说，肺结节的整体大小偏小(有部分位于4-10mm之间)，而且部分尺寸大的结节也存在一些尺寸较小的局部特征(毛刺，卫星灶，不规则轮廓等)，因此我们需要提取出尺寸更小(1-2mm)的局部特征。
在可选实施例中，上述分类装置可以基于连续的两个密集连接模块对肺结节图像数据进行语义特征处理，得到包含较高分辨率纹理细节信息的小尺度纹理特征图(此特征图的分辨率为原图像的1/4，包含有丰富的细节纹理信息，但由于经过的网络的层数较少，缺乏高层语义信息)；同时可以对上述大尺度局部特征图进行上采样处理，得到包含高层语义信息和准确位置信息的小尺度语义特征图，可以理解的是，上述大尺度局部特征图于受到大尺度局部特征提取器约束，包含清晰的大尺度局部特征信息。进一步的，为了提供足够的语义推理能力，上述分类装置可以采用一密集连接模块对小尺度纹理特征图和小尺度语义特征图进行语义特征处理得到小尺度融合特征图，通过大尺度局部特征图的引导，网络可以在保留足够高分辨率细节纹理信息的同时，准确地定位小尺度局部特征的位置，并能推理建模不同尺度局部特征之间的内在联系。进一步的，上述分类装置可以对小尺度融合特征图进行卷积处理并由之后的局部特征提取器进行后向约束得到小尺度局部特征图，再基于滤波器学习的细粒度分类局部特征提取器对上述小尺度局部特征图进行分类，确定其对应的肺结节类型的小尺度预测概率。
S103，基于局部特征金字塔分析出的不同特征图之间的内在联系，计算综合整体预测概率和局部预测概率之后，肺结节的最终预测概率。
可以理解的是，图1所示的局部特征金字塔模型可以清晰的指示不同特征图之间的内在联系，具体的内在联系已在步骤S101和S102中进行了阐述。进一步的，上述分类装置可以根据上述内在联系计算综合整体预测概率和局部预测概率之后，肺结节的最终预测概率。
在可选实施例中，上述分类装置可以对上述整体预测概率、大尺度预测概率和小尺度预测概率进行加总平均，得到肺结节的最终预测概率。
在本发明实施例中，通过通过骨干网对肺结节图像进行整体特征提取，再通过滤波器进行局部特征处理，并基于局部特征金字塔分析不同尺度的特征图之间的内在联系，确定最终肺结节类型的预测概率，降低了模型优化的难度，达到了诊断恶性肺结节的效果。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
下面将结合附图3-附图6，对本发明实施例提供的基于局部特征金字塔的肺结节分类装置进行详细介绍。需要说明的是，附图3-附图6所示的分类装置，用于执行本发明图1和图2所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图1和图2所示的实施例。
请参见图3，为本发明实施例提供了一种基于局部特征金字塔的肺结节分类装置的结构示意图。如图3所示，本发明实施例的分类装置10可以包括：整体概率预测模块101、局部概率预测模块102和最终概率计算模块103。其中，整体概率预测模块101如图4所示，包括整体特征处理单元1011以及整体概率生成单元1012。局部概率预测模块102如图5所示，包括大局部特征处理单元1021和大局部概率确定单元1022。局部概率预测模块102如图6所示，还可以包括纹理特征处理单元1023、语义特征处理单元1024、特征图融合单元1025、小局部特征处理单元1026以及小局部概率确定单元1027。
整体概率预测模块101，用于采用骨干网对肺结节图像数据进行整体特征提取，根据整体特征图计算指示肺结节类型的整体预测概率。
具体实现中，整体概率预测模块101可以采用骨干网对肺结节图像数据进行整体特征提取，得到整体特征图。上述肺结节图像数据可以是医院进行病情检查时拍摄的肺部CT，进一步的，可以根据整体特征图计算指示肺结节类型的整体预测概率，图1中的1-1-1-2-5这条线可以为上述整体特征提取确定整体预测概率的过程。可以理解的是，预测概率可以是上述分类装置10在特征提取、模型分类等处理后预测肺结节为恶性结节的概率。
可选的，上述骨干网可以是三个密集连接模块组成的，整体特征处理单元1011可以基于上述三个密集连接模块对肺结节图像数据进行语义特征处理，得到整体特征图，然后整体概率生成单元1012可以通过全连接层对整体特征图进行概率预测，生成指示肺结节类型的整体预测概率。需要说明的是，上述每个密集连接模块后都有一层最大池化层，用于提升感受野、增强语义表达能力。
局部概率预测模块102，用于采用局部特征提取器对肺结节图像数据进行局部特征提取，根据局部特征图计算指示肺结节类型的局部预测概率。
需要说明的是，整体特征图虽然具备较好的感受野以及语义表达能力，但降低了分辨率，丢失了关键细节信息，为弥补上述不足，局部概率预测模块102可以采用局部特征提取器对肺结节图像数据进行局部特征提取，根据局部特征图计算指示肺结节类型的局部预测概率。优选的，上述局部特征提取器可以是滤波器学习模块，该模块主要由一个1*1*1卷积层和一个全局最大池化层组成，用于提取网络认为最具影响力的局部特征，该模块除了使用传统的交叉熵函数，还有一个由通道平均池化层构成的辅助损失函数约束每个滤波器学习其被设定类别的正相关特征。除了对局部特征的提取效果好，此种模块对每个滤波器设定的学习目标清晰且易于理解。受此模块约束生成的局部特征特征图很适合作为其他分支的引导特征图。同时，清晰易懂的可视化结果也更能让医生更容易理解算法的判断逻辑和依据。
可以理解的是，上述局部特征提取可以包括大尺度局部特征提取和小尺度局部特征提取，大尺度局部特征提取得到大尺度预测概率的过程可以为图1中的1-1-1-3-6-5这条路径结构指示的过程，小尺度局部特征提取得到小尺度预测概率的过程可以为图1中的这条路径结构指示的过程。
在可选实施例中，大局部特征处理单元1021可以对整体特征图进行1*1*1的卷积处理并由之后的局部特征提取器进行后向约束得到大尺度局部特征图，然后大局部概率确定单元1022可以采用基于滤波器学习的细粒度分类局部特征提取器对该大尺度局部特征图进行特征提取和分类，确定其对应的肺结节类型的大尺度预测概率。可以理解的是，大尺度局部特征图的分辨率为原始图像的1/8，局部特征提取器提取出的主要是大尺寸(4mm左右)的局部特征。然而，对于肺结节，尤其是筛查数据中的肺结节来说，肺结节的整体大小偏小(有部分位于4-10mm之间)，而且部分尺寸大的结节也存在一些尺寸较小的局部特征(毛刺，卫星灶，不规则轮廓等)，因此我们需要提取出尺寸更小(1-2mm)的局部特征。
在可选实施例中，纹理特征处理单元1023可以基于连续的两个密集连接模块对肺结节图像数据进行语义特征处理，得到包含较高分辨率纹理细节信息的小尺度纹理特征图(此特征图的分辨率为原图像的1/4，包含有丰富的细节纹理信息，但由于经过的网络的层数较少，缺乏高层语义信息)；同时语义特征处理单元1024可以对上述大尺度局部特征图进行上采样处理，得到包含高层语义信息和准确位置信息的小尺度语义特征图，可以理解的是，上述大尺度局部特征图于受到大尺度局部特征提取器约束，包含清晰的大尺度局部特征信息。进一步的，为了提供足够的语义推理能力，特征图融合单元1025可以采用一密集连接模块对未加工特征图和加工特征图进行语义特征处理得到小尺度融合特征图，通过大尺度局部特征图的引导，网络可以在保留足够高分辨率细节纹理信息的同时，准确地定位小尺度局部特征的位置，并能推理建模不同尺度局部特征之间的内在联系。进一步的，小局部特征处理单元1026可以对小尺度融合特征图进行卷积处理并由之后的局部特征提取器进行后向约束得到小尺度局部特征图，小局部概率确定单元1027可以基于滤波器学习的细粒度分类局部特征提取器对上述小尺度局部特征图进行分类，确定其对应的肺结节类型的小尺度预测概率。
最终概率计算模块103，用于基于局部特征金字塔分析出的不同特征图之间的内在联系，计算综合整体预测概率和局部预测概率之后，肺结节的最终预测概率。
可以理解的是，图1所示的局部特征金字塔模型可以清晰的指示不同特征图之间的内在联系，具体的内在联系已在整体概率预测模块101和局部概率预测模块102中进行了阐述。进一步的，最终概率计算模块103可以根据上述内在联系计算综合整体预测概率和局部预测概率之后，肺结节的最终预测概率。
在可选实施例中，最终概率计算模块103可以对上述整体预测概率、大尺度预测概率和小尺度预测概率进行加总平均，得到肺结节的最终预测概率。
在本发明实施例中，通过通过骨干网对肺结节图像进行整体特征提取，再通过滤波器进行局部特征处理，并基于局部特征金字塔分析不同尺度的特征图之间的内在联系，确定最终肺结节类型的预测概率，降低了模型优化的难度，达到了诊断恶性肺结节的效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种基于局部特征金字塔的肺结节分类方法，其特征在于，包括：
采用骨干网对肺结节图像数据进行整体特征提取，根据整体特征图计算指示肺结节类型的整体预测概率；
采用局部特征提取器对所述肺结节图像数据进行局部特征提取，根据局部特征图计算指示所述肺结节类型的局部预测概率；
基于局部特征金字塔分析出的不同特征图之间的内在联系，计算综合所述整体预测概率和所述局部预测概率之后，所述肺结节的最终预测概率。
2.根据权利要求1所述的方法，其特征在于，所述采用骨干网对肺结节图像数据进行整体特征提取，根据整体特征图计算指示肺结节类型的整体预测概率，包括：
基于连续的三个密集连接模块对肺结节图像数据进行语义特征处理，得到整体特征图；
采用全连接层对所述整体特征图进行概率预测，生成指示肺结节类型的整体预测概率。
3.根据权利要求1所述的方法，其特征在于，所述局部特征提取包括大尺度局部特征提取和小尺度局部特征提取。
4.根据权利要求3所述的方法，其特征在于，所述采用局部特征提取器对所述肺结节图像数据进行局部特征提取，根据局部特征图计算指示所述肺结节类型的局部预测概率，包括：
对所述整体特征图进行卷积处理并由之后的局部特征提取器进行后向约束得到大尺度局部特征图；
采用细粒度分类局部特征提取器对所述大尺度局部特征图进行特征提取和分类，确定所述大尺度局部特征图对应的所述肺结节类型的大尺度预测概率。
5.根据权利要求4所述的方法，其特征在于，所述采用局部特征提取器对所述肺结节图像数据进行局部特征提取，根据局部特征图计算指示所述肺结节类型的局部预测概率，还包括
基于连续的两个密集连接模块对所述肺结节图像数据进行语义特征处理，得到包含较高分辨率纹理细节信息的小尺度纹理特征图；
对所述大尺度局部特征图进行上采样处理，得到包含高层语义信息和准确位置信息的小尺度语义特征图；
采用一密集连接模块对所述小尺度纹理特征图和所述小尺度语义特征图进行语义特征处理得到小尺度融合特征图；
对所述小尺度融合特征图进行卷积处理并由之后的局部特征提取器进行后向约束得到小尺度局部特征图；
基于所述细粒度分类局部特征提取器对小尺度局部特征图进行特征提取和分类，确定所述小尺度特征图对应的所述肺结节类型的小尺度预测概率。
6.根据权利要求5所述的方法，其特征在于：
所述整体特征图、所述大尺度局部特征图和所述小尺局部度特征图三者之间的特征提取过程构成局部特征金字塔网络。
7.根据权利要求5所述的方法，其特征在于，所述基于局部特征金字塔分析出的不同特征图之间的内在联系，计算综合所述整体预测概率和所述局部预测概率之后，所述肺结节的最终预测概率，包括：
对所述整体预测概率、所述大尺度预测概率和所述小尺度预测概率进行加总平均，得到所述肺结节的最终预测概率。
8.一种基于局部特征金字塔的肺结节分类装置，其特征在于，包括：
整体概率预测模块，用于采用骨干网对肺结节图像数据进行整体特征提取，根据整体特征图计算指示肺结节类型的整体预测概率；
局部概率预测模块，用于采用局部特征提取器对所述肺结节图像数据进行局部特征提取，根据局部特征图计算指示所述肺结节类型的局部预测概率，并对之前的局部特征图形成后向约束；
最终概率计算模块，用于基于局部特征金字塔分析出的不同特征图之间的内在联系，计算综合所述整体预测概率和所述局部预测概率之后，所述肺结节的最终预测概率。
9.根据权利要求8所述的装置，其特征在于，所述整体概率预测模块包括：
整体特征处理单元，用于基于连续的三个密集连接模块对肺结节图像数据进行语义特征处理，得到整体特征图；
整体概率生成单元，用于采用全连接层对所述整体特征图进行概率预测，生成指示肺结节类型的整体预测概率。
10.根据权利要求8所述的装置，其特征在于，所述局部特征提取包括大尺度局部特征提取和小尺度局部特征提取。
CN201910386433.8A 2019-05-09 2019-05-09 基于局部特征金字塔的肺结节分类方法及装置 Active CN110232386B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910386433.8A CN110232386B (zh) 2019-05-09 2019-05-09 基于局部特征金字塔的肺结节分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910386433.8A CN110232386B (zh) 2019-05-09 2019-05-09 基于局部特征金字塔的肺结节分类方法及装置

Publications (2)

Publication Number Publication Date
CN110232386A true CN110232386A (zh) 2019-09-13
CN110232386B CN110232386B (zh) 2022-04-05

Family

ID=67861255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910386433.8A Active CN110232386B (zh) 2019-05-09 2019-05-09 基于局部特征金字塔的肺结节分类方法及装置

Country Status (1)

Country Link
CN (1) CN110232386B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798424A (zh) * 2020-06-30 2020-10-20 广西医准智能科技有限公司 一种基于医学图像的结节检测方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020028008A1 (en) * 2000-09-07 2002-03-07 Li Fan Automatic detection of lung nodules from high resolution CT images
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN109636817A (zh) * 2018-11-30 2019-04-16 华中科技大学 一种基于二维卷积神经网络的肺结节分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020028008A1 (en) * 2000-09-07 2002-03-07 Li Fan Automatic detection of lung nodules from high resolution CT images
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN109636817A (zh) * 2018-11-30 2019-04-16 华中科技大学 一种基于二维卷积神经网络的肺结节分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QI DOU ET AL.: "Multi-level Contextual 3D CNNs for False Positive Reduction in Pulmonary Nodule Detection", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 *
姚宇瑾等: "基于混合损失联合调优与多尺度分类相结合的肺结节检测算法", 《CHINAXIV》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798424A (zh) * 2020-06-30 2020-10-20 广西医准智能科技有限公司 一种基于医学图像的结节检测方法、装置及电子设备
CN111798424B (zh) * 2020-06-30 2021-02-09 广西医准智能科技有限公司 一种基于医学图像的结节检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN110232386B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
Xu et al. Efficient multiple organ localization in CT image using 3D region proposal network
Ueda et al. Technical and clinical overview of deep learning in radiology
CN111192245A (zh) 一种基于U-Net网络的脑肿瘤分割网络及分割方法
Lu et al. Hybrid detection of lung nodules on CT scan images
CN111402268A (zh) 一种医学图像中肝脏及其病灶分割的方法
CN108986067A (zh) 基于跨模态的肺结节检测方法
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN112365464B (zh) 一种基于gan的医学图像病变区域弱监督定位方法
CN111767952B (zh) 一种可解释的肺结节良恶性分类方法
CN101449291A (zh) 自动识别解剖结构中癌前异常的过程和系统及对应的计算机程序
Abbood et al. DR-LL Gan: Diabetic Retinopathy Lesions Synthesis using Generative Adversarial Network.
CN110533113A (zh) 一种数字图像中树状结构的分支点检测方法
Ye et al. Medical image diagnosis of prostate tumor based on PSP-Net+ VGG16 deep learning network
Li et al. 3D tumor detection in automated breast ultrasound using deep convolutional neural network
Feng et al. Automatic localization and segmentation of focal cortical dysplasia in FLAIR‐negative patients using a convolutional neural network
Wang et al. Accurate tumor segmentation via octave convolution neural network
CN110232386A (zh) 基于局部特征金字塔的肺结节分类方法及装置
Liu et al. Automated classification of cervical Lymph-Node-Level from ultrasound using depthwise separable convolutional swin transformer
Xie Towards single-phase single-stage detection of pulmonary nodules in chest CT imaging
CN116504406A (zh) 基于影像组合病理的肺癌术后风险模型构建方法和系统
Zhu et al. A multi-task two-path deep learning system for predicting the invasiveness of craniopharyngioma
CN112633336A (zh) 一种基于多尺度特征融合的肺结节识别分类方法
Huang et al. BronchusNet: Region and Structure Prior Embedded Representation Learning for Bronchus Segmentation and Classification
Essaf et al. Review on deep learning methods used for computer-aided lung cancer detection and diagnosis
Deng et al. CT Image Analysis and Clinical Diagnosis of New Coronary Pneumonia Based on Improved Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant