CN117011617B - 基于二阶段教师-学生框架的肺结节检测装置及构建方法 - Google Patents

基于二阶段教师-学生框架的肺结节检测装置及构建方法 Download PDF

Info

Publication number
CN117011617B
CN117011617B CN202311285221.3A CN202311285221A CN117011617B CN 117011617 B CN117011617 B CN 117011617B CN 202311285221 A CN202311285221 A CN 202311285221A CN 117011617 B CN117011617 B CN 117011617B
Authority
CN
China
Prior art keywords
network
image
teacher
lung nodule
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311285221.3A
Other languages
English (en)
Other versions
CN117011617A (zh
Inventor
严严
黄光彧
朱闻韬
金源
王彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202311285221.3A priority Critical patent/CN117011617B/zh
Publication of CN117011617A publication Critical patent/CN117011617A/zh
Application granted granted Critical
Publication of CN117011617B publication Critical patent/CN117011617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于二阶段教师‑学生框架的肺结节检测装置及构建方法，包括构建训练集，构建教师网络，利用强标注数据集和弱标注数据集，预训练教师‑学生框架中的教师网络，获取一个鲁棒的第一训练好的教师网络；再利用强弱标注数据集及在教师网络中得到的伪标签，构建并训练教师‑学生框架中的学生网络，获得肺结节检测装置本发明在混合监督的设置下，采用二阶段教师‑学生框架，仅利用少量的强标注数据，及一定量的弱标注数据，便可以有效地检测出形态、大小和位置不一的肺结节。相比于传统的完全监督学习方法，本发明能够较大地降低数据标注的成本和负担，并取得良好的检测性能。

Description

基于二阶段教师-学生框架的肺结节检测装置及构建方法
技术领域
本发明属于医学图像处理领域，具体涉及一种基于二阶段教师-学生框架的肺结节检测装置及构建方法。
背景技术
肺结节是肺部疾病的一个重要指标，早期的诊断能够明显地降低肺癌的发病率。CT图像已经被广泛地应用于肺结节检测，能够有效地帮助发现和定位肺结节。
近年来，很多基于CT图像的肺结节检测方法被提出，但是它们大多关注的都是完全监督设置，即为了训练一个性能优越的模型，需要依靠大量的强标注数据。这些强标注数据通常是边界框标注的数据，需要专业人士手工标注。由于结节的大小、位置和外观变化不一，手工标注非常消耗时间和精力。为了解决这个问题，不少半监督方法被提出。这些半监督方法利用强标注数据和无标注数据进行模型的训练。此外，还有一些弱监督的方法被提出。弱监督方法通常是基于一些弱标签，比如电子病案提供的信息、涂鸦标签、点标签或类别标签。
相比于半监督和弱监督设置，混合监督设置可以在标注成本和检测性能上达到一个平衡。混合监督设置旨在利用弱标注数据，及一定量的强标注数据来进行混合监督训练，更贴近真实场景。相比于涂鸦标签，点标签花费更少的标注成本，相比于类别标签，点标签包含更丰富的信息。因此，如果能有效地利用点标注的弱标注数据，再结合一些强标注数据，标注成本可以减少很多，且达到令人满意的检测性能。
现有的混合监督方法大多针对自然图像的分割和检测任务提出。很多方法采用普通的二阶段方法，即在第一阶段利用强标注数据预训练模型，在训练好的模型上推理出弱标注数据的伪标签；在第二阶段利用强标注数据的标签和第一阶段产生的伪标签一起训练模型。然而，仅依靠强标注数据预训练的模型产生的伪标签的质量往往得不到保证。EHSOD（Fang, L., Xu, H, Liu, Z., et al.: EHSOD: CAM-guided end-to-end hybrid-supervised object detection with cascade refinement. In: Proceedings of theAAAI Conference on Artificial Intelligence, vol. 34, pp. 10778–10785 (2020)）使用类别标签来产生热图，用于目标检测。但是，检测性能受到热图质量的影响。如果CAM不能够产生可靠的热图，检测性能会下降。
发明内容
本发明的目的是针对现有技术的不足，提供一种基于二阶段教师-学生框架的肺结节检测装置及构建方法。
本发明采用的技术方案具体如下：
一种基于二阶段教师-学生框架的肺结节检测装置构建方法，所述基于二阶段教师-学生框架的肺结节检测装置至少包括肺结节检测模块，所述肺结节检测模块通过如下方法构建获得：
构建训练集，所述训练集包含基于肺结节CT图像的强标注数据集和弱标注数据集；
构建教师网络，所述教师网络包含一个骨架网络、一个区域候选网络和一个双通道校准网络；其中，骨架网络用于提取输入图像的基本特征；区域候选网络包含分类和回归任务，分别用于预测候选边界框的分类结果和回归结果；双通道校准网络由两个校准网络构成，均包含分类和回归任务，其中一个通道校准网络用于基于区域候选网络预测的候选边界框及翻转后得到的翻转的候选边界框对骨架网络中间层特征裁剪得到的第一特征及第二特征输出分类结果和回归结果；另一个通道校准网络用于基于区域候选网络预测的候选边界框及翻转后得到的翻转的候选边界框对骨架网络底层特征裁剪得到的第一特征及第二特征输出分类结果和回归结果；
将训练集中的每一肺结节CT图像中每个结节的中心点拟合一个高斯分布，生成高斯热图，并将高斯热图与原始的肺结节CT图像在通道维度上连接，得到第一点增强的CT图像；再将点增强的CT图像沿z轴翻转，得到第二点增强的CT图像；将第一点增强的CT图像和第二点增强的CT图像一起作为教师网络的输入，通过优化第一损失函数对教师网络进行训练，获得第一训练好的教师网络；所述第一损失函数包括基于区域候选网络输出的第一点增强的CT图像和第二点增强的CT图像对应的候选边界框的回归结果的一致性回归损失、基于双通道校准网络输出的第一特征及翻转后得到的第二特征的分类结果的一致性分类损失、基于区域候选网络和双通道校准网络的分类损失和回归损失；
将信息瓶颈插入至第一训练好的教师网络的骨架网络的中间层中，使用IB损失优化信息瓶颈，获得第二训练好的教师网络；
构建学生网络，所述学生网络依次连接一个骨架网络、一个区域候选网络及一个单通道校准网络；
将一热图生成模块插入至学生网络骨架网络的中间层，用于生成热图；同时将训练集中的每一肺结节CT图像作为第二训练好的教师网络和学生网络的输入，通过优化第二损失函数对学生网络进行训练，获得训练好的学生网络即为肺结节检测模块；所述第二损失函数包含基于区域候选网络和单通道校准网络的分类损失和回归损失，以及基于第二训练好的教师网络和热图生成模块输出的热图的一致性损失。
进一步地，所述基于肺结节CT图像的强标注数据集和弱标注数据集的比例大于1：9。
进一步地，所述基于肺结节CT图像的强标注数据集中的标签为边界框标签，弱标注数据集的标签为点标签。
进一步地，所述第一损失函数具体为：
式中，N表示训练集的图像数量，Ns表示强标注数据集的图像数量，Nw表示弱标注图像数据集的图像数量；表示第i张肺结节CT图像基于区域候选网络和双通道校准网络的分类损失；/>和/>分别表示强标注数据集和弱标注图像数据集中第i张肺结节CT图像基于区域候选网络和双通道校准网络的回归损失；k、k’分别表示基于区域候选网络输出的第一点增强的CT图像和第二点增强的CT图像对应的候选边界框的编号，表示第i张肺结节CT图像基于区域候选网络输出的第一点增强的CT图像和第二点增强的CT图像对应的候选边界框的回归结果的一致性回归损失；/>表示第k个候选边界框基于双通道校准网络输出的第一特征及第二特征的分类结果的一致性分类损失，/>表示来自所有边界框对的损失的平均值。
进一步地，所述第k个候选边界框基于双通道校准网络输出的第一特征及翻转后得到的第二特征的分类结果的一致性分类损失采用JS散度计算。
进一步地，所述热图生成模块由一个1×1×1的卷积层和softmax层组成。
一种所述基于二阶段教师-学生框架的肺结节检测装置构建方法构建获得的肺结节检测装置。
进一步地，还包括数据获取模块，用于获取待检测患者的CT图像。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于二阶段教师-学生框架的肺结节检测装置构建方法。
一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现所述基于二阶段教师-学生框架的肺结节检测装置构建方法。
本发明的有益效果是：本发明针对现有的肺结节检测高度依赖强标注数据的问题，提出混合监督设置下的基于二阶段教师-学生框架的肺结节检测装置构建方法，所述基于二阶段教师-学生框架的肺结节检测装置至少包括肺结节检测模块，本发明方法首先在第一个阶段，预训练一个基于点的一致性校准的教师网络（PCC-Net），用来产生弱标注数据的伪标签。其次在第二个阶段，训练一个信息瓶颈指导的结节检测学生网络（IND-Net）。在教师网络的指导下，利用信息瓶颈生成与结节有关的可靠的热图。构建获得的肺结节检测装置只需要少量的强标注数据就能检测出各种类型的结节，有效地降低了标注成本，与完全监督方法相比，取得了具有竞争力的结果。
附图说明
图1为本发明提供的一种基于二阶段教师-学生框架的肺结节检测装置构建方法的流程图。
图2为本发明提供的一种二阶段教师-学生框架的网络结构图。
图3为本发明提供的一种基于二阶段教师-学生框架的肺结节检测装置结构图。
图4为本发明提供的一种电子设备结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。
在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1所示为本发明提供的一种基于二阶段教师-学生框架的肺结节检测装置构建方法的流程图，如图1所示，包括以下步骤：
步骤一：构建训练集，所述训练集包含基于肺结节CT图像的强标注数据集和弱标注数据集；其中，肺结节CT图像可以通过从医院收集预处理获取或从公开的网址上预处理获取，如公共数据集LUNA16（Setio, A.A.A., Traverso, A., De Bel, T., et al.:Validation, comparison, and combination of algorithms for automatic detectionof pulmonary nodules in computed tomography images: the LUNA16 challenge.Med. Image Anal. 42, 1–13 (2017)）等。基于肺结节CT图像的强标注数据集中的标签为包含完整肺结节大小和位置信息的边界框标签，包含边界框的中心点坐标及边界框宽度、高度及深度，弱标注数据集的标签仅包含少量的结节信息，可以为点标签、涂鸦标签等；点标签一般为边界框的中心点坐标。本实施例中，该步骤具体如下：
从公开的网址上获取公共数据集LUNA16，根据所提供的双肺掩模分割出双肺，将大小裁剪为128*128*128。根据所提供的结节掩模得到边界框，作为边界框标签。参照NoduleNet（Tang, H., Zhang, C., Xie, X.: Nodulenet: Decoupled false positivereduction for pulmonary nodule detection and segmentation. In: Shen, D., etal. (eds.) MICCAI 2019, LNCS, vol. 11769, pp. 266–274. Springer, Cham (2019).https://doi.org/10.1007/978-3-030-32226-7_30）的选择原则，得到一个包含583张CT图像，1131个结节的数据集。将整个数据集划分为训练集和测试集。在训练集中，随机选择10%的结节图像及对应边界框标注作为强标注数据，选择90%的结节图像及对应边界框中心点作为弱标注数据，分别构成强标注数据集和弱标注数据集。其中，测试集用于测试训练获得的肺结节检测装置的性能。
步骤二：构建教师网络，如图2所示，教师网络包含一个骨架网络，一个区域候选网络（RPN）（Mei, J., Cheng, M.M., Xu, G., et al.: SANet: A slice-aware networkfor pulmonary nodule detection. IEEE Trans. Pattern Anal. Mach. Intell. 44(8), 4374–4387 (2021)）和一个双通道校准网络（Chen, X., Li, H., Wu, Q., et al.:High-quality R-CNN object detection using multipath detection calibrationnetwork. IEEE Trans. Circuits Syst. Vedio Technol. 31(2), 715–727 (2020)）；其中，骨架网络是一个编码器-解码器结构，用于提取基本特征，可以采用各类常规的骨架网络，如NoduleNet（Tang, H., Zhang, C., Xie, X.: Nodulenet: Decoupled falsepositive reduction for pulmonary nodule detection and segmentation. In: Shen,D., et al. (eds.) MICCAI 2019, LNCS, vol. 11769, pp. 266–274. Springer, Cham(2019). https://doi.org/10.1007/978-3-030-32226-7_30）的特征提取骨架网络等；区域候选网络包含分类和回归任务，分别用于预测候选边界框的分类结果和回归结果；双通道校准网络（TCN）由两个校准网络（CN）构成，均包含分类和回归任务，分别用于基于区域候选网络预测的候选边界框对骨架网络中间层、底层特征裁剪得到的第一特征及翻转后得到的第二特征输出分类结果和回归结果；双通道校准网络主要用于校准分类结果。上述区域候选网络的结构可以采用SANet（Mei, J., Cheng, M.M., Xu, G., et al.: SANet: Aslice-aware network for pulmonary nodule detection. IEEE Trans. Pattern Anal.Mach. Intell. 44(8), 4374–4387 (2021)）的区域候选网络，包含一个3×3×3的卷积和两个平行的1×1×1的卷积。上述校准网络结构包含两个全连接层。
步骤三：利用强标注数据集和弱标注数据集，预训练教师-学生框架中的教师网络，获取一个鲁棒的第一训练好的教师网络；
对于所述训练集中的第i张CT图像Xi，在CT图像中每个结节的中心点拟合一个高斯分布，生成高斯热图，将其与原始的CT图像Xi在通道维度上连接，得到第一点增强的CT图像Ti。将第一点增强的CT图像Ti沿z轴翻转，得到第二点增强的CT图像Ti’。如图2所示，第一点增强的CT图像Ti和第二点增强的CT图像Ti’一起作为教师网络的输入，经骨架网络提取获得基本特征，再由所述区域候选网络预测分别获得K个候选边界框的回归结果及分类结果；其中对应第一点增强的CT图像Ti的第k个候选边界框和对应第二点增强的CT图像Ti的第k’个候选边界框Ti’的回归结果表示为和，其中/>分别表示候选边界框的中心点三维坐标和深度、高度以及宽度。
将所述区域候选网络预测的第k个候选边界框沿z轴翻转，得到翻转的候选边界框。用区域候选网络预测的候选边界框和其翻转的候选边界框分别对特征提取骨架网络中的中间层特征进行裁剪，得到新的第一、第二特征送入双通道校准网络中的其中一个通道，分别得到第一分类分数和/>。同样的操作应用于特征骨架网络的底层特征，得到新的第一、第二特征送入双通道校准网络中的另一个通道，分别得到第二分类分数/>和。
基于教师网络构建第一损失函数，并通过优化第一损失函数对教师网络进行训练，获得第一训练好的教师网络；
所述第一损失函数包括基于区域候选网络输出的第一点增强的CT图像和第二点增强的CT图像对应的候选边界框的回归结果的一致性回归损失、基于双通道校准网络输出的第一特征及翻转后得到的第二特征的分类结果的一致性分类损失、基于区域候选网络和双通道校准网络的分类损失和回归损失；具体表示如下：
式中，表示来自所有边界框对的损失的平均值。计算教师网络总的损失：
式中，N表示训练集的图像数量，Ns表示强标注数据集的图像数量，Nw表示弱标注图像数据集的图像数量；
表示第i张肺结节CT图像基于区域候选网络和双通道校准网络的分类损失；/>和/>分别表示强标注数据集和弱标注图像数据集中第i张肺结节CT图像基于在区域候选网络和双通道校准网络上的回归损失；k、k’分别表示基于区域候选网络输出的第一点增强的CT图像和第二点增强的CT图像对应的候选边界框的编号，/>表示第i张肺结节CT图像基于区域候选网络输出的第一点增强的CT图像和第二点增强的CT图像对应的候选边界框的回归结果的一致性回归损失，可以采用绝对误差、均方误差等，如下示出一种示例：
表示第k个候选边界框基于双通道校准网络输出的第一特征及第二特征的分类结果的一致性分类损失，如下示出一种示例：
式中，表示JS散度。
计算总的一致性损失：
表示来自所有边界框对的损失的平均值。
步骤四：利用强弱标注数据集及在教师网络中得到的伪标签，构建并训练教师-学生框架中的学生网络；
首先，构建学生网络，所述学生网络包含一个特征提取骨架网络，一个区域候选网络和一个单通道校准网络（OCN）。其结构除了单通道校准网络只包含一个校准网络，其余均与教师网络结构相同。
再利用信息瓶颈在训练好的教师网络中获取和结节有关的热图，用其监督学生网络热图的学习，将教师网络的知识迁移到学生网络中。具体地：
将信息瓶颈插入第一训练好的教师网络的骨架网络的中间层中，如图2所示，将训练集中的每一肺结节CT图像作为输入，使用以下IB损失优化信息瓶颈，IB损失表示如下：
式中，表示教师网络的分类损失和回归损失之和：
表示信息损失（Schulz, K., Sixt, L., Tombari, F., et al.:Restricting the flow: Information bottlenecks for attribution. arXiv preprintarXiv:2001.00396 (2020)）。/>是一个参数，参照IBA方法（Schulz, K., Sixt, L.,Tombari, F., et al.: Restricting the flow: Information bottlenecks forattribution. arXiv preprint arXiv:2001.00396 (2020)），设为10。完成信息瓶颈的训练后，获得第二训练好的教师网络，将图像输入至第二训练好的教师网络可以得到一个与结节相关的热图。
然后将一热图生成模块（IHG）（由一个1×1×1的卷积层和softmax层组成）插入至学生网络骨架网络的中间层，用于生成热图；同时将训练集中的每一肺结节CT图像作为第二训练好的教师网络和学生网络的输入，通过优化第二损失函数对学生网络进行训练，获得训练好的学生网络即为肺结节检测模块；第二损失函数包含基于区域候选网络和单通道校准网络的分类损失和回归损失，以及基于第二训练好的教师网络和热图生成模块输出的热图的一致性损失，表示如下：
式中，和/>分别表示第i张CT图像基于学生网络中区域候选网络和单通道校准网络的回归损失和分类损失。
表示基于第二训练好的教师网络和热图生成模块输出的热图的一致性损失，通过计算从教师网络中得到的一个与结节相关的热图ri与热图生成模块得到中间层特征的热图ti的距离损失使得ti与ri相似监督学生网络热图的学习，学习到的ti被用来激活中间层特征与结节有关的区域，如图2所示，将教师网络的知识迁移到学生网络中。从而在学生网络中，训练一个信息瓶颈指导的热图生成模块得到中间层特征的可靠的热图ti。公式表示如下：
式中，表示Frobenius范式。
与前述基于二阶段教师-学生框架的肺结节检测装置构建方法的实施例相对应，本发明还提供了基于二阶段教师-学生框架的肺结节检测装置的实施例。
参见图3，本发明实施例提供的一种基于二阶段教师-学生框架的肺结节检测装置，包括前述方法构建获得的肺结节检测模块和数据获取模块，数据获取模块主要用于获取待检测患者的CT图像，将待检测患者的CT图像预处理成符合肺结节检测模块输入的大小，再将处理后的CT图像输入至肺结节检测模块即可获得检测结果。
与前述基于二阶段教师-学生框架的肺结节检测装置构建方法的实施例相对应，本发明还提供了一种电子设备，如图4所示，包括一个或多个处理器，用于实现上述实施例中的所述基于二阶段教师-学生框架的肺结节检测装置构建方法。
本发明基于深度学习的肺裂自动检测装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。
装置实施例可以通过软件实现，也以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的从硬件层面而言，如图4 所示，为本发明电子设备所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的所述基于二阶段教师-学生框架的肺结节检测装置构建方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡( Smart Media Card,SMC ) 、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。

Claims (10)

1.一种基于二阶段教师-学生框架的肺结节检测装置构建方法，其特征在于，所述基于二阶段教师-学生框架的肺结节检测装置至少包括肺结节检测模块，所述肺结节检测模块通过如下方法构建获得：
构建训练集，所述训练集包含基于肺结节CT图像的强标注数据集和弱标注数据集；
构建教师网络，所述教师网络包含一个骨架网络、一个区域候选网络和一个双通道校准网络；其中，骨架网络用于提取输入图像的基本特征；区域候选网络包含分类和回归任务，分别用于预测候选边界框的分类结果和回归结果；双通道校准网络由两个校准网络构成，均包含分类和回归任务，分别用于基于区域候选网络预测的候选边界框及翻转后得到的翻转的候选边界框对骨架网络中间层、底层特征裁剪得到的第一特征及第二特征输出分类结果和回归结果；
将训练集中的每一肺结节CT图像中每个结节的中心点拟合一个高斯分布，生成高斯热图，并将高斯热图与原始的肺结节CT图像在通道维度上连接，得到第一点增强的CT图像；再将点增强的CT图像沿z轴翻转，得到第二点增强的CT图像；将第一点增强的CT图像和第二点增强的CT图像一起作为教师网络的输入，通过优化第一损失函数对教师网络进行训练，获得第一训练好的教师网络；所述第一损失函数包括基于区域候选网络输出的第一点增强的CT图像和第二点增强的CT图像对应的候选边界框的回归结果的一致性回归损失、基于双通道校准网络输出的第一特征及翻转后得到的第二特征的分类结果的一致性分类损失、基于区域候选网络和双通道校准网络的分类损失和回归损失；
将信息瓶颈插入至第一训练好的教师网络的骨架网络的中间层中，使用IB损失优化信息瓶颈，获得第二训练好的教师网络；
构建学生网络，所述学生网络依次连接一个骨架网络、一个区域候选网络及一个单通道校准网络；
将一热图生成模块插入至学生网络骨架网络的中间层，用于生成热图；同时将训练集中的每一肺结节CT图像作为第二训练好的教师网络和学生网络的输入，通过优化第二损失函数对学生网络进行训练，获得训练好的学生网络即为肺结节检测模块；所述第二损失函数包含基于区域候选网络和单通道校准网络的分类损失和回归损失，以及基于第二训练好的教师网络和热图生成模块输出的热图的一致性损失。
2.根据权利要求1所述的方法，其特征在于，所述基于肺结节CT图像的强标注数据集和弱标注数据集的比例大于1：9。
3.根据权利要求1所述的方法，其特征在于，所述基于肺结节CT图像的强标注数据集中的标签为边界框标签，弱标注数据集的标签为点标签。
4.根据权利要求1所述的方法，其特征在于，所述第一损失函数具体为：
；
；
式中，N表示训练集的图像数量，Ns表示强标注数据集的图像数量，Nw表示弱标注图像数据集的图像数量；表示第i张肺结节CT图像基于区域候选网络和双通道校准网络的分类损失；/>和/>分别表示强标注数据集和弱标注图像数据集中第i张肺结节CT图像基于区域候选网络和双通道校准网络的回归损失；k、k’分别表示基于区域候选网络输出的第一点增强的CT图像和第二点增强的CT图像对应的候选边界框的编号，/>表示第i张肺结节CT图像基于区域候选网络输出的第一点增强的CT图像和第二点增强的CT图像对应的候选边界框的回归结果的一致性回归损失；/>表示第k个候选边界框基于双通道校准网络输出的第一特征及第二特征的分类结果的一致性分类损失，/>表示来自所有边界框对的损失的平均值。
5.根据权利要求4所述的方法，其特征在于，所述第k个候选边界框基于双通道校准网络输出的第一特征及翻转后得到的第二特征的分类结果的一致性分类损失采用JS散度计算。
6.根据权利要求1所述的方法，其特征在于，所述热图生成模块由一个1×1×1的卷积层和softmax层组成。
7.一种权利要求1-6任一项所述基于二阶段教师-学生框架的肺结节检测装置构建方法构建获得的肺结节检测装置。
8.根据权利要求7所述的装置，其特征在于，还包括数据获取模块，用于获取待检测患者的CT图像。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述基于二阶段教师-学生框架的肺结节检测装置构建方法。
10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现如权利要求1-6任一项所述基于二阶段教师-学生框架的肺结节检测装置构建方法。
CN202311285221.3A 2023-10-07 2023-10-07 基于二阶段教师-学生框架的肺结节检测装置及构建方法 Active CN117011617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311285221.3A CN117011617B (zh) 2023-10-07 2023-10-07 基于二阶段教师-学生框架的肺结节检测装置及构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311285221.3A CN117011617B (zh) 2023-10-07 2023-10-07 基于二阶段教师-学生框架的肺结节检测装置及构建方法

Publications (2)

Publication Number Publication Date
CN117011617A CN117011617A (zh) 2023-11-07
CN117011617B true CN117011617B (zh) 2024-03-22

Family

ID=88573062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311285221.3A Active CN117011617B (zh) 2023-10-07 2023-10-07 基于二阶段教师-学生框架的肺结节检测装置及构建方法

Country Status (1)

Country Link
CN (1) CN117011617B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018223822A1 (zh) * 2017-06-07 2018-12-13 北京深鉴智能科技有限公司 基于剪枝和蒸馏的卷积神经网络压缩方法
CN113239924A (zh) * 2021-05-21 2021-08-10 上海交通大学 一种基于迁移学习的弱监督目标检测方法及系统
CN115018852A (zh) * 2022-08-10 2022-09-06 四川大学 一种基于半监督学习的腹部淋巴结检测方法及装置
CN115393687A (zh) * 2022-07-12 2022-11-25 西北工业大学 一种基于双伪标签优化学习的rgb图像半监督目标检测方法
WO2023116635A1 (zh) * 2021-12-24 2023-06-29 中国科学院深圳先进技术研究院 一种基于互学习的半监督医学图像分割方法及其系统
CN116563687A (zh) * 2023-06-07 2023-08-08 厦门大学 一种面向半监督指向性目标检测的教师-学生网络方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10592725B2 (en) * 2017-04-21 2020-03-17 General Electric Company Neural network systems
US20230281980A1 (en) * 2022-03-04 2023-09-07 Sony Group Corporation Teaching student network for end-to-end semi-supervised object detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018223822A1 (zh) * 2017-06-07 2018-12-13 北京深鉴智能科技有限公司 基于剪枝和蒸馏的卷积神经网络压缩方法
CN113239924A (zh) * 2021-05-21 2021-08-10 上海交通大学 一种基于迁移学习的弱监督目标检测方法及系统
WO2023116635A1 (zh) * 2021-12-24 2023-06-29 中国科学院深圳先进技术研究院 一种基于互学习的半监督医学图像分割方法及其系统
CN115393687A (zh) * 2022-07-12 2022-11-25 西北工业大学 一种基于双伪标签优化学习的rgb图像半监督目标检测方法
CN115018852A (zh) * 2022-08-10 2022-09-06 四川大学 一种基于半监督学习的腹部淋巴结检测方法及装置
CN116563687A (zh) * 2023-06-07 2023-08-08 厦门大学 一种面向半监督指向性目标检测的教师-学生网络方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Learning Student Network via Feature Embedding;Hanting Chen等;《arXiv》;全文 *
基于部分注释CT图像的自监督迁移学习肺结节分类;黄鸿等;光学学报(第18期);全文 *
多任务自主学习的肺癌诊断方法;张翔等;计算机工程(第02期);全文 *

Also Published As

Publication number Publication date
CN117011617A (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
US11842487B2 (en) Detection model training method and apparatus, computer device and storage medium
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
CN104424634B (zh) 对象跟踪方法和装置
CN110059697B (zh) 一种基于深度学习的肺结节自动分割方法
JP7347202B2 (ja) 分類モデルを訓練する装置と方法及び分類モデルを用いた分類装置
CN110349187A (zh) 基于tsk模糊分类器的目标跟踪方法、装置及存储介质
CN111091101A (zh) 基于一步法的高精度行人检测方法、系统、装置
CN112347977A (zh) 一种诱导性多能干细胞的自动检测方法、存储介质及装置
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN108364300A (zh) 蔬菜叶部病害图像分割方法、系统及计算机可读存储介质
Ma et al. Location-aware box reasoning for anchor-based single-shot object detection
Seibold et al. Self-guided multiple instance learning for weakly supervised thoracic diseaseclassification and localizationin chest radiographs
Zhang et al. An efficient spatial-temporal polyp detection framework for colonoscopy video
CN104463862B (zh) 肾脏ct序列图像快速分割方法
CN115861738A (zh) 一种类别语义信息引导的遥感目标检测主动采样方法
Aguilar et al. Bayesian deep learning for semantic segmentation of food images
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN117011617B (zh) 基于二阶段教师-学生框架的肺结节检测装置及构建方法
CN109461162B (zh) 图像中目标分割的方法
Xu et al. Innovative synthetic data augmentation for dam crack detection, segmentation, and quantification
CN116612386A (zh) 基于分级检测双任务模型的辣椒病虫害识别方法及系统
CN115880266A (zh) 一种基于深度学习的肠道息肉检测系统和方法
Wu et al. Salient object detection via a boundary-guided graph structure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant