CN112132815B - 肺结节检测模型训练方法、检测方法及装置 - Google Patents

肺结节检测模型训练方法、检测方法及装置 Download PDF

Info

Publication number
CN112132815B
CN112132815B CN202011025660.7A CN202011025660A CN112132815B CN 112132815 B CN112132815 B CN 112132815B CN 202011025660 A CN202011025660 A CN 202011025660A CN 112132815 B CN112132815 B CN 112132815B
Authority
CN
China
Prior art keywords
lung
nodule
detection model
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011025660.7A
Other languages
English (en)
Other versions
CN112132815A (zh
Inventor
张玉兵
王静雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN202011025660.7A priority Critical patent/CN112132815B/zh
Publication of CN112132815A publication Critical patent/CN112132815A/zh
Application granted granted Critical
Publication of CN112132815B publication Critical patent/CN112132815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种肺结节检测模型训练方法、检测方法及装置。基于半监督学习方法训练肺结节检测模型，减少了训练肺结节检测模型所需的标注数据的数量，进而降低了标注成本。此外，通过计算各结节特征之间的连接矩阵，基于连接矩阵构建图卷积神经网络，利用图卷积神经网络充分挖掘标注数据和未标注数据之间的共性特征，能够提高肺结节检测模型的检测精度。

Description

肺结节检测模型训练方法、检测方法及装置
技术领域
本发明实施例涉及机器学习技术领域，尤其涉及一种肺结节检测模型训练方法、检测方法及装置。
背景技术
受环境、吸烟以及遗传等因素的影响，肺癌是我国死亡率和发病率最高的恶性肿瘤。根据医学数据显示，早期肺癌5年生存率显著高于中晚期肺癌，早发现、早诊断和治疗是改善肺癌的重要途径。
判断肺部是否存在肺结节是判定癌症的一项有力指标，因此肺结节的早期筛查变得尤为重要。其中，胸部低剂量CT图像具有分层薄、视野清晰、干扰因素少等特点，因此，基于肺部CT图像检测肺结节是目前国际公认的有效手段。随着计算机人工智能的发展，深度学习越来越多的应用到CT图片的分析中，这可以减轻医生工作负担。
但现有的肺结节深度学习检测算法采用监督学习框架，训练样本需要预先进行人工标注。而深度学习模型参数量动辄上百万，为防止过拟合，需要大量的训练样本，即训练一个有效的深度学习检测模型，需要大量的人工标注样本。而一个薄层胸部CT序列包含200-500张图像，逐层查看标注耗时长，为保证标注质量，需要标注者是具有丰富经验的影像科医生，并采取多盲标注的策略，消除医生偏好并降低漏标。因此，肺部CT图像的肺结节标注极为困难、对标注者要求高，即标注成本很高。
发明内容
本发明提供一种肺结节检测模型训练方法、检测方法及装置，以降低标注成本，提高肺结节检测模型的检测精度。
第一方面，本发明实施例提供了一种肺结节检测模型训练方法，包括：
以标注数据为样本训练肺结节检测模型，所述标注数据包括多张带有标签的第一肺部CT图像样本，所述标签用于标示所述第一肺部CT图像样本是否存在肺结节；
将所述标注数据和未标注数据输入所述肺结节检测模型，得到各肺部CT图像样本的结节特征，所述未标注数据包括多张不带标签的第二肺部CT图像样本；
计算各所述结节特征之间的连接矩阵，所述连接矩阵用于表示各所述结节特征之间的连接关系；
基于所述连接矩阵构建图卷积神经网络；
以所述标注数据中各第一肺部CT图像样本的结节特征为样本训练图卷积神经网络；
将所述未标注数据的结节特征输入所述图卷积神经网络中进行处理，确定各所述第二肺部CT图像样本的伪标签；
以所述标注数据和带伪标签的未标注数据为样本，重新训练所述肺结节检测模型。
第二方面，本发明实施例还提供了一种肺结节检测方法，采用如本发明第一方面提供的肺结节检测模型训练方法训练得到的肺结节检测模型，包括：
获取待检测的肺部CT图像；
将所述肺部CT图像输入所述肺结节检测模型中进行处理，得到所述肺部CT图像存在肺结节的概率。
第三方面，本发明实施例还提供了一种肺结节检测模型训练装置，包括：
第一训练模块，用于以标注数据为样本训练肺结节检测模型，所述标注数据包括多张带有标签的第一肺部CT图像样本，所述标签用于标示所述第一肺部CT图像样本是否存在肺结节；
结节特征提取模块，用于将所述标注数据和未标注数据输入所述肺结节检测模型，得到各肺部CT图像样本的结节特征，所述未标注数据包括多张不带标签的第二肺部CT图像样本；
连接矩阵计算模块，用于计算各所述结节特征之间的连接矩阵，所述连接矩阵用于表示各所述结节特征之间的连接关系；
图卷积神经网络构建模块，用于基于所述连接矩阵构建图卷积神经网络；
第二训练模块，用于以所述标注数据中各第一肺部CT图像样本的结节特征为样本训练图卷积神经网络；
伪标签确定模块，用于将所述未标注数据的结节特征输入所述图卷积神经网络中进行处理，确定各所述第二肺部CT图像样本的伪标签；
第三训练模块，用于以所述标注数据和带伪标签的未标注数据为样本，重新训练所述肺结节检测模型。
第四方面，本发明实施例还提供了一种肺结节检测装置，采用如本发明第一方面提供的肺结节检测模型训练方法训练得到的肺结节检测模型，包括：
肺部CT图像获取模块，用于获取待检测的肺部CT图像；
概率确定模块，用于将所述肺部CT图像输入所述肺结节检测模型中进行处理，得到所述肺部CT图像存在肺结节的概率。
第五方面，本发明实施例还提供了一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面提供的肺结节检测模型训练方法，或实现如本发明第二方面提供的肺结节检测方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面提供的肺结节检测模型训练方法，或实现如本发明第二方面提供的肺结节检测方法。
本发明实施例提供的肺结节检测模型训练方法，基于半监督学习方法，首先以标注数据为样本训练肺结节检测模型，然后将标注数据和未标注数据输入肺结节检测模型，得到各肺部CT图像样本的结节特征，接着计算各结节特征之间的连接矩阵，连接矩阵用于表示各结节特征之间的连接关系，并基于连接矩阵构建图卷积神经网络，然后以标注数据中各第一肺部CT图像样本的结节特征为样本训练图卷积神经网络，接着将未标注数据的结节特征输入图卷积神经网络中进行处理，确定各第二肺部CT图像样本的伪标签，最后以标注数据和带伪标签的未标注数据为样本，重新训练肺结节检测模型，最终得到训练好的肺结节检测模型。如此，减少训练肺结节检测模型所需的标注数据的数量，进而降低了标注成本。此外，通过计算各结节特征之间的连接矩阵，基于连接矩阵构建图卷积神经网络，利用图卷积神经网络充分挖掘标注数据和未标注数据之间的共性特征，能够提高肺结节检测模型的检测精度。
附图说明
图1为本发明实施例一提供的一种肺结节检测模型训练方法的流程图；
图2A是本发明实施例二提供的一种肺结节检测模型训练方法的流程图；
图2B为本发明实施例二提供的一种肺结节检测模型训练过程中的网络结构示意图；
图2C为本发明实施例二提供的一种肺结节检测模型的结构示意图；
图3为本发明实施例三提供的一种肺结节检测方法的流程图；
图4为本发明实施例四提供的一种肺结节检测模型训练装置的结构示意图；
图5为本发明实施例五提供的一种肺结节检测装置的结构示意图；
图6为本发明实施例六提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种肺结节检测模型训练方法的流程图，本实施例可适用于深度学习过程中，肺部CT图像标注困难，且标注耗时长、对标注者要求高的情况，该方法可以由本发明实施例提供的肺结节检测模型训练装置来执行，该装置可以由软件和/或硬件的方式实现，通常配置于计算机设备中，如图1所示，该方法具体包括如下步骤：
S101、以标注数据为样本训练肺结节检测模型。
具体的，首先获取数据集，数据集包括已标注的标注数据和未标注的未标注数据。其中，标注数据包括多张带有标签的第一肺部CT图像样本，标签用于标示第一肺部CT图像样本是否存在肺结节。未标注数据包括多张不带标签的第二肺部CT图像样本。通常，标注数据中第一肺部CT图像样本的数量小于或等于未标注数据中第二肺部CT图像样本的数量。
CT(Computed Tomography)图像，即电子计算机断层扫描图像，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描。探测器接收透过该层面的X射线，转变为可见光后，由光电转换变为电信号，再经模拟/数字转换器(analog/digital converter)转为数字，输入计算机处理，得到CT图像。肺部CT图像即对胸腔肺部的断层扫描图像。肺部CT图像样本即为用于模型训练的肺部CT图像。
在本发明实施例中，肺部CT图像可以是二维CT图像或三维CT图像，本发明实施例在此不做限定。二维CT图像即普通CT图像就是CT平扫图像，只需对器官一次扫描即可。三维CT图像针对不同的区域则需要进行连续多次扫描，得到多张二维CT图像，然后针对多张二维CT图像进行重构，得到立体的三维CT图像。三维CT图像能够使得原来平面的图像变得立体起来，病变组织与临近正常组织间的密度差加大，能够更清楚地显示病变的组织的情况。因此，在本发明的一具体实施例中，肺部CT图像选用三维CT图像。
肺结节检测模型即为用于预测待检测的肺部CT图像存在肺结节的概率的检测模型，其内部的网络结构可以是基于Anchor-Free的CenterNet，也可以是基于Anchor-Based的Faster-RCNN或者RetinaNet，本发明实施例在此不做限定。
以标注数据为样本对预置的肺结节检测模型进行监督训练，得到经初步训练后的肺结节检测模型。具体的，将标注数据中的第一肺部CT图像输入预置的肺结节检测模型中进行处理，得到第一肺部CT图像中存在肺结节的概率，根据概率计算损失值，然后根据损失值更新肺结节检测模型中的网络参数，直至损失值小于预设值。
S102、将标注数据和未标注数据输入肺结节检测模型，得到各肺部CT图像样本的结节特征。
具体的，将标注数据中的第一肺部CT图像样本和未标注数据中的第二肺部CT图像样本分别输入经上述步骤S101训练后的肺结节检测模型，从各肺部CT图像样本中提取出用于表征疑似肺结节的结节特征。
S103、计算各结节特征之间的连接矩阵，连接矩阵用于表示各结节特征之间的连接关系。
具体的，在本发明实施例中，各结节特征之间的连接关系用相似度来表征，即本发明实施例中连接矩阵即各结节特征之间相似度矩阵。
在本发明实施例中，通过计算各结节特征之间的相似度得到连接矩阵。在本发明实施例中，可以通过计算各结节特征之间的欧氏距离、马氏距离、余弦相似度或余弦距离来表征各结节特征之间的相似度，本发明实施例在此不做限定。
S104、基于连接矩阵构建图卷积神经网络。
具体的，将连接矩阵作为图卷积神经网络(Graph Neural Networks，GNN)的图结构特征构建图卷积神经网络。具体的，图卷积神经网络的表达式为：G(Y，A)，其中A为连接矩阵，Y为待输入的结节特征。
需要说明的是，图卷积神经网络可以包括一个或一个以上的图卷积层，本发明实施例对图卷积神经网络的具体网络结构不做限定。
对于步骤S102中得到的疑似肺结节的结节特征，无论疑似肺结节为真结节(真阳)还是假结节(假阳)，在结构上都具有一定的相似性。本发明实施例通过计算各结节特征之间的连接矩阵，基于连接矩阵构建图卷积神经网络，利用图卷积神经网络充分挖掘标注数据和未标注数据之间的共性特征，能够提高肺结节检测模型的检测精度。
S105、以标注数据中各第一肺部CT图像样本的结节特征为样本训练图卷积神经网络。
具体的，以标注数据中各第一肺部CT图像样本的结节特征为样本对图卷积神经网络进行监督训练，得到经初步训练后的图卷积神经网络。具体的，将标注数据中的第一肺部CT图像的结节特征输入图卷积神经网络中进行处理，得到第一肺部CT图像中存在肺结节的概率，根据概率计算损失值，然后根据损失值更新图卷积神经网络中的参数，直至损失值小于预设值。
S106、将未标注数据的结节特征输入图卷积神经网络中进行处理，确定各第二肺部CT图像样本的伪标签。
具体的额，将上述步骤S102中得到的各第二肺部CT图像样本的结节特征分别输入经步骤S105训练后的图卷积神经网络中进行处理，得到第二肺部CT图像中存在肺结节的概率。将该概率值与预设的阈值进行比较，基于比较结果确定各第二肺部CT图像样本的伪标签。伪标签用于表示对第二肺部CT图像样本是否存在肺结节的预测。
本发明实施例中，使用图卷积神经网络对结节特征进行聚类学习，能更好的学习到结节的共性特征，通过图卷积神经网络学习过程中的特征扩散传播，能对无标签数据的结节特征进行隐式学习，达到半监督学习的目的。
S107、以标注数据和带伪标签的未标注数据为样本，重新训练肺结节检测模型。
具体的，用上述步骤S106中得到各第二肺部CT图像样本的伪标签对各第二肺部CT图像样本进行标注，即将各第二肺部CT图像样本打上伪标签，得到带伪标签未标注数据，然后将带标签的标注数据和带伪标签的未标注数据一起作为样本，重新训练肺结节检测模型。如此，只需要少量的标注数据即可完成肺结节检测模型的训练，减少了训练肺结节检测模型所需的标注数据的数量，进而降低了标注成本。
本发明实施例提供的肺结节检测模型训练方法，基于半监督学习方法，首先以标注数据为样本训练肺结节检测模型，然后将标注数据和未标注数据输入肺结节检测模型，得到各肺部CT图像样本的结节特征，接着计算各结节特征之间的连接矩阵，连接矩阵用于表示各结节特征之间的连接关系，并基于连接矩阵构建图卷积神经网络，然后以标注数据中各第一肺部CT图像样本的结节特征为样本训练图卷积神经网络，接着将未标注数据的结节特征输入图卷积神经网络中进行处理，确定各第二肺部CT图像样本的伪标签，最后以标注数据和带伪标签的未标注数据为样本，重新训练肺结节检测模型，最终得到训练好的肺结节检测模型。如此，减少了训练肺结节检测模型所需的标注数据的数量，进而降低了标注成本。此外，通过计算各结节特征之间的连接矩阵，基于连接矩阵构建图卷积神经网络，利用图卷积神经网络充分挖掘标注数据和未标注数据之间的共性特征，能够提高肺结节检测模型的检测精度。
实施例二
图2A是本发明实施例二提供的一种肺结节检测模型训练方法的流程图，本实施例在上述实施例一的基础上进行细化，详细描述了肺结节检测模型的网络结构及其处理过程，以及图卷积神经网络的结构及其处理过程，如图2A所示，该方法包括：
S201、以标注数据为样本训练肺结节检测模型。
具体的，首先获取数据集，数据集包括已标注的标注数据和未标注的未标注数据。其中，标注数据包括多张带有标签的第一肺部CT图像样本，标签用于标示第一肺部CT图像样本是否存在肺结节。未标注数据包括多张不带标签的第二肺部CT图像样本。
在本发明的一具体实施例中，肺部CT图像样本选用96×96×96尺寸大小的三维CT图像，即肺部CT图像在长、宽、高三个维度的的尺寸均为96像素。三维CT图像能够使得原来平面的图像变得立体起来，病变组织与临近正常组织间的密度差加大，能够更清楚地显示病变的组织的情况。
在本发明的一些实施例中，为了使输入的肺部CT图像样本满足尺寸要求，可以对获得的肺部CT图像样本进行预处理，例如，对肺部CT图像样本进行尺寸调整，得到满足要求的肺部CT图像样本。
图2B为本发明实施例二提供的一种肺结节检测模型训练过程中的网络结构示意图，图2C为本发明实施例二提供的一种肺结节检测模型的结构示意图，示例性的，如图2B和图2C所示，在该实施例中，由于输入的是三维肺部CT图像样本，因此，采用CenterNet-3D作为肺结节检测模型，CenterNet-3D为将CenterNet改写成3D形态而来。CenterNet用于2D图像中目标检测，通过将CenterNet的通道数和卷积核的维度改写为3维，得到CenterNet-3D，CenterNet-3D用于确定预测点为肺结节的中心点的概率，以及预测点的位置和大小。肺结节检测模型包括沙漏网络(Hourglass Network)、分类网络、回归网络和第一分类器，其中，分类网络又可以称之为分类头(C-head)，回归网络又可以称之为回归头(R-head)。其中，沙漏网络作为CenterNet-3D的主干架构(Backbone)，沙漏网络具有第一输出端和第二输出端，分别用于输出第一输出特征OUT1和第二输出特征OUT2。回归网络与沙漏网络的第一输出端连接，用于接收来自沙漏网络的第一输出端输出的第一输出特征OUT1，分类网络与沙漏网络的第二输出端连接，用于接收来自沙漏网络的第二输出端输出的第二输出特征OUT2。
沙漏网络通过两个连续的沙漏模块对输入进行了4倍的下采样，每个沙漏模块是个对称的5层下和上卷积网络，且带有短连接。
示例性的，上述步骤S201可以包括如下子步骤：
S2011、将带有标签的第一肺部CT图像样本输入沙漏网络中进行处理，得到第一输出特征和第二输出特征。
具体的，将带有标签的第一肺部CT图像样本输入沙漏网络，通过第一个沙漏模块的卷积处理，得到第一输出特征OUT1。将第一输出特征输入第二沙漏模块进行卷积得到第二输出特征OUT2。
S2012、将第一输出特征输入回归网络进行处理，得到第一预测点的目标属性。
具体的，将第一输出特征OUT1输入回归网络中进行回归预测，得到第一预测点的目标属性，目标属性包括第一预测点的大小和第一预测点的位置。第一预测点为肺结节检测模型对第一肺部CT图像样本进行预测得到的预测肺结节的中心点。
S2013、将第二输出特征输入分类网络进行处理，得到第一肺部CT图像样本的结节特征。
具体的，将第二输出特征OUT2输入分类网络进行处理，得到第一肺部CT图像样本的结节特征。
在本发明的具体实施例中，回归网络和分类网络可以具有相同的网络结构，例如，包括相同数量的卷积层和相同的卷积参数。在其他实施例中，回归网络和分类网络也可以具有不同的网络结构，本发明实施例在此不做限定。
S2014、将结节特征输入第一分类器，得到第一预测点为肺结节的中心点的第一概率。
具体的，将上述步骤中得到的结节特征输入预置的第一分类器中进行处理，具体的，第一分类器可以是sigmoid分类器，sigmoid分类器的分类函数是sigmoid函数。在机器学习尤其是深度学习中，sigmoid函数是个非常常用而且比较重要的函数，尤其在二分类的场景中使用广泛。在本发明实施例中，sigmoid函数把输入的结节特征映射为概率值为0-1之间的实数并输出，得到第一预测点为肺结节的中心点的第一概率。
S2015、基于第一概率计算分类损失值，以及基于目标属性计算回归损失值。
具体的，通过损失函数分别计算上述步骤中分类网络和第一分类器的分类损失，以及计算上述步骤中回归网络的回归损失。
示例性的，在本发明实施例中，通过焦点损失函数(Focal Loss)计算将第一预测点作为肺结节的中心点的焦点损失值作为分类损失值，具体的，分类损失值的计算公式如下所示：
其中，LC为分类损失，N为第一肺部CT图像样本的数量，M为预测输出的预测点的数量，pi为第一概率，α为焦点损失函数的超参数，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。分类损失采用Focal Loss，省略了制作高斯heatmap的过程步骤。
通过平均绝对误差函数计算第一预测点相对于肺结节的中心点的平均绝对误差作为回归损失值。具体的，回归损失值的计算公式如下所示：
其中，LR为回归损失，N为第一肺部CT图像样本的数量，λoffset和λsize分别表示偏移量和目标尺寸损失的权重系数。为第一预测点相对于肺结节中心点的位置偏差，为第一预测点相对于肺结节中心点的尺寸偏差。
S2016、根据第一损失值更新沙漏网络、分类网络、回归网络和第一分类器的参数，第一损失值为分类损失值和回归损失值之和。
具体的，第一损失L1为分类损失值和回归损失值之和，即：
L1＝LR+LC
将第一损失值与预设的第一阈值进行比较，在第一损失值大于第一阈值时，对肺结节检测模型中的沙漏网络、分类网络、回归网络和第一分类器的参数进行更新，并重新获取标注数据，以该标注数据为样本继续训练肺结节检测模型；在第一损失值小于或等于第一阈值时，确定肺结节检测模型训练完成。
S202、将标注数据和未标注数据输入肺结节检测模型，得到第二预测点为肺结节的中心点的第二概率。
具体的，将标注数据和未标注数据输入上述步骤S201中训练得到的肺结节检测模型中进行处理，得到第二预测点为肺结节的中心点的第二概率。其中，第二预测点为肺结节检测模型对标注数据和未标注数据中各肺部CT图像样本进行预测得到的预测肺结节的中心点。
具体的，肺结节检测模型对标注数据和未标注数据的处理过程如下：
将标注数据和未标注数据中的肺部CT图像样本输入沙漏网络中进行处理，得到各肺部CT图像样本的第二输出特征。将第二输出特征输入分类网络进行处理，得到各肺部CT图像样本的结节特征。将结节特征输入第一分类器，得到第二预测点为肺结节的中心点的第二概率。
S203、从标注数据和未标注数据中确定第二概率大于概率阈值的目标肺部CT图像样本。
具体的，将标注数据和未标注数据中各肺部CT图像样本对应的第二概率与预设的概率阈值t1进行比较，从中筛选出第二概率大于概率阈值t1的肺部CT图像样本作为目标肺部CT图像样本。
S204、将目标肺部CT图像样本的结节特征作为目标结节特征。
具体的，将目标肺部CT图像样本对应的结节特征作为目标结节特征。通过设置概率阈值t1，将所有第二概率大于概率阈值t1的结节特征作为目标结节特征，保证肺结节检测模型具有较高的召回率，控制假阳数量。
需要说明的是，在本发明其他实施例中，上述步骤S203和步骤S204也可以直接合并为一个步骤，即从所有结节特征中确定第二概率大于概率阈值t1的结节特征作为目标结节特征。
S205、计算每一目标结节特征与该目标结节特征的K近邻内的目标结节特征的距离。
具体的，上述步骤中得到的目标结节特征构成特征集合其中，N为目标结节特征的总数量，C为每个目标结节特征的特征维度。示例性的，在本发明实施例中，用于余弦距离来表征各目标结节特征之间的连接关系(相似度)。具体的，假定，目标结节特征yj和在目标结节特征yi的K近邻内，则目标结节特征yj与目标结节特征yi之间的余弦距离的计算公式为：
S206、基于距离确定连接矩阵。
具体的，连接矩阵的数学表达式如下式所示：
其中，j∈KNNi表示目标结节特征yj在目标结节特征yi的K近邻内，K值可以根据需要设定。所谓yi的K近邻即目标结节特征yi的K个邻近的目标结节特征。
连接矩阵A中，主对角线的元素为1，即yi＝yj时，相似度为1。若yi属于的yj的K近邻，或yj属于的yi的K近邻，则按照计算yi与yj的余弦距离作为相似度；若yi不属于的yj的K近邻，或yj不属于的yi的K近邻，则将yi与yj的相似度(即余弦距离)记为0。
此外，通过将每个肺部CT图像样本和其K近邻个肺部CT图像样本的目标结节特征结合在一起，利用图卷积神经网络充分学习并挖掘K近邻个肺部CT图像样本之间潜在相似关系，从而得到更准确的图卷积特征，提高肺结节检测的准确性。
S207、对连接矩阵进行正则化处理，得到正则化矩阵。
具体的，对连接矩阵A的正则化公式如下所示：
其中，为连接矩阵A正则化后得到的正则化矩阵，D为对角矩阵，对角矩阵D中主对角线的元素为Dii，Dii＝∑jAij。
S208、基于正则化矩阵构建图卷积神经网络。
示例性的，如图2B所示，图卷积神经网络包括第一图卷积层、第二图卷积层和第二分类器，正则化矩阵为第一图卷积层和第二图卷积层的参数矩阵。图卷积层的卷积操作的数学表达如下式所示：
其中，Fl表示通过第l层图卷积层处理后得到的图卷积特征，Wl-1为第l-1层图卷积层的图卷积参数，为连接矩阵A的正则化矩阵，σ为激活函数，/>表示两个特征沿d＝1维度进行连接，即在列方向上进行拼接。
示例性的，在本发明实施例中，选用ReLU函数作为激活函数。ReLU函数的表达式为：
f(x)＝max(0,x)
当输入为负数时，则完全不激活，ReLU函数死掉。ReLU函数输出要么是0，要么是正数。ReLU可以克服梯度消失的问题，加快训练速度。需要说明的是，在本发明的其他实施例中，图卷积层中的激活函数也可以是其他激活函数，例如，Sigmoid函数或Tanh函数，本发明实施例在此不做限定。
具体的，在本发明实施例中，第一图卷积层的卷积操作的数学表达如下式所示：
其中，F1表示通过第一图卷积层处理后得到的第一图卷积特征，W0为第一图卷积层的图卷积参数。yi为输入的结节特征。
第二图卷积层的卷积操作的数学表达如下式所示：
其中，F2表示通过第二图卷积层处理后得到的第二图卷积特征，W1为第一图卷积层的图卷积参数。
第二分类器可以是sigmoid分类器，sigmoid分类器的分类函数是sigmoid函数。第二分类器的数学表达式如下式所示：
H＝sigmoid(F2W1+b)
其中，H为第二分类器输出的概率，b为sigmoid函数的偏置。
S209、以标注数据中各第一肺部CT图像样本的结节特征为样本训练图卷积神经网络。
具体的，将标注数据中各第一肺部CT图像样本的结节特征为样本对上述步骤中构建的图卷积神经网络进行监督训练，得到经初步训练后的图卷积神经网络。具体的，步骤S209可以包括如下子步骤：
S2091、将第一肺部CT图像样本的结节特征输入第一图卷积层中进行处理，得到第一图卷积特征。
具体的，将标注数据中的第一肺部CT图像样本的结节特征输入第一图卷积层中进行处理，得到第一图卷积特征F1，具体的处理过程参照上述步骤S208中第一图卷积层的数学表达式，本发明实施例在此不再赘述。
S2092、将第一图卷积特征输入第二图卷积层中进行处理，得到第二图卷积特征。
具体的，将第一图卷积特征F1输入第二图卷积层中进行处理，得到第二图卷积特征F2，具体的处理过程参照上述步骤S208中第二图卷积层的数学表达式，本发明实施例在此不再赘述。
S2093、将第二图卷积特征输入第二分类器，得到各第一预测点为肺结节的中心点的概率分布。
具体的，将第二图卷积特征输入第二分类器，得到各第一预测点为肺结节的中心点的概率分布，第二分类器的处理过程参照上述步骤S208中第二分类器的数学表达式，本发明实施例在此不再赘述。所谓概率分布，即多个第一预测点为肺结节的中心点的概率的分布情况。
S2094、通过损失函数计算概率分布与标注数据中各第一肺部CT图像样本的标签的真实值分布之间的第二损失值。
具体的，通过损失函数计算概率分布与标注数据中各第一肺部CT图像样本的标签的真实值分布之间的第二损失值。示例性的，在本发明一具体实施例中，计算概率分布与真实值分布之间的交叉熵损失作为第二损失值。具体的，概率分布与真实值分布之间的交叉熵损失的计算公式如下：
其中，L2为第二损失值，M为预测输出的第一预测点的数量，α为类别权重系数，Hi为第i个第一预测点为肺结节的中心点的概率，l为类别标签，且l∈{0,1}，本发明实施例中，标签训练样本属于肺结节和非肺结节两个类别，“1”表示存在肺结节，“0”表示不存在(即非肺结节)。
需要说明的是，上述实施例中，以计算概率分布与真实值分布之间的交叉熵损失作为第二损失值为例对本发明进行示例性说明，在本发明其他实施例中，也可以计算概率分布与真实值分布之间的平方损失、绝对值损失和对数损失等，本发明实施例在此不做限定。
S2095、基于第二损失值更新图卷积神经网络的参数。
具体的，具体的，将第二损失值与预设的第二阈值进行比较，在第二损失值大于第二阈值时，对图卷积神经网络的参数进行更新，并重新获取标注数据的结节特征，以该结节特征为样本继续训练图卷积神经网络；在第二损失值小于或等于第二阈值时，确定图卷积神经网络训练完成。
S210、将未标注数据的结节特征输入图卷积神经网络中进行处理，确定各第二肺部CT图像样本的伪标签。
具体的，将上述步骤中得到的未标注数据的结节特征输入图卷积神经网络中进行处理，得到第三预测点为肺结节的中心点的第三概率。其中，第三预测点为肺结节检测模型对未标注数据中各第二肺部CT图像样本进行预测得到的预测肺结节的中心点。具体的，图卷积神经网络对结节特征的处理过程在前述步骤S208和步骤S209中已有详细记载，本发明实施例在此不再赘述。
进一步的，在本发明实施例中，基于第三概率为第二肺部CT图像样本打标签。具体的，将第三概率与预设的概率阈值t2进行比较，当第三概率大于或等于概率阈值t2时，确定该第二肺部CT图像样本的伪标签为阳性(存在肺结节)，当第三概率小于概率阈值t2时，确定该第二肺部CT图像样本的伪标签为阴性(不存在肺结节)。
S211、以标注数据和带伪标签的未标注数据为样本，重新训练肺结节检测模型。
具体的，将上述打上伪标签的未标注数据和原本带有标签的标注数据一起作为训练样本，重新训练肺结节检测模型。
示例性的，在本发明其中一实施例中，步骤S211可以包括如下子步骤：
S2111、将标注数据输入肺结节检测模型，得到第四预测点的目标属性和第四预测点为肺结节的中心点的第四概率。
具体的，将标注数据中的第一肺部CT图像样本输入沙漏网络中进行处理，得到各第一肺部CT图像样本的第一输出特征和第二输出特征。将第一输出特征输入回归网络进行处理，得到第四预测点的目标属性。将第二输出特征输入分类网络进行处理，得到各第一肺部CT图像样本的结节特征。将结节特征输入第一分类器，得到第四预测点为肺结节的中心点的第四概率。其中，第四预测点为肺结节检测模型对标注数据中各第一肺部CT图像样本进行预测得到的预测肺结节的中心点。
S2112、将带伪标签的未标注数据输入肺结节检测模型，得到第五预测点的目标属性和第五预测点为肺结节的中心点的第五概率。
具体的，将带伪标签的未标注数据中的第二肺部CT图像样本输入沙漏网络中进行处理，得到各第二肺部CT图像样本的第一输出特征和第二输出特征。将第一输出特征输入回归网络进行处理，得到第五预测点的目标属性。将第二输出特征输入分类网络进行处理，得到各第二肺部CT图像样本的结节特征。将结节特征输入第一分类器，得到第五预测点为肺结节的中心点的第五概率。其中，第五预测点为肺结节检测模型对带伪标签的未标注数据中各第二肺部CT图像样本进行预测得到的预测肺结节的中心点。
S2113、根据第四预测点的目标属性和第四概率计算标注数据的第三损失值。
具体的，通过焦点损失函数计算将第四预测点作为肺结节的中心点的焦点损失值作为分类损失值，通过平均绝对误差函数计算第四预测点相对于肺结节的中心点的平均绝对误差作为回归损失值。将分类损失值与回归损失值之和作为第三损失值。具体的，分类损失和回归损失的计算过程在前述步骤S2015中已有详细记载，本发明实施例在此不再赘述。
S2114、根据第五预测点的目标属性和第五概率计算未标注数据的第四损失值。
具体的，通过焦点损失函数计算将第五预测点作为肺结节的中心点的焦点损失值作为分类损失值，通过平均绝对误差函数计算第五预测点相对于肺结节的中心点的平均绝对误差作为回归损失值。将分类损失值与回归损失值之和作为第四损失值。具体的，分类损失和回归损失的计算过程在前述步骤S2015中已有详细记载，本发明实施例在此不再赘述。
S2115、为第四损失值配置权重系数，得到第五损失值。
具体的，为体现真实标签和伪标签不同的重要性，提高真实标签的权重，为第四损失值配置权重系数，
S2116、基于第三损失值和第五损失值之和更新肺结节检测模型的参数。
具体的，计算第三损失值和第五损失值之和，得到最终的损失值，具体的，最终的损失值的计算公式如下：
L＝LL+ωLU
其中，LL为有标签的标注数据的损失值(即第三损失值)，LU为带伪标签的未标注数据的损失值(即第四损失值)，ω为第四损失值的权重系数，w∈(0,1]。
具体的，将最终的损失值与预设的第三阈值进行比较，在最终的损失值大于第三阈值时，对肺结节检测模型中的沙漏网络、分类网络、回归网络和第一分类器的参数进行更新，并重新获取数据集，以该数据集为样本继续训练肺结节检测模型；在最终的损失值小于或等于第三阈值时，确定肺结节检测模型训练完成。
本发明实施例提供的肺结节检测模型训练方法，基于半监督学习方法，减少了训练肺结节检测模型所需的标注数据的数量，进而降低了标注成本。对2D目标的检测算法进行改写，将CenterNet应用到医学影像3D目标检测领域，能有效检测3D小目标物体，分类损失函数直接使用原始焦点损失函数，省略了制作分类高斯heatmap过程步骤。此外，通过计算各结节特征之间的连接矩阵，基于连接矩阵构建图卷积神经网络，利用图卷积神经网络充分学习并挖掘K近邻个肺部CT图像样本之间潜在相似关系，能够提高肺结节检测模型的检测精度。
实施例三
图3为本发明实施例三提供的一种肺结节检测方法的流程图，该方法采用如上述任意实施例所提供的肺结节检测模型训练方法训练得到的肺结节检测模型进行预测，该方法可以由本发明实施例提供的肺结节检测装置来执行，该装置可以由软件和/或硬件的方式实现，通常配置于计算机设备中，如图3所示，该方法具体包括如下步骤：
S301、获取待检测的肺部CT图像。
具体的，在本发明实施例中，肺部CT图像可以是二维CT图像或三维CT图像，示例性的，在一具体实施例中，肺部CT图像选用三维CT图像。
S302、将肺部CT图像输入肺结节检测模型中进行处理，得到肺部CT图像存在肺结节的概率。
具体的，如将待检测的肺部CT图像输入前述实施例训练好的肺结节检测模型中进行处理，得到该待检测的肺部CT图像存在肺结节的概率。肺结节检测模型的网络结构可以是基于Anchor-Free的CenterNet，也可以是基于Anchor-Based的Faster-RCNN或者RetinaNet，本发明实施例在此不做限定。
示例性的，在本发明一具体实施例中，如图2B所示，采用CenterNet-3D作为肺结节检测模型，CenterNet-3D用于确定预测点为肺结节的中心点的概率，以及预测点的位置和大小。肺结节检测模型包括沙漏网络(Hourglass Network)、分类网络、回归网络和第一分类器，其中，分类网络又可以称之为分类头(C-head)，回归网络又可以称之为回归头(R-head)。其中，沙漏网络作为CenterNet-3D的主干架构(Backbone)，沙漏网络具有第一输出端和第二输出端，分别用于输出第一输出特征OUT1和第二输出特征OUT2。回归网络与沙漏网络的第一输出端连接，用于接收来自沙漏网络的第一输出端输出的第一输出特征OUT1，分类网络与沙漏网络的第二输出端连接，用于接收来自沙漏网络的第二输出端输出的第二输出特征OUT2。
沙漏网络通过两个连续的沙漏模块对输入进行了4倍的下采样，每个沙漏模块是个对称的5层下和上卷积网络，且带有短连接。
肺结节检测模型对待检测的肺部CT图像的处理过程如下所示：
将肺部CT图像输入沙漏网络中进行处理，得到第二输出特征，将第二输出特征输入分类网络进行处理，得到肺部CT图像的结节特征。将结节特征输入第一分类器，得到预测点为肺结节的中心点的概率。通过设置适当的概率阈值t3，当第一分类器输出的概率值大于阈值t3时，则认为该肺部CT图像存在肺结节。
本发明实施例提供的肺结节检测方法，采用如上述任意实施例所提供的肺结节检测模型训练方法训练得到的肺结节检测模型进行预测，包括：获取待检测的肺部CT图像，将肺部CT图像输入肺结节检测模型中进行处理，得到肺部CT图像存在肺结节的概率。在肺结节检测模型的训练过程中，通过计算各结节特征之间的连接矩阵，基于连接矩阵构建图卷积神经网络，利用图卷积神经网络充分挖掘标注数据和未标注数据之间的共性特征，能够提高检测精度。
实施例四
图4为本发明实施例四提供的一种肺结节检测模型训练装置的结构示意图，如图4所示，该肺结节检测模型训练装置包括：
第一训练模块401，用于以标注数据为样本训练肺结节检测模型，所述标注数据包括多张带有标签的第一肺部CT图像样本，所述标签用于标示所述第一肺部CT图像样本是否存在肺结节；
结节特征提取模块402，用于将所述标注数据和未标注数据输入所述肺结节检测模型，得到各肺部CT图像样本的结节特征，所述未标注数据包括多张不带标签的第二肺部CT图像样本；
连接矩阵计算模块403，用于计算各所述结节特征之间的连接矩阵，所述连接矩阵用于表示各所述结节特征之间的连接关系；
图卷积神经网络构建模块404，用于基于所述连接矩阵构建图卷积神经网络；
第二训练模块405，用于以所述标注数据中各第一肺部CT图像样本的结节特征为样本训练图卷积神经网络；
伪标签确定模块406，用于将所述未标注数据的结节特征输入所述图卷积神经网络中进行处理，确定各所述第二肺部CT图像样本的伪标签；
第三训练模块407，用于以所述标注数据和带伪标签的未标注数据为样本，重新训练所述肺结节检测模型。
在本发明的一些实施例中，所述肺结节检测模型包括沙漏网络、分类网络、回归网络和第一分类器，所述沙漏网络具有第一输出端和第二输出端，分别用于输出第一输出特征和第二输出特征，所述第一训练模块401包括：
输出特征提取子模块，用于将所述带有标签的第一肺部CT图像样本输入所述沙漏网络中进行处理，得到第一输出特征和第二输出特征；
目标属性提取子模块，用于将所述第一输出特征输入所述回归网络进行处理，得到第一预测点的目标属性；
结节特征提取子模块，用于将所述第二输出特征输入所述分类网络进行处理，得到所述第一肺部CT图像样本的结节特征；
第一概率确定子模块，用于将所述结节特征输入所述第一分类器，得到所述第一预测点为肺结节的中心点的第一概率；
损失值计算子模块，用于基于所述第一概率计算分类损失值，以及基于所述目标属性计算回归损失值；
第一参数更新子模块，用于根据第一损失值更新所述沙漏网络、分类网络、回归网络和第一分类器的参数，所述第一损失值为所述分类损失值和所述回归损失值之和。
在本发明的一些实施例中，所述损失值计算子模块包括：
分类损失值计算单元，用于通过焦点损失函数计算将所述第一预测点作为肺结节的中心点的焦点损失值作为分类损失值；
回归损失值计算单元，用于通过平均绝对误差函数计算所述第一预测点相对于所述肺结节的中心点的平均绝对误差作为回归损失值。
在本发明的一些实施例中，结节特征提取模块402包括：
第二概率确定子模块，用于将所述标注数据和未标注数据输入所述肺结节检测模型，得到第二预测点为肺结节的中心点的第二概率；
目标样本确定子模块，用于从所述标注数据和未标注数据中确定所述第二概率大于概率阈值的目标肺部CT图像样本；
目标结节特征确定子模块，用于将所述目标肺部CT图像样本的结节特征作为目标结节特征。
在本发明的一些实施例中，所述连接矩阵计算模块403包括：
距离计算子模块，用于计算每一所述目标结节特征与该目标结节特征的K近邻内的目标结节特征的距离；
连接矩阵确定子模块，用于基于所述距离确定连接矩阵。
在本发明的一些实施例中，所述图卷积神经网络构建模块404包括：
正则化处理子模块，用于对所述连接矩阵进行正则化处理，得到正则化矩阵；
图卷积神经网络构建子模块，用于基于所述正则化矩阵构建图卷积神经网络，所述图卷积神经网络包括第一图卷积层、第二图卷积层和第二分类器，所述正则化矩阵为所述第一图卷积层和所述第二图卷积层的参数矩阵。
在本发明的一些实施例中，所述第二训练模块405包括：
第一图卷积特征提取子模块，用于将所述第一肺部CT图像样本的结节特征输入所述第一图卷积层中进行处理，得到第一图卷积特征；
第二图卷积特征提取子模块，用于将所述第一图卷积特征输入所述第二图卷积层中进行处理，得到第二图卷积特征；
概率分布确定子模块，用于将所述第二图卷积特征输入所述第二分类器，得到各第一预测点为肺结节的中心点的概率分布；
第二损失值计算子模块，用于通过损失函数计算所述概率分布与所述标注数据中各第一肺部CT图像样本的标签的真实值分布之间的第二损失值；
第二参数更新子模块，用于基于所述第二损失值更新所述图卷积神经网络的参数。
在本发明的一些实施例中，所述第二损失值计算子模块包括：
交叉熵损失计算单元，用于计算所述概率分布与所述真实值分布之间的交叉熵损失作为第二损失值。
在本发明的一些实施例中，所述伪标签确定模块406包括：
第三概率确定子模块，用于将所述未标注数据的结节特征输入所述图卷积神经网络中进行处理，得到第三预测点为肺结节的中心点的第三概率；
伪标签确定子模块，用于基于所述第三概率确定所述未标注数据中各第二肺部CT图像样本的伪标签。
在本发明的一些实施例中，所述第三训练模块407包括：
第一获取子模块，用于将所述标注数据输入所述肺结节检测模型，得到第四预测点的目标属性和第四预测点为肺结节的中心点的第四概率；
第二获取子模块，用于将带伪标签的未标注数据输入所述肺结节检测模型，得到第五预测点的目标属性和第五预测点为肺结节的中心点的第五概率；
第三损失值计算子模块，用于根据所述第四预测点的目标属性和第四概率计算标注数据的第三损失值；
第四损失值计算子模块，用于根据所述第五预测点的目标属性和第五概率计算未标注数据的第四损失值；
权重配置子模块，用于为所述第四损失值配置权重系数，得到第五损失值；
第三参数更新子模块，用于基于所述第三损失值和所述第五损失值之和更新所述肺结节检测模型的参数。
上述肺结节检测模型训练装置可执行本发明任意实施例所提供的肺结节检测模型训练方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种肺结节检测装置的结构示意图，如图5所示，该肺结节检测装置包括：
肺部CT图像获取模块501，用于获取待检测的肺部CT图像；
概率确定模块502，用于将所述肺部CT图像输入所述肺结节检测模型中进行处理，得到所述肺部CT图像存在肺结节的概率。
其中，肺结节检测模型由上述任意实施例提供的肺结节检测模型训练方法训练得到的。
上述肺结节检测装置可执行本发明任意实施例所提供的肺结节检测方法，具备执行方法相应的功能模块和有益效果。
实施例六
本发明实施例六提供了一种计算机设备，图6为本发明实施例六提供的一种计算机设备的结构示意图，如图6所示，该计算机设备包括处理器601、存储器602、通信模块603、输入装置604和输出装置605；计算机设备中处理器601的数量可以是一个或多个，图6中以一个处理器601为例；计算机设备中的处理器601、存储器602、通信模块603、输入装置604和输出装置605可以通过总线或其他方式连接，图6中以通过总线连接为例。上述处理器601、存储器602、通信模块603、输入装置604和输出装置605可以集成在计算机设备的控制主板上。
存储器602作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的肺结节检测方法或肺结节检测模型训练方法对应的模块。处理器601通过运行存储在存储器602中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述实施例提供的肺结节检测方法或肺结节检测模型训练方法。
存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器602可进一步包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块603，用于与外界设备(例如智能终端)建立连接，并实现与外界设备的数据交互。输入装置604可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。
本实施例提供的一种计算机设备，可执行本发明上述任意实施例提供的肺结节检测方法或肺结节检测模型训练方法，具体相应的功能和有益效果。
实施例七
本发明实施例七提供了一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明上述任意实施例提供的肺结节检测模型训练方法或肺结节检测方法。
肺结节检测模型训练方法包括：
以标注数据为样本训练肺结节检测模型，所述标注数据包括多张带有标签的第一肺部CT图像样本，所述标签用于标示所述第一肺部CT图像样本是否存在肺结节；
将所述标注数据和未标注数据输入所述肺结节检测模型，得到各肺部CT图像样本的结节特征，所述未标注数据包括多张不带标签的第二肺部CT图像样本；
计算各所述结节特征之间的连接矩阵，所述连接矩阵用于表示各所述结节特征之间的连接关系；
基于所述连接矩阵构建图卷积神经网络；
以所述标注数据中各第一肺部CT图像样本的结节特征为样本训练图卷积神经网络；
将所述未标注数据的结节特征输入所述图卷积神经网络中进行处理，确定各所述第二肺部CT图像样本的伪标签；
以所述标注数据和带伪标签的未标注数据为样本，重新训练所述肺结节检测模型。
肺结节检测方法包括：
获取待检测的肺部CT图像；
将所述肺部CT图像输入所述肺部CT图像中进行处理，得到所述肺部CT图像存在肺结节的概率。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明实施例所提供的肺结节检测方法或肺结节检测模型训练方法中的相关操作。
需要说明的是，对于装置、设备和存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的肺结节检测方法或肺结节检测模型训练方法。
值得注意的是，上述装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
应当理解的是，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种肺结节检测模型训练方法，其特征在于，包括：
以标注数据为样本训练肺结节检测模型，所述标注数据包括多张带有标签的第一肺部CT图像样本，所述标签用于标示所述第一肺部CT图像样本是否存在肺结节；
将所述标注数据和未标注数据输入所述肺结节检测模型，得到各肺部CT图像样本的结节特征，所述未标注数据包括多张不带标签的第二肺部CT图像样本；
计算各所述结节特征之间的连接矩阵，所述连接矩阵用于表示各所述结节特征之间的连接关系；
基于所述连接矩阵构建图卷积神经网络；
以所述标注数据中各第一肺部CT图像样本的结节特征为样本训练所述图卷积神经网络；
将所述未标注数据的结节特征输入所述图卷积神经网络中进行处理，确定各所述第二肺部CT图像样本的伪标签；
以所述标注数据和带伪标签的未标注数据为样本，重新训练所述肺结节检测模型。
2.根据权利要求1所述的肺结节检测模型训练方法，其特征在于，所述肺结节检测模型包括沙漏网络、分类网络、回归网络和第一分类器，所述沙漏网络具有第一输出端和第二输出端，分别用于输出第一输出特征和第二输出特征，所述以标注数据为样本训练肺结节检测模型，包括：
将所述带有标签的第一肺部CT图像样本输入所述沙漏网络中进行处理，得到第一输出特征和第二输出特征；
将所述第一输出特征输入所述回归网络进行处理，得到第一预测点的目标属性；
将所述第二输出特征输入所述分类网络进行处理，得到所述第一肺部CT图像样本的结节特征；
将所述结节特征输入所述第一分类器，得到所述第一预测点为肺结节的中心点的第一概率；
基于所述第一概率计算分类损失值，以及基于所述目标属性计算回归损失值；
根据第一损失值更新所述沙漏网络、分类网络、回归网络和第一分类器的参数，所述第一损失值为所述分类损失值和所述回归损失值之和。
3.根据权利要求2所述的肺结节检测模型训练方法，其特征在于，所述基于所述第一概率计算分类损失值，以及基于所述目标属性计算回归损失值，包括：
通过焦点损失函数计算将所述第一预测点作为肺结节的中心点的焦点损失值作为分类损失值；
通过平均绝对误差函数计算所述第一预测点相对于所述肺结节的中心点的平均绝对误差作为回归损失值。
4.根据权利要求1-3任一所述的肺结节检测模型训练方法，其特征在于，将所述标注数据和未标注数据输入所述肺结节检测模型，得到各肺部CT图像样本的结节特征，包括：
将所述标注数据和未标注数据输入所述肺结节检测模型，得到第二预测点为肺结节的中心点的第二概率；
从所述标注数据和未标注数据中确定所述第二概率大于概率阈值的目标肺部CT图像样本；
将所述目标肺部CT图像样本的结节特征作为目标结节特征。
5.根据权利要求4所述的肺结节检测模型训练方法，其特征在于，所述计算各所述结节特征之间的连接矩阵，包括：
计算每一所述目标结节特征与该目标结节特征的K近邻内的目标结节特征的距离；
基于所述距离确定连接矩阵。
6.根据权利要求1-3任一所述的肺结节检测模型训练方法，其特征在于，基于所述连接矩阵构建图卷积神经网络，包括：
对所述连接矩阵进行正则化处理，得到正则化矩阵；
基于所述正则化矩阵构建图卷积神经网络，所述图卷积神经网络包括第一图卷积层、第二图卷积层和第二分类器，所述正则化矩阵为所述第一图卷积层和所述第二图卷积层的参数矩阵。
7.根据权利要求6所述的肺结节检测模型训练方法，其特征在于，所述以所述标注数据中各第一肺部CT图像样本的结节特征为样本训练图卷积神经网络，包括：
将所述第一肺部CT图像样本的结节特征输入所述第一图卷积层中进行处理，得到第一图卷积特征；
将所述第一图卷积特征输入所述第二图卷积层中进行处理，得到第二图卷积特征；
将所述第二图卷积特征输入所述第二分类器，得到各第一预测点为肺结节的中心点的概率分布；
通过损失函数计算所述概率分布与所述标注数据中各第一肺部CT图像样本的标签的真实值分布之间的第二损失值；
基于所述第二损失值更新所述图卷积神经网络的参数。
8.根据权利要求7所述的肺结节检测模型训练方法，其特征在于，所述通过损失函数计算所述概率分布与所述标注数据中各第一肺部CT图像样本的标签的真实值分布之间的第二损失值，包括：
计算所述概率分布与所述真实值分布之间的交叉熵损失作为第二损失值。
9.根据权利要求1-3任一所述的肺结节检测模型训练方法，其特征在于，将所述未标注数据的结节特征输入所述图卷积神经网络中进行处理，确定各所述第二肺部CT图像样本的伪标签，包括：
将所述未标注数据的结节特征输入所述图卷积神经网络中进行处理，得到第三预测点为肺结节的中心点的第三概率；
基于所述第三概率确定所述未标注数据中各第二肺部CT图像样本的伪标签。
10.根据权利要求1-3任一所述的肺结节检测模型训练方法，其特征在于，所述以所述标注数据和带伪标签的未标注数据为样本，重新训练所述肺结节检测模型，包括：
将所述标注数据输入所述肺结节检测模型，得到第四预测点的目标属性和第四预测点为肺结节的中心点的第四概率；
将带伪标签的未标注数据输入所述肺结节检测模型，得到第五预测点的目标属性和第五预测点为肺结节的中心点的第五概率；
根据所述第四预测点的目标属性和第四概率计算标注数据的第三损失值；
根据所述第五预测点的目标属性和第五概率计算未标注数据的第四损失值；
为所述第四损失值配置权重系数，得到第五损失值；
基于所述第三损失值和所述第五损失值之和更新所述肺结节检测模型的参数。
11.一种肺结节检测方法，其特征在于，采用如权利要求1-10任一所述的肺结节检测模型训练方法训练得到的肺结节检测模型，包括：
获取待检测的肺部CT图像；
将所述肺部CT图像输入所述肺结节检测模型中进行处理，得到所述肺部CT图像存在肺结节的概率。
12.一种肺结节检测模型训练装置，其特征在于，包括：
第一训练模块，用于以标注数据为样本训练肺结节检测模型，所述标注数据包括多张带有标签的第一肺部CT图像样本，所述标签用于标示所述第一肺部CT图像样本是否存在肺结节；
结节特征提取模块，用于将所述标注数据和未标注数据输入所述肺结节检测模型，得到各肺部CT图像样本的结节特征，所述未标注数据包括多张不带标签的第二肺部CT图像样本；
连接矩阵计算模块，用于计算各所述结节特征之间的连接矩阵，所述连接矩阵用于表示各所述结节特征之间的连接关系；
图卷积神经网络构建模块，用于基于所述连接矩阵构建图卷积神经网络；
第二训练模块，用于以所述标注数据中各第一肺部CT图像样本的结节特征为样本训练图卷积神经网络；
伪标签确定模块，用于将所述未标注数据的结节特征输入所述图卷积神经网络中进行处理，确定各所述第二肺部CT图像样本的伪标签；
第三训练模块，用于以所述标注数据和带伪标签的未标注数据为样本，重新训练所述肺结节检测模型。
13.一种肺结节检测装置，其特征在于，采用如权利要求1-10任一所述的肺结节检测模型训练方法训练得到的肺结节检测模型，包括：
肺部CT图像获取模块，用于获取待检测的肺部CT图像；
概率确定模块，用于将所述肺部CT图像输入所述肺结节检测模型中进行处理，得到所述肺部CT图像存在肺结节的概率。
CN202011025660.7A 2020-09-25 2020-09-25 肺结节检测模型训练方法、检测方法及装置 Active CN112132815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011025660.7A CN112132815B (zh) 2020-09-25 2020-09-25 肺结节检测模型训练方法、检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011025660.7A CN112132815B (zh) 2020-09-25 2020-09-25 肺结节检测模型训练方法、检测方法及装置

Publications (2)

Publication Number Publication Date
CN112132815A CN112132815A (zh) 2020-12-25
CN112132815B true CN112132815B (zh) 2023-11-17

Family

ID=73840768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011025660.7A Active CN112132815B (zh) 2020-09-25 2020-09-25 肺结节检测模型训练方法、检测方法及装置

Country Status (1)

Country Link
CN (1) CN112132815B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733708A (zh) * 2021-01-08 2021-04-30 山东交通学院 一种基于半监督学习的肝门静脉检测定位方法与系统
CN114240947B (zh) * 2022-02-28 2022-06-14 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 声扫图像数据库的构建方法、装置、计算机设备
CN115439699B (zh) * 2022-10-25 2023-06-30 北京鹰瞳科技发展股份有限公司 目标检测模型的训练方法、目标检测的方法及相关产品
CN115631387B (zh) * 2022-12-16 2023-03-21 首都医科大学附属北京朝阳医院 基于图卷积神经网络的肺癌病理高危因素预测方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6760468B1 (en) * 1996-02-06 2004-07-06 Deus Technologies, Llc Method and system for the detection of lung nodule in radiological images using digital image processing and artificial neural network
CN107492095A (zh) * 2017-08-02 2017-12-19 西安电子科技大学 基于深度学习的医学图像肺结节检测方法
CN107578402A (zh) * 2017-08-04 2018-01-12 上海斐讯数据通信技术有限公司 一种基于深度学习的肺部结节的检测系统及其使用方法
CN108257128A (zh) * 2018-01-30 2018-07-06 浙江大学 一种基于3d卷积神经网络的肺结节检测装置的建立方法
CN111582371A (zh) * 2020-05-07 2020-08-25 广州视源电子科技股份有限公司 一种图像分类网络的训练方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6760468B1 (en) * 1996-02-06 2004-07-06 Deus Technologies, Llc Method and system for the detection of lung nodule in radiological images using digital image processing and artificial neural network
CN107492095A (zh) * 2017-08-02 2017-12-19 西安电子科技大学 基于深度学习的医学图像肺结节检测方法
CN107578402A (zh) * 2017-08-04 2018-01-12 上海斐讯数据通信技术有限公司 一种基于深度学习的肺部结节的检测系统及其使用方法
CN108257128A (zh) * 2018-01-30 2018-07-06 浙江大学 一种基于3d卷积神经网络的肺结节检测装置的建立方法
CN111582371A (zh) * 2020-05-07 2020-08-25 广州视源电子科技股份有限公司 一种图像分类网络的训练方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DeepSEED: 3D Squeeze-and-Excitation Encoder-Decoder Convolutional Neural Networks for Pulmonary Nodule Detection;Yuemeng Li等;2020 IEEE 17th International Symposium on Biomedical Imaging（ISBI）;第1866-1869页 *
面向 3D CT 影像处理的无监督推荐标注算法;冯浩哲等;计算机辅助设计与图形学学报;第31卷(第2期);第183-189页 *

Also Published As

Publication number Publication date
CN112132815A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112132815B (zh) 肺结节检测模型训练方法、检测方法及装置
US11551333B2 (en) Image reconstruction method and device
Kohl et al. A probabilistic u-net for segmentation of ambiguous images
CN112085714B (zh) 一种肺结节检测方法、模型训练方法、装置、设备及介质
Xue et al. Segan: Adversarial network with multi-scale l 1 loss for medical image segmentation
US20230186476A1 (en) Object detection and instance segmentation of 3d point clouds based on deep learning
US20220067943A1 (en) Automated semantic segmentation of non-euclidean 3d data sets using deep learning
CN113066090B (zh) 血管分割模型的训练方法及装置、应用方法及装置
Ypsilantis et al. Recurrent convolutional networks for pulmonary nodule detection in CT imaging
Lei et al. Attention-guided multi-branch convolutional neural network for mitosis detection from histopathological images
EP3975117A1 (en) Image segmentation method and apparatus, and training method and apparatus for image segmentation model
CN113256592B (zh) 图像特征提取模型的训练方法、系统及装置
WO2021032062A1 (zh) 图像处理模型生成方法、图像处理方法、装置及电子设备
Xu et al. Supervised action classifier: Approaching landmark detection as image partitioning
US20220180512A1 (en) Method for predicting disease based on medical image
Sharan et al. Automated cnn based coral reef classification using image augmentation and deep learning
Tyagi et al. LCSCNet: A multi-level approach for lung cancer stage classification using 3D dense convolutional neural networks with concurrent squeeze-and-excitation module
CN112488178B (zh) 网络模型的训练方法及装置、图像处理方法及装置、设备
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN112288718B (zh) 图像处理方法及装置，电子设备及计算机可读存储介质
CN114283110A (zh) 用于医学图像的图像处理方法、装置、设备及存储介质
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
CN116416221A (zh) 一种超声图像分析方法
US20230260106A1 (en) Detecting robustness of machine learning models in clinical workflows
US20220414886A1 (en) Semantic image segmentation using contrastive channels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant