CN113902702A - 一种基于计算机断层扫描的肺结节良恶性辅助诊断系统 - Google Patents

一种基于计算机断层扫描的肺结节良恶性辅助诊断系统 Download PDF

Info

Publication number
CN113902702A
CN113902702A CN202111171232.XA CN202111171232A CN113902702A CN 113902702 A CN113902702 A CN 113902702A CN 202111171232 A CN202111171232 A CN 202111171232A CN 113902702 A CN113902702 A CN 113902702A
Authority
CN
China
Prior art keywords
malignant
benign
computed tomography
neural network
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111171232.XA
Other languages
English (en)
Inventor
李劲鹏
李凌峰
翟鹏华
王杰
从怀威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoke Ningbo Life And Health Industry Research Institute
Original Assignee
Guoke Ningbo Life And Health Industry Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoke Ningbo Life And Health Industry Research Institute filed Critical Guoke Ningbo Life And Health Industry Research Institute
Priority to CN202111171232.XA priority Critical patent/CN113902702A/zh
Publication of CN113902702A publication Critical patent/CN113902702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Abstract

本发明公开了一种基于计算机断层扫描的肺结节良恶性辅助诊断系统，包括以下步骤：步骤一、收集肺结节良恶性的CT影像，对这些CT影像进行标注，整理成数据集；步骤二、对自制数据集图像进行预处理；步骤三、构建带有Transformer模块的深度学习神经网络，所述的神经网络包括下采样模块、时序通道Transformer模块和门机制模块，步骤四、神经网络初始化，步骤五、神经网络的训练、测试和调优，将数据集划分为训练集、验证集和测试集；步骤六、将待诊断的CT影像输入已经训练好的网络，输出诊断结果。本发明的优点在于：识别和定位的能力强，能够提高肺结节良恶性的检测精度，能够减少医生的判断时间，辅助医生决策，提高工作效率。

Description

一种基于计算机断层扫描的肺结节良恶性辅助诊断系统
技术领域
本发明涉及医学图像处理和辅助诊断技术领域，具体地说是一种基于计算机断层扫描的肺结节良恶性辅助诊断系统。
背景技术
计算机断层扫描(CT)作为作为诊断肺结节的常备项目，在肺结节良恶性的诊断中发挥着重要作用。近些年，随着计算机技术和深度学习技术的不断发展，计算机视觉辅助诊断系统在肺结节良恶性程度的识别方面取得了一定的成绩。
作为一个完整的诊断流程，需要对肺结节的位置以及恶性程度作出标记以及判断。卷积神经网络(CNN)中的各个卷积核不仅具有特征提取功能，而且也保留了对原始图像空间关系特征的提取。但是对于电子计算机断层扫描图像来说，没有利用到三维空间上的空间关系特征。一般的平面图像的目标检测算法，难以有效应用于肺结节良恶性的辅助诊断；由于电子计算机断层扫描图像是三维图像，可以充分利用空间信息，将上下层的信息结合起来，可以为辅助诊断提供更多的有用信息。因此需要根据计算机断层扫描三维图像的特点，提出能够辅助诊断肺结节良恶性的新思路。
发明内容
本发明之目的是弥补上述之不足，向社会公开识别和定位的能力强，能够提高肺结节良恶性的检测精度的一种基于计算机断层扫描的肺结节良恶性辅助诊断系统。
本发明的技术方案是这样实现的：
一种基于计算机断层扫描的肺结节良恶性辅助诊断系统，包括以下步骤：
步骤一、收集肺结节良恶性的CT影像，对这些CT影像进行标注，整理成数据集；
步骤二、对自制数据集图像进行预处理；
步骤三、构建带有Transformer模块的深度学习神经网络，所述的神经网络包括下采样模块，用于采样得到当前层以及相邻层图像的特征图；
时序通道Transformer模块，其编码器编码多个层的整体空间信道信息，解码器以体素格式解码当前层的部分空间信道信息，空间解码器解码当前层每个位置的信息；
门机制模块，在用检测头进行目标检测之前，使用门机制来重新校准当前帧的特征；
步骤四、神经网络初始化：设计损失函数，
Figure BDA0003293306110000021
其中，n为正锚的数量，βcls和βloc分别对应为分类损失Lcls和回归损失Lloc的权重，0≤βcls≤1，0≤βloc≤1，且βcls+βloc＝1；
步骤五、神经网络的训练、测试和调优，将数据集划分为训练集、验证集和测试集；
步骤六、将待诊断的CT影像输入已经训练好的网络，输出诊断结果。
进一步优化本技术方案的措施是：
作为改进，所述的步骤一中，CT影像的标注包括肺结节的位置、肺结节的良恶性以及恶性的程度类别。
作为改进，所述的步骤二中，图像进行预处理过程为：将图片的像素值进行归一化处理，
Figure BDA0003293306110000022
x′为放缩后的像素值，x为放缩前的像素值，xmin为像素值的最小值，xmax为像素值的最大值。
作为改进，所述的步骤二中，通过对原始图像以及其中的目标框随机绕中心点旋转一定角度，获得新的样本，并将新的样本加入数据集中。
作为改进，所述的步骤四中，分类损失采用Lcls(Pt)＝-(1-Pt)γlog(Pt)，Pt表示t时的概率；回归损失采用
Figure BDA0003293306110000023
其中，x为肺结节中心点的位置横坐标，y为肺结节中心点的位置纵坐标，h为目标框的高度，w为目标框的宽度。
作为改进，所述的步骤五中，数据集中，80％作为训练集，10％作为验证集以及10％作为测试集。
作为改进，所述的步骤五中，采用Pytorch框架对神经网络进行训练。
作为改进，所述的步骤五中，通过梯度下降法使网络收敛到最优值。
本发明与现有技术相比的优点是：
本发明一种基于计算机断层扫描的肺结节良恶性辅助诊断系统，采用了时序通道Transformer网络模型，利用到了电子计算机断层扫描三维图像中相邻层以及不同信道的信息，能够优化网络模型的识别和定位的能力，能够提高肺结节良恶性的检测精度，为医生提供辅助诊断信息，减少医生的判断时间，辅助医生决策，提高工作效率。
附图说明
图1是本发明的流程图；
图2是本发明的网络框架结构示意图；
图3是图2中A部放大图。
具体实施方式
本发明采用了时序通道Transformer网络模型，通过对肺结节电子计算机断层扫描图像进行分析，判断肺结节的位置及对应的良恶性类别；作为计算机辅助系统，此项发明能够减少医生的判断时间，辅助医生决策，提高工作效率。
如图1所示，一种基于计算机断层扫描的肺结节良恶性辅助诊断系统，包括以下步骤：
步骤一、收集肺结节良恶性的CT影像，对这些CT影像进行标注，整理成数据集。CT影像的标注包括肺结节的位置、肺结节的良恶性以及恶性的程度类别。
依托某医院收集的1365张肺结节电子计算机断层扫描图像，并根据电子病历对这些图片进行标注工作。具体包括：对每一张肺结节电子计算机断层扫描图像，我们需要标记该图片肺结节的位置以及对于位置的肺结节良恶性程度，根据恶性程度来对每一个肺结节进行分类，恶性程度分为五级，1到2级为良性，4到5级为恶性，3级根据医生经验判断。最后统一整理，将这1365张电子计算机断层扫描图像制成深度学习可用的数据集。
步骤二、对自制数据集图像进行预处理。
对于深度学习算法，数据的数量、质量是影响模型训练结果和泛化能力的重要因素之一。预处理工作主要包含三个方面：数据增强，样本均衡和归一化等操作。在医学图像样本中，样本不均衡问题尤其突出。各种疾病的发生率不一样，有些疾病可能只有几例样本。这样不均衡的数据不利于模型的训练。为了解决这个问题，本发明通过重采样和数据增强技术来扩充训练样本的数量。具体来说，通过对原始图片绕中心点随机旋转一定角度的方式，获得新的训练样本，并将这些新的训练样本也加入数据集中；如旋转90°、180°、270°等。此外，由于拍摄图片的机器不同，样本中的图片也会存在亮度值或噪声值不同统一的情况。为了尽量减小因此带来的误差，在输入模型之前，还需要对图片的像素值进行归一化处理。将图片的像素值进行归一化处理，
Figure BDA0003293306110000041
x′为放缩后的像素值，x为放缩前的像素值，xmin为像素值的最小值，xmax为像素值的最大值。
步骤三、构建带有Transformer模块的深度学习神经网络，所述的神经网络主要包括下采样模块、时序通道Transformer模块和门机制模块，这一网络模型可以通过对时空域和通道域之间的关系进行建模，可以利用电子计算机断层扫描得到的三维图像进行目标检测。下采样模块采样使用预训练模型初始化的经典卷积神经网络模型，得到当前层以及相邻层图像的特征图。而时序通道Transformer作为Transformer的特殊设计，编码器中编码的信息与解码器中编码的信息不同，即编码器编码多个层的整体空间信道信息，而解码器以体素格式解码当前层的部分空间信道信息。具体地，Transformer的整体空间信道编码器被设计为通过利用来自不同信道和层的特征之间的相关性来编码不同信道和层的信息；另外，Transformer的空间解码器将解码当前层每个位置的信息。在用检测头进行目标检测之前，需要使用门(gate)机制来重新校准当前帧的特征，通过重复细化目标层的表示以及下采样过程来过滤掉与物体无关的信息；最后接上检测头来输出检测结果，从而定位肺结节位置及恶性程度的类别。
如图2所示，其中C表示为权值共享的卷积层，用来改变通道数量；Z表示融合特征图，是Transformer的输入；xi表示当前图像的特征图；S′i表示xi经过形变(采用reshape函数)，作为Transformer中解码模块的输入；d表示Transformer模块的输出特征图。如图3所示，图中黑框为目标框。
步骤四、神经网络初始化：对于深度学习神经网络，损失函数决定了网络的训练方向和网络性能。本发明对于肺结节的电子计算机断层扫描图像的检测定位任务，设计了如下损失函数，该损失函数包含两部分：分类损失和回归损失。分类损失函数是为了使网络具有分类的能力，这里采用针对类别不平衡和分类难度差异问题而设计的经典损失函数：Focal loss，其公式为：Lcls(Pt)＝-(1-Pt)γlog(Pt)，其中，Pt表示t时的概率；除了生成对象类别外，我们还需要获得肺结节中心点的位置坐标(x，y)，以及目标框的高度(h)，宽度(w)，对于回归损失如下所示，
Figure BDA0003293306110000042
使用平滑的L1损失来使网络获得定位的能力。目标框为图片中对肺结节的位置用长方体标记，该长方体完全把肺结节区域包围，且长方体可唯一的由中心点坐标(x，y)以及高(h)、宽(w)表示。
总的损失函数表示为这两个损失函数的线性组合。其中n表示正锚(positiveanchor)的数量，βcls和βloc分别对应为分类损失和回归损失的权重，
Figure BDA0003293306110000051
其中，0≤βcls≤1，0≤βloc≤1，且βcls+βloc＝1。
步骤五、神经网络的训练、测试和调优，将数据集划分为训练集、验证集和测试集；在网络训练之前，我们采用随机初始化的方法对网络参数赋予一个小的数值。此外，我们将数据集中的进行划分：80％作为训练集，10％作为验证集以及10％作为测试集。采用Pytorch框架进行模型的部署和训练。在完成时序通道Transformer网络结构设计和初始化工作后，将训练集输入网络进行模型训练。在训练过程中，根据训练集和验证集的loss变化情况，采取梯度下降法使网络收敛到最优值，然后保存使得验证集结果最佳的模型超参数，然后把所有数据作为训练集输入之前保存的超参数网络模型进行训练，得到的模型保存下来用于新样本的检测。
步骤六、将待诊断的CT影像输入已经训练好的网络，输出诊断结果。系统输出是否患有肺结节良恶性疾病，如若有，给出置信率以及对应位置，输出结构供医生参考，能够减少医生的判断时间，辅助医生决策，提高工作效率。
本发明的最佳实施例已被阐明，由本领域普通技术人员做出的各种变化或改型都不会脱离本发明的范围。

Claims (8)

1.一种基于计算机断层扫描的肺结节良恶性辅助诊断系统，其特征是：包括以下步骤：
步骤一、收集肺结节良恶性的CT影像，对这些CT影像进行标注，整理成数据集；
步骤二、对自制数据集图像进行预处理；
步骤三、构建带有Transformer模块的深度学习神经网络，所述的神经网络包括
下采样模块，用于采样得到当前层以及相邻层图像的特征图；
时序通道Transformer模块，其编码器编码多个层的整体空间信道信息，解码器以体素格式解码当前层的部分空间信道信息，空间解码器解码当前层每个位置的信息；
门机制模块，在用检测头进行目标检测之前，使用门机制来重新校准当前帧的特征；
步骤四、神经网络初始化：设计损失函数，
Figure FDA0003293306100000011
其中，n为正锚的数量，βcls和βloc分别对应为分类损失Lcls和回归损失Lloc的权重，0≤βcls≤1，0≤βloc≤1，且βcls+βloc＝1；
步骤五、神经网络的训练、测试和调优，将数据集划分为训练集、验证集和测试集；
步骤六、将待诊断的CT影像输入已经训练好的网络，输出诊断结果。
2.根据权利要求1所述的一种基于计算机断层扫描的肺结节良恶性辅助诊断系统，其特征是：所述的步骤一中，CT影像的标注包括肺结节的位置、肺结节的良恶性以及恶性的程度类别。
3.根据权利要求1所述的一种基于计算机断层扫描的肺结节良恶性辅助诊断系统，其特征是：所述的步骤二中，图像进行预处理过程为：将图片的像素值进行归一化处理，
Figure FDA0003293306100000012
x′为放缩后的像素值，x为放缩前的像素值，xmin为像素值的最小值，xmax为像素值的最大值。
4.根据权利要求1所述的一种基于计算机断层扫描的肺结节良恶性辅助诊断系统，其特征是：所述的步骤二中，通过对原始图像以及其中的目标框随机绕中心点旋转一定角度，获得新的样本，并将新的样本加入数据集中。
5.根据权利要求1所述的一种基于计算机断层扫描的肺结节良恶性辅助诊断系统，其特征是：所述的步骤四中，分类损失采用Lcls(Pt)＝-(1-Pt)γlog(Pt)，Pt表示t时的概率；回归损失采用
Figure FDA0003293306100000021
其中，x为肺结节中心点的位置横坐标，y为肺结节中心点的位置纵坐标，h为目标框的高度，w为目标框的宽度。
6.根据权利要求1所述的一种基于计算机断层扫描的肺结节良恶性辅助诊断系统，其特征是：所述的步骤五中，数据集中，80％作为训练集，10％作为验证集以及10％作为测试集。
7.根据权利要求1所述的一种基于计算机断层扫描的肺结节良恶性辅助诊断系统，其特征是：所述的步骤五中，采用Pytorch框架对神经网络进行训练。
8.根据权利要求1所述的一种基于计算机断层扫描的肺结节良恶性辅助诊断系统，其特征是：所述的步骤五中，通过梯度下降法使网络收敛到最优值。
CN202111171232.XA 2021-10-08 2021-10-08 一种基于计算机断层扫描的肺结节良恶性辅助诊断系统 Pending CN113902702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111171232.XA CN113902702A (zh) 2021-10-08 2021-10-08 一种基于计算机断层扫描的肺结节良恶性辅助诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111171232.XA CN113902702A (zh) 2021-10-08 2021-10-08 一种基于计算机断层扫描的肺结节良恶性辅助诊断系统

Publications (1)

Publication Number Publication Date
CN113902702A true CN113902702A (zh) 2022-01-07

Family

ID=79190370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111171232.XA Pending CN113902702A (zh) 2021-10-08 2021-10-08 一种基于计算机断层扫描的肺结节良恶性辅助诊断系统

Country Status (1)

Country Link
CN (1) CN113902702A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757942A (zh) * 2022-05-27 2022-07-15 南通大学 一种基于深度学习的多层螺旋ct对活动性肺结核的检测方法
CN115830020A (zh) * 2023-02-14 2023-03-21 成都泰莱生物科技有限公司 一种肺结节特征提取方法、分类方法、装置及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114757942A (zh) * 2022-05-27 2022-07-15 南通大学 一种基于深度学习的多层螺旋ct对活动性肺结核的检测方法
CN115830020A (zh) * 2023-02-14 2023-03-21 成都泰莱生物科技有限公司 一种肺结节特征提取方法、分类方法、装置及介质

Similar Documents

Publication Publication Date Title
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
WO2023071531A1 (zh) 一种基于深度形状学习的肝脏ct自动分割方法
CN110517253B (zh) 基于3d多目标特征学习的肺结节良恶性分类的方法
CN109064455B (zh) 一种基于bi-rads的乳腺超声图像多尺度融合的分类方法
CN112365464B (zh) 一种基于gan的医学图像病变区域弱监督定位方法
CN110084813B (zh) 一种基于三维深度学习网络的肺结节良恶性预测方法
CN111242233B (zh) 一种基于融合网络的阿尔兹海默病分类方法
CN114565761B (zh) 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法
CN109949297B (zh) 基于Reception和Faster R-CNN的肺结节检测方法
CN111598875A (zh) 甲状腺结节自动检测模型构建方法、系统及装置
CN110543912B (zh) 自动获取胎儿关键切面超声视频中心动周期视频的方法
CN113902702A (zh) 一种基于计算机断层扫描的肺结节良恶性辅助诊断系统
CN113706434B (zh) 基于深度学习对胸部增强ct图像的后处理方法
CN115909006B (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN112116571A (zh) 一种基于弱监督学习的x光肺部疾病自动定位方法
CN112365973A (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
CN112241961A (zh) 基于深度卷积神经网络的胸部x光片辅助诊断方法及系统
CN112820399A (zh) 自动诊断甲状腺结节良恶性的方法及装置
CN116525075A (zh) 基于少样本学习的甲状腺结节计算机辅助诊断方法及系统
CN111383759A (zh) 一种肺炎自动诊断系统
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
Pan et al. A review of machine learning approaches, challenges and prospects for computational tumor pathology
CN115661029A (zh) 基于YOLOv5的肺结节检测与识别系统
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
CN115526898A (zh) 一种医学影像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination