CN113313698A - 基于神经网络的肺结节检测方法、装置及图像处理设备 - Google Patents
基于神经网络的肺结节检测方法、装置及图像处理设备 Download PDFInfo
- Publication number
- CN113313698A CN113313698A CN202110640852.7A CN202110640852A CN113313698A CN 113313698 A CN113313698 A CN 113313698A CN 202110640852 A CN202110640852 A CN 202110640852A CN 113313698 A CN113313698 A CN 113313698A
- Authority
- CN
- China
- Prior art keywords
- lung
- image
- data
- nodule
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 26
- 230000002685 pulmonary effect Effects 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 title claims abstract description 22
- 206010056342 Pulmonary mass Diseases 0.000 claims abstract description 84
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 20
- 210000004072 lung Anatomy 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims description 26
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000002591 computed tomography Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims 1
- 230000003902 lesion Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 201000005202 lung cancer Diseases 0.000 description 3
- 208000020816 lung neoplasm Diseases 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000288105 Grus Species 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035778 pathophysiological process Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于神经网络的肺结节检测方法、装置及图像处理设备，该方法包括：S1、基于3D DCNN网络框架对CT影像中的肺结节进行识别及分割，得到候选肺结节数据；S2、构建CT影像中候选肺结节数据的特征值向量，得到样本数据集；S3、将样本数据集按照比例划分为训练集和测试集，将训练集利用预先构建的GRU模型进行分类训练，再将测试集输入训练后的GRU模型中进行检测，输出肺结节检测结果。本发明是基于CT肺部影像自动检测分割后，对病灶区域提取并构建特征值并利用神经网络建模，对候选肺结节区域进行检测，减少假阳性，从而提高肺部影像自动检测的精确性。
Description
技术领域
本公开涉及医学影像技术领域，尤其涉及一种基于神经网络的肺结节检测方法、装置及图像处理设备。
背景技术
肺癌是中国发病率和死亡率都很高的一种常见的致命性恶性肿瘤。大部分的肺癌患者被发现后已经处于中晚期，这给治疗效果带来了很大的问题。所以肺癌肿瘤的早期检测和诊断对于患者来说有极大的意义，可以提高治疗和愈后的效果。传统的诊断模式，是医生通过CT影像对肺结节进行分析判断。但是由于病人的CT影像通过包括200-300张的影像层面图像，人工发现和分析肺结节，不仅费时费力，而且由于疲劳等因素可能会产生漏诊。通过CT影像技术和人工智能技术，可以对肺结节进行自动分割，并计算提取病灶特征例如组学参数，对肺结节进行定量和定性分析，从而能为医生决策提供辅助支持。
关于肺部结节，医生会通过它的形态、特征和变化等，利用经验来判断其性质。而影像组学是使用大量自动提取的数据特征化算法，将成像数据转换为高维可挖掘特征空间。这些影像学特征可以捕捉肿瘤的不同表型差异，可能具有预测能力，通过影像的量化分析可以解析影像所包含的各种病理生理学进程及其相互关系。所以利用影像组学数据，通过人工智能技术建立模型，对肺结节进行分类预测越来越被人们重视和利用。
CT影像的组学参数的标准化很重要，同样，组学参数的稳定性也很重要，精确的病灶分割有助于获得稳定的组学数据。由于肺结节大小不一，位置不定，形态各异，和周围组织的密度相似，所以肺结节的分割有一定的难度。近年来，由于深度学习的广泛应用，采用卷积等网络模型对肺结节可以进行快速的定位和分割，大大加快了辅助临床应用。不过，这种方式下也存在肺结节假阳性比较多，以及边缘不够精细的待优化的地方。较多的假阳性增加了医生判断肺结节的时间，影响了医生判断的准确性。
发明内容
有鉴于此，本公开实施例提供一种基于神经网络的肺结节检测方法、装置及图像处理设备，该方法是一种通用的基于CT肺部影像自动分割后，对病灶区域提取并构建特征值并利用神经网络建模，对候选肺结节区域进行检测，减少假阳性，从而提高肺部影像自动检测分割精确性。
为了实现上述目的，本发明提供如下技术方案：
一种基于神经网络的肺结节检测方法，包括如下步骤：
S1、基于3D DCNN网络框架对CT影像中的肺结节进行识别及分割，得到候选肺结节数据；
S2、构建CT影像中候选肺结节数据的特征值向量，得到样本数据集；
S3、将样本数据集按照比例划分为训练集和测试集，将训练集利用预先构建的GRU模型进行分类训练，再将测试集输入训练后的GRU模型中进行检测，输出肺结节检测结果。
进一步地，步骤S1之前还包括，先将获取的原始CT影像数据进行预处理，所述预处理是将原始CT影像数据进行包括去噪、坐标转换、统一分辨率、CT值均衡处理、像素间距的处理。
进一步地，步骤S2中具体包括以下子步骤：
S201、获取CT影像中候选肺结节区域的肺结节数据特征值；
S202、按照CT扫描的顺序，将候选肺结节按固定数量分为多个序列；
S203、计算每个样本序列的特征值向量，得到样本数据集。
进一步地，步骤S201中：先获取CT影像中候选肺结节区域的图像数据，再获取该区域图像数据的灰度值和图形面积作为肺结节数据特征值。
进一步地，步骤S201中，通过3D DCNN网络获取候选肺结节掩摸的矩形边界，获取每个CT切片上的肺结节区域的所述图像数据。
进一步地，步骤S203中，计算每组序列数据中灰度值和图形面积的平均值，整合作为该样本序列的特征值向量。
进一步地，步骤S203中还包括，将候选肺结节样本序列逆序处理得到序列副本，将该序列副本作为同一标注数据样本并入所述样本数据集。
进一步地，步骤S3中，采用交叉熵损失函数提升所述GRU模型对肺实质边界区域的检测精度，获得适用于肺实质检测的GRU模型并保存。
本发明还提供一种基于神经网络的肺结节检测装置，包括：
图像获取模块，所述图像获取模块用于获取待检测的原始CT影像数据；
图像处理模块，所述图像处理模块用于预处理所述原始CT影像数据；
初步检测分割模块，所述初步检测分割模块用于将CT影像中的肺结节基于3DDCNN网络框架进行识别及分割，得到候选肺结节数据；
特征提取及集合生成模块，所述特征提取及集合生成模块用于提取候选肺结节切片扫描图的图像特征，并生成样本数据集；
实质检测分割模块，所述实质检测分割模块用于采用GRU模型和损失函数对待检测的CT影像进行肺实质检测分割，并获得肺实质检测分割图像。
本发明还提供一种图像处理设备，包括处理器及机器可读存储介质，所述机器可读存储介质上存储有机器可执行指令，所述机器可执行指令被执行时促使所述处理器实现上述的基于神经网络的肺结节检测方法。
本发明提出的基于神经网络的肺结节检测方法、装置及图像处理设备，其中使用了GRU结节检测模型，与不使用结节检测模型方式下的肺结节检测分割比较，从测试样本数据看，整体假阳性减少了18-30％。另外，本发明的方法简单易实现，对数据量的要求不高，实时性较好。除了考虑已采纳的灰度值、面积做为特征，其它属性，例如长短径、重心、近圆形判断因子等也可以扩展进特征值中去，本发明具有良好的易扩展性。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明一种实施例中基于神经网络的肺结节检测方法示意图；
图2为本发明一种实施例中基于NoduleNet网络框架的肺结节分割网络结构图；
图3为本发明一种实施例中候选肺结节的矢量化特征生成过程；
图4为本发明一种实施例中GRU循环网络建模过程；
图5为本发明一种实施例中GRU模型中的r,z门控示意图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
如图1所示，本公开实施例提供一种基于神经网络的肺结节检测方法，包括如下步骤：
S01、先将获取的原始CT影像数据进行预处理，所述预处理是将原始CT影像数据进行包括去噪、坐标转换、统一分辨率、CT值均衡处理、像素间距Spacing的标准化处理等。对整个CT影像进行标准化处理，保证以后的数据处理都是在统一的基线上进行。
S1、基于3D DCNN网络框架对CT影像中的肺结节进行识别及分割，得到候选肺结节数据；
这一过程用NoduleNet(3D DCNN)网络框架实现，NoduleNet是一种新的端到端3D深度卷积神经网络DCNN，它以多任务的方式联合解决肺结节的检测、减少假阳性以及分割任务。NoduleNet由三部分组成：结节候选筛选，减少假阳性和分割细化(如图2所示)。这三个组件共享相同的底层特征提取骨干网，整个网络以端到端的方式进行训练。
NoduleNet没有单独训练深度卷积神经网络，避免了耗时且耗资源的过程。以多任务训练的方式共享提取肺结节特征表示的通用过程。例如，结节的分割掩为神经网络学习区分特征提供了强有力的指导，从而提高结节检测的性能。
NoduleNet是肺结节检测和分割的端到端框架，由三个连续阶段组成：结节候选筛选，假阳性减少和分割细化。其中结节候选筛选的主要过程：为了生成候选结节，将3×3×33D卷积层应用于特征图(图2中的特征图4)，然后是两个平行的1×1×1卷积层，以生成分类概率以及与特征图上每个体素上的每个锚相关联的六个回归项。锚是一个3D框，然后，最小化多任务损失函数。接着网络通过解耦减少假阳性，并通过分割细化完成结节的分割。
经过NoduleNet的处理，会得到一系列的候选肺结节数据，这里经过网络的内部的处理(减少假阳性)后，假阳性依然非常多。
S2、构建CT影像中候选肺结节数据的特征值向量，得到样本数据集；
S201、获取CT影像中候选肺结节区域的肺结节数据特征值；
肺结节包括实性肺结节、磨玻璃结节和混合型肺结节几种情况，为了更好地量化肺结节，抽取一些能够表达肺结节特点的数据作为特征值，量化研究目标。
本实施例中，先获取CT影像中候选肺结节区域的图像数据，再获取该区域图像数据的灰度值和图形面积作为肺结节数据特征值，具体操作如下：
1、获取肺结节区域的图像数据
通过NetNodule网络获取到候选肺结节掩模的矩形边界，以此来获取每个CT切片上的肺结节区域图像：
ROI＝Image[X1:X2,Y1:Y2]
2、获取ROI区域的灰度值
求出图像的灰度值：
GROI＝np.mean(ROI)
获得该候选肺结节在连续切片上的灰度值:[G1,G2,G3]；
3、获取ROI区域的图形面积
首先将ROI区域的图像进行二值化，得到Binary图像；
然后求出其面积：
AROI＝np.sum(Binary>0)
获得该候选肺结节在连续切片上的面积值:[A1，A2,A3]；
S202、本实施例中，按照CT扫描的顺序，将候选肺结节按固定数量分为3个序列，如图3所示；
S203、计算每个样本序列的特征值向量，得到样本数据集。
具体地，计算每组序列数据中灰度值和图形面积的平均值，整合作为该样本序列的特征值向量。即：
获取样本的值X＝(Gray1,Area1,Gray2,Area2,Gray3,Area3)
获取数据集，如下表1所示，分别在CT影像中获取上述的候选肺结节样本序列的值，并记录下对应的结节标注属性，如果是肺结节则标注值为1，如果不是则为0。依以类推获取在其它病人影像中的类似数据，收集样本数据集如下表1所示:表1：
| ID | G1 | G2 | G3 | A1 | A2 | A3 | 是否结节 |
| 1 | 40 | 56 | 46 | 22 | 34 | 12 | 1 |
| 2 | 50 | 62 | 49 | 29 | 40 | 31 | 1 |
| ... | |||||||
| n | 45 | 59 | 70 | 22 | 55 | 66 | 0 |
S3、将样本数据集按照比例划分为训练集和测试集，将训练集利用预先构建的GRU模型进行分类训练，再将测试集输入训练后的GRU模型中进行检测，输出肺结节检测结果。
GRU(Gate Recurrent Unit)是循环神经网络(Recurrent Neural Network,RNN)的一种。和长短记忆模型LSTM(Long-Short Term Memory)一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。相比LSTM，使用GRU能够达到相当的效果，并且相比之下更容易进行训练，能够很大程度上提高训练效率，因此很多时候会更倾向于使用GRU。
将数据集按照比例划分为训练集和测试集，然后利用GRU模型进行分类训练。如图4所示,GRU模型中通常处理的是以时间为序的数据，这里借用这个概念，以扫描顺序来替代时序数据。
其中，采用交叉熵损失函数CrossEntropyLoss()提升所述GRU模型对肺实质边界区域的分割精度，获得适用于肺实质分割的GRU模型并保存。优化器选择Adam优化器，它结合了AdaGrad和RMSProp两种优化算法的优点，权重衰减因子设为0.0001,初始学习率为0.001。最大训练次数为1000进行模型训练。
本发明实施例分别从Luna16数据集、LNDb数据集和阿里天池数据集中选取了10个、30个、和10个影像数据做为测试样本。首先通过NoduleNet网络得到候选结节，然后利用本发明的GRU模型对这些结节进行分类预测，进一步地减少假阳性。测试结果如表2所示，其中GT-结节数表示影像中真实的结节数量，NoduleNet结节数表示经过NoduleNet网络筛选出的结节数量，而GRU结节数是利用GRU模型最终筛选出的结节数量。
表2：
从表2中可以看出，本发明中使用了GRU结节检测模型，与不使用结节检测模型方式下的肺结节检测分割比较，从测试样本数据看，整体假阳性减少了18-30％。
本发明的目的在于提供一种通用的基于CT肺部影像自动分割后，利用循环神经网络GRU模型对候选肺结节区域进行检测，减少假阳性。
具体地，本发明提出的降低肺结节检测分割中假阳性的方法如图4所示，利用传统的GRU模型处理时序数据的功能进行结节的假阳性分类过滤。一般情况下，循环神经网络按照顺序处理所有的输入，每一时刻t，都会存在一个向量h保存与t时刻相关的信息(可以是t时刻前的信息或者t时刻后的信息)。通过向量h与输入向量x，就可以比较准确地判断当前的结果。在下文中的符号表示：
xt表示t时刻的输入向量(例如第t个切片的向量)。
ht表示t时刻的隐藏向量(包含了从开始一直到t时刻的相关信息)。
yt表示t时刻的输出向量(通常是预测的结果)。
GRU的实现过程可以简单描述为有一个当前的输入xt，和上一个节点传递下来的隐状态(hidden state)ht-1，这个隐状态包含了之前节点的相关信息。结合xt和ht-1，GRU会得到当前隐藏节点的输出yt和传递给下一个节点的隐状态yt。
如图5所示，图5是GRU模型中的r,z门控示意图，其中r为控制重置的门控(resetgate)，z为控制更新的门控(update gate),σ为sigmoid函数，通过这个函数可以将数据变换为0-1范围内的数值，从而来充当门控信号。
h’主要是包含了当前输入的xt数据。有针对性地对h’添加到当前的隐藏状态，“相当于”记忆了当前时刻的状态。
而更新表达式：
ht＝(1-z)⊙ht-1+z⊙h′
在本例中，CT影像中结节通常由连续的切片上的数据扫描组成。所以xt表示当前切片上某个候选结节，而yt则表示输出结果，即是否为真的结节。h表示结节的特征向量。因为切片是连续的，所以用结节的特征序列来表示h。
在本发明中，将CT影像也假设成一个按照时间顺序扫描的切片序列。那么候选肺结节也可以认为是一个顺序切片数据。只要将这些数据通过循环神经网络，进行训练，就可以利用模型预测结果(是否真是肺结节)。而合理地构造肺结节数据的特征向量是其中的一个关键，本发明中除了考虑已采纳的灰度值、面积做为特征，其它属性，例如长短径、重心、近圆形判断因子等也可以扩展进特征值中。因此，本发明通过NoduleNet得到候选肺结节数据后，利用上述过程计算测试数据的特征向量，利用保存的GRU模型即可进行假阳性的筛除。
在本发明另一优选实施方式中，可将候选肺结节样本序列，简单地逆序处理得到序列副本，将该序列副本作为同一标注数据样本并入所述样本数据集。这样处理可以增加样本数量，提高训练模型的鲁棒性。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于神经网络的肺结节检测方法，其特征在于，包括如下步骤：
S1、基于3D DCNN网络框架对CT影像中的肺结节进行识别及分割，得到候选肺结节数据；
S2、构建CT影像中候选肺结节数据的特征值向量，得到样本数据集；
S3、将样本数据集按照比例划分为训练集和测试集，将训练集利用预先构建的GRU模型进行分类训练，再将测试集输入训练后的GRU模型中进行检测，输出肺结节检测结果。
2.根据权利要求1所述的基于神经网络的肺结节检测方法，其特征在于，步骤S1之前还包括，先将获取的原始CT影像数据进行预处理，所述预处理是将原始CT影像数据进行包括去噪、坐标转换、统一分辨率、CT值均衡处理、像素间距的处理。
3.根据权利要求1所述的基于神经网络的肺结节检测方法，其特征在于，步骤S2中具体包括以下子步骤：
S201、获取CT影像中候选肺结节区域的肺结节数据特征值；
S202、按照CT扫描的顺序，将候选肺结节按固定数量分为多个序列；
S203、计算每个样本序列的特征值向量，得到样本数据集。
4.根据权利要求3所述的基于神经网络的肺结节检测方法，其特征在于，步骤S201中：先获取CT影像中候选肺结节区域的图像数据，再获取该区域图像数据的灰度值和图形面积作为肺结节数据特征值。
5.根据权利要求4所述的基于神经网络的肺结节检测方法，其特征在于，步骤S201中，通过3D DCNN网络获取候选肺结节掩摸的矩形边界，获取每个CT切片上的肺结节区域的所述图像数据。
6.根据权利要求5所述的基于神经网络的肺结节检测方法，其特征在于，步骤S203中，计算每组序列数据中灰度值和图形面积的平均值，整合作为该样本序列的特征值向量。
7.根据权利要求6所述的基于神经网络的肺结节检测方法，其特征在于，步骤S203中还包括，将候选肺结节样本序列逆序处理得到序列副本，将该序列副本作为同一标注数据样本并入所述样本数据集。
8.根据权利要求1或7所述的基于神经网络的肺结节检测方法，其特征在于，步骤S3中，采用交叉熵损失函数提升所述GRU模型对肺实质边界区域的检测精度，获得适用于肺实质检测的GRU模型并保存。
9.一种基于神经网络的肺结节检测装置，其特征在于，包括：
图像获取模块，所述图像获取模块用于获取待检测的原始CT影像数据；
图像处理模块，所述图像处理模块用于预处理所述原始CT影像数据；
初步检测分割模块，所述初步检测分割模块用于将CT影像中的肺结节基于3D DCNN网络框架进行识别及分割，得到候选肺结节数据；
特征提取及集合生成模块，所述特征提取及集合生成模块用于提取候选肺结节切片扫描图的图像特征，并生成样本数据集；
实质检测分割模块，所述实质检测分割模块用于采用GRU模型和损失函数对待检测的CT影像进行肺实质检测分割，并获得肺实质检测分割图像。
10.一种图像处理设备，其特征在于，包括处理器及机器可读存储介质，所述机器可读存储介质上存储有机器可执行指令，所述机器可执行指令被执行时促使所述处理器实现权利要求1-8中任意一项所述的基于神经网络的肺结节检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110640852.7A CN113313698A (zh) | 2021-06-09 | 2021-06-09 | 基于神经网络的肺结节检测方法、装置及图像处理设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110640852.7A CN113313698A (zh) | 2021-06-09 | 2021-06-09 | 基于神经网络的肺结节检测方法、装置及图像处理设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113313698A true CN113313698A (zh) | 2021-08-27 |
Family
ID=77378192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110640852.7A Pending CN113313698A (zh) | 2021-06-09 | 2021-06-09 | 基于神经网络的肺结节检测方法、装置及图像处理设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113313698A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664966A (zh) * | 2023-03-27 | 2023-08-29 | 北京鹰之眼智能健康科技有限公司 | 一种红外图像处理系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040086161A1 (en) * | 2002-11-05 | 2004-05-06 | Radhika Sivaramakrishna | Automated detection of lung nodules from multi-slice CT image data |
| US20170169548A1 (en) * | 2015-09-25 | 2017-06-15 | Shenzhen China Star Optoelectronics Technology Co. Ltd. | Image contrast enhancement method |
| CN107154043A (zh) * | 2017-06-05 | 2017-09-12 | 杭州健培科技有限公司 | 一种基于3dcnn的肺结节假阳性样本抑制方法 |
| US20180033144A1 (en) * | 2016-09-21 | 2018-02-01 | Realize, Inc. | Anomaly detection in volumetric images |
| CN108898588A (zh) * | 2018-06-22 | 2018-11-27 | 中山仰视科技有限公司 | 基于时间序列的治疗效果评估方法、电子设备 |
| CN111723817A (zh) * | 2020-06-30 | 2020-09-29 | 重庆大学 | 一种肺结节辅助检测方法 |
| CN112101400A (zh) * | 2019-12-19 | 2020-12-18 | 国网江西省电力有限公司电力科学研究院 | 工业控制系统异常检测方法、设备和服务器、存储介质 |
-
2021
- 2021-06-09 CN CN202110640852.7A patent/CN113313698A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040086161A1 (en) * | 2002-11-05 | 2004-05-06 | Radhika Sivaramakrishna | Automated detection of lung nodules from multi-slice CT image data |
| US20170169548A1 (en) * | 2015-09-25 | 2017-06-15 | Shenzhen China Star Optoelectronics Technology Co. Ltd. | Image contrast enhancement method |
| US20180033144A1 (en) * | 2016-09-21 | 2018-02-01 | Realize, Inc. | Anomaly detection in volumetric images |
| CN107154043A (zh) * | 2017-06-05 | 2017-09-12 | 杭州健培科技有限公司 | 一种基于3dcnn的肺结节假阳性样本抑制方法 |
| CN108898588A (zh) * | 2018-06-22 | 2018-11-27 | 中山仰视科技有限公司 | 基于时间序列的治疗效果评估方法、电子设备 |
| CN112101400A (zh) * | 2019-12-19 | 2020-12-18 | 国网江西省电力有限公司电力科学研究院 | 工业控制系统异常检测方法、设备和服务器、存储介质 |
| CN111723817A (zh) * | 2020-06-30 | 2020-09-29 | 重庆大学 | 一种肺结节辅助检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| AFONSO NUNES等: "3d Pathological Signs Detection And Scoring On CPA CT Lung Scans", 《MED. PHYS.》, 28 January 2020 (2020-01-28) * |
| CHUANG WANG等: "Technical Note: 3D localization of lung tumors on cone beam CT projections via a convolutional recurrent neural network", 《2021 IEEE 18TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI)》, 25 May 2021 (2021-05-25) * |
| HAO TANG等, 《ARXIV》 * |
| M. MEHDI FARHANGI等人, 《MEDICAL PHYSICS》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664966A (zh) * | 2023-03-27 | 2023-08-29 | 北京鹰之眼智能健康科技有限公司 | 一种红外图像处理系统 |
| CN116664966B (zh) * | 2023-03-27 | 2024-02-20 | 北京鹰之眼智能健康科技有限公司 | 一种红外图像处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112101451B (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| US7912278B2 (en) | Using candidates correlation information during computer aided diagnosis | |
| CN111640120B (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| WO2017096407A1 (en) | Systems and methods for analyzing pathologies utilizing quantitative imaging | |
| CN109978037A (zh) | 图像处理方法、模型训练方法、装置、和存储介质 | |
| Kumar et al. | Robust and automated lung nodule diagnosis from CT images based on fuzzy systems | |
| CN107766874B (zh) | 一种超声容积生物学参数的测量方法及测量系统 | |
| US11475562B2 (en) | Fissurenet: a deep learning approach for pulmonary fissure detection in CT images | |
| Liu et al. | A fully automatic segmentation algorithm for CT lung images based on random forest | |
| CN113034462B (zh) | 基于图卷积的胃癌病理切片图像的处理方法及系统 | |
| Maicas et al. | Pre and post-hoc diagnosis and interpretation of malignancy from breast DCE-MRI | |
| Mittapalli et al. | Multiscale CNN with compound fusions for false positive reduction in lung nodule detection | |
| CN111784701A (zh) | 结合边界特征增强和多尺度信息的超声图像分割方法及系统 | |
| CN112819747A (zh) | 一种基于肺部断层扫描图片自动诊断结节良恶性的方法 | |
| CN112820399A (zh) | 自动诊断甲状腺结节良恶性的方法及装置 | |
| Song et al. | Automatic lung nodule segmentation and intra-nodular heterogeneity image generation | |
| KR20220154100A (ko) | 이미지 처리에 기초한 종양의 자동화된 검출 | |
| Tang et al. | Classification of benign and malignant pulmonary nodules based on the multiresolution 3D DPSECN model and semisupervised clustering | |
| Groza et al. | Pneumothorax segmentation with effective conditioned post-processing in chest X-ray | |
| Diame et al. | Deep learning architiectures for aided melanoma skin disease recognition: a review | |
| CN116884623A (zh) | 基于激光扫描成像的医疗康复预测系统 | |
| CN113313698A (zh) | 基于神经网络的肺结节检测方法、装置及图像处理设备 | |
| Bhat et al. | Convolutional neural network approach for the classification and recognition of lung nodules | |
| Cao et al. | 3D convolutional neural networks fusion model for lung nodule detection onclinical CT scans | |
| CN116759076A (zh) | 一种基于医疗影像的无监督疾病诊断方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |