CN113506289B - 一种利用双流网络进行肺结节假阳性分类的方法 - Google Patents
一种利用双流网络进行肺结节假阳性分类的方法 Download PDFInfo
- Publication number
- CN113506289B CN113506289B CN202110855730.XA CN202110855730A CN113506289B CN 113506289 B CN113506289 B CN 113506289B CN 202110855730 A CN202110855730 A CN 202110855730A CN 113506289 B CN113506289 B CN 113506289B
- Authority
- CN
- China
- Prior art keywords
- flow
- network
- image
- optical flow
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 206010056342 Pulmonary mass Diseases 0.000 title claims abstract description 45
- 230000003287 optical effect Effects 0.000 claims abstract description 51
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 210000004072 lung Anatomy 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 5
- 238000002591 computed tomography Methods 0.000 claims description 57
- 230000009977 dual effect Effects 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 12
- 210000004204 blood vessel Anatomy 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000007500 overflow downdraw method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 6
- 210000003437 trachea Anatomy 0.000 description 4
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 206010018691 Granuloma Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 201000003651 pulmonary sarcoidosis Diseases 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及图像识别技术领域，涉及一种利用双流网络进行肺结节假阳性分类的方法。包括获取患者肺部的CT原始图像并进行预处理获取光流图像、搭建双流网络模型、将CT单张切片导入空间流神经网络获取图像的RGB特征、将光流图像导入时间流神经网络获取图像的光流特征、进行特征融合、输出分类结果等步骤。本发明设计采用光流法对同一切片位置不同采样时间点的图片进行特征提取，可以降低肺结节识别的假阳性比例，减轻人工的工作量，提高检测判断的工作效率及准确度；通过搭建双流网络模型，采用卷积神经网络分别对单独CT切片和光流图像进行特征提取和分类，再对不同模型得到的特征结果进行融合，从而可以对肺结节进行更精确的识别判断。
Description
技术领域
本发明涉及图像识别技术领域，具体地说，涉及一种利用双流网络进行肺结节假阳性分类的方法。
背景技术
肺结节病是一种病因未明的多系统多器官的肉芽肿性疾病，肺结节的主要检测项目有影像学检查，例如胸片或者是胸部CT检查。但是，在肺结节检测中经常有气管和血管被误认为肺结节。通常在人为识别气管和血管时，观察的气管和血管是CT不同切片上的走向。气管和血管不会单独出现在某一张切片上，在CT切片形式上会将同一个气管或者血管截断，各显示一小部分。对于两张切片上的位置相差不大的情况，识别比较容易；对于两张切片上位置相差很大的情况，识别比较困难。人为识别的工作效率低，耗费大量时间和人力，且识别准确率较低，容易出现误判的情况。若通过人工智能的图像识别技术，通过对大量的胸部CT切片图像进行训练识别，则可以有效减轻人工的工作量。然而，目前常规的图像识别技术，对于肺结节的检测分类操作中，仍然存在准确度不高的问题。在对肺部CT切片检测中进行连续采样时，血管、气管内的血液、气流都在不断流动，若可以对移动的血液、气体在不同时段的切片图片中进行特征提取，则可以更准确地识别出血管和气管。
发明内容
本发明的目的在于提供一种利用双流网络进行肺结节假阳性分类的方法，以解决上述背景技术中提出的问题。
为实现上述技术问题的解决，本发明的目的之一在于，提供了一种利用双流网络进行肺结节假阳性分类的方法，包括如下步骤：
S1、对患者进行胸部CT检查，获取患者肺部的CT原始图像，对原始图像进行预处理，并获取肺部CT切片的光流图像；
S2、搭建双流网络模型，模型包括2D的卷积并行的空间流神经网络和时间流神经网络；
S3、将原始图像中的CT单张切片导入空间流神经网络中，通过空间信息特征网络及空间注意力机制，获取图像的RGB特征；
S4、将从原始图像中获取的光流图像导入时间流神经网络中，通过序列特征抽取网络及通道注意力机制，获取图像的光流特征；
S5、将提取到的RGB特征与光流特征进行特征融合；
S6、输出双流网络模型对肺结节检测分类结果，结果包括肺结节、血管、气管及其他假阳性结节等。
作为本技术方案的进一步改进，所述S1中，对原始图像进行预处理的方法包括如下步骤：
S1.1、对患者进行胸部CT检查，在患者肺部位置进行连续取样，获取肺部的立体图像；
S1.2、对获取的单张CT切片图像进行筛选，筛除结构不清晰的CT切片图片；
S1.3、将同一切片位置的CT切片图片按连续取样的顺序进行排序；
S1.4、对同一切片位置的若干连续取样的CT切片图片进行像素运动分析，获取各像素的光流矢量，进而获取该切片位置的光流信息图像。
作为本技术方案的进一步改进，所述S1.4中，获取CT切片图片各像素的光流矢量的计算表达式如下：
假设一个像素在连续取样的CT单张切片上的光强度不变，该像素的光强度为I(x,y,t)，当该像素移动了(dx,dy)的距离到下一连续采样的CT单张切片，连续采样的两张CT单张切片之间的间隔时间为dt，则：
I(x,y,t)＝I(x+dx,y+dy,t+dt)(1)
将式(1)右端进行泰勒展开，得：
其中ε代表二阶无穷小项，可忽略不计，再将式(2)代入式(1)后同除dt，可得：
设u，v分别为光流分别沿x轴和y轴的速度矢量，得：
令分别表示图像中像素点的灰度沿X，Y，T方向的偏导数，综上，式(3)可以写为：
Ixu+Iyv+It＝0 (5)
其中，Ix，Iy，It均可由图像数据求得，而(u，v)即为所求光流矢量。
作为本技术方案的进一步改进，所述S3中，获取图像的RGB特征的方法包括如下步骤：
S3.1、将CT单张切片导入双流网络模型的空间流神经网络中；
S3.2、CT单张切片依次经过空间信息特征网络的LSTM网络层、全连接层、Softmax分类层的卷积运算；
S3.3、将卷积运算后的提取出的空间信息特征导入到Dynamic CapacityNetworks的空间注意力模型中；
S3.4、通过低性能的子网络对全图进行处理，定位感兴趣区域；
S3.5、通过高性能的子网络对感兴趣区域进行精细化处理，从而获取清晰准确的RGB特征。
作为本技术方案的进一步改进，所述S4中，获取图像的光流特征的方法包括如下步骤：
S4.1、将光流信息图像导入双流网络模型的时间流神经网络中；
S4.2、光流信息图像依次经过时间信息特征网络的LSTM网络层、全连接层、Softmax分类层的卷积运算；
S4.3、将卷积运算后的提取出的空间信息特征导入到SENet(Sequeeze andExcitation Net)的通道注意力模型中；
S4.4、在正常的卷积操作后分出一个旁路分支，首先进行Squeeze操作，将空间维度进行特征压缩，即每个二维的特征图变为一个实数，相当于具有全局感受野的池化操作特征通道数不变；
S4.5、再进行Excitation操作，通过参数w为每个特征通道生成权重，w被学习用来显式地建模特征通道间的相关性；
S4.6、得到了每一个特征通道的权重之后，将该权重应用于原来的每个特征通道，用以学习到不同通道的重要性；
S4.7、按照特征通道的权重值，获取相应的光流特征。
作为本技术方案的进一步改进，所述S5中，特征融合的方法包括如下步骤：
S5.1、搭建一个全面平衡的目标检测器(Libra R-CNN)进行特征融合操作，将获取的RGB特征和光流特征导入到目标检测器中；
S5.2、通过IoU-balanced sampling操作来减少采样过程中的不平衡；
S5.3、通过balanced feature pyramid操作来减少feature的不平衡；
S5.4、通过balanced L1 loss操作来减少objective level的不平衡；
S5.5、根据肺结节的显著特征，对各类提取出的图像特征进行权重赋值；
S5.6、对各特征进行加权融合，计算各特征的加权平均数，依此作为肺结节假阳性分类的判断依据。
作为本技术方案的进一步改进，所述S5.3中，balanced feature pyramid操作采用integrate融合方法，其计算表达式为：
融合操作为把所有level的特征eltwise相加，并除以level的数目：
作为本技术方案的进一步改进，所述S5.4中，balanced L1 loss操作中，为了增大inliers的贡献，则将原来的smooth L1 loss的梯度替换为：
即|x|<1时进行了替换，则损失函数为对上式进行积分，表达式为：
作为本技术方案的进一步改进，所述S5.5中，对各类提取出的图像特征进行权重赋值的计算表达式为：
其中，Wk为可判定为肺结节的特征符合程度。
作为本技术方案的进一步改进，所述S5.6中，计算各特征的加权平均数的公式为：
式中，x1，x2，…，xn分别为各特征的明显程度值，f1+f2+…+fk＝n；f1，f2，…，fk分别为特征x1，x2，…，xn的权。
作为本技术方案的进一步改进，所述。
本发明的目的之二在于，提供了一种利用双流网络进行肺结节假阳性分类的系统及其运行装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述任一的利用双流网络进行肺结节假阳性分类的方法的步骤。
本发明的目的之三在于，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一的利用双流网络进行肺结节假阳性分类的方法的步骤。
与现有技术相比，本发明的有益效果：
1.该利用双流网络进行肺结节假阳性分类的方法受到视频中移动物体在不同帧上特征提取的启发，采用光流法通过对同一切片位置不同采样时间点血液/气体图片像素的移动进行特征提取，则可以更好地识别血管/气管，降低肺结节识别的假阳性比例，减轻人工的工作量，提高检测判断的工作效率及准确度；
2.该利用双流网络进行肺结节假阳性分类的方法通过搭建双流网络模型，将单独的CT切片图片作为表述空间信息的载体，同时将同一位置的切片图像叠加后的光流信息作为时序信息的载体，采用卷积神经网络分别对两种数据样本进行特征提取和分类，再对不同模型得到的特征结果进行融合，从而可以对肺结节进行更精确的识别判断。
附图说明
图1为本发明的示例性方法架构流程框图；
图2为本发明的整体方法流程图；
图3为本发明的局部方法流程图之一；
图4为本发明的局部方法流程图之二；
图5为本发明的局部方法流程图之三；
图6为本发明的局部方法流程图之四。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1-图6所示，本实施例的目的在于，提供了一种利用双流网络进行肺结节假阳性分类的方法，包括如下步骤：
S1、对患者进行胸部CT检查，获取患者肺部的CT原始图像，对原始图像进行预处理，并获取肺部CT切片的光流图像；
S2、搭建双流网络模型，模型包括2D的卷积并行的空间流神经网络和时间流神经网络；
S3、将原始图像中的CT单张切片导入空间流神经网络中，通过空间信息特征网络及空间注意力机制，获取图像的RGB特征；
S4、将从原始图像中获取的光流图像导入时间流神经网络中，通过序列特征抽取网络及通道注意力机制，获取图像的光流特征；
S5、将提取到的RGB特征与光流特征进行特征融合；
S6、输出双流网络模型对肺结节检测分类结果，结果包括肺结节、血管、气管及其他假阳性结节等。
本实施例中，S1中，对原始图像进行预处理的方法包括如下步骤：
S1.1、对患者进行胸部CT检查，在患者肺部位置进行连续取样，获取肺部的立体图像；
S1.2、对获取的单张CT切片图像进行筛选，筛除结构不清晰的CT切片图片；
S1.3、将同一切片位置的CT切片图片按连续取样的顺序进行排序；
S1.4、对同一切片位置的若干连续取样的CT切片图片进行像素运动分析，获取各像素的光流矢量，进而获取该切片位置的光流信息图像。
进一步地，S1.4中，获取CT切片图片各像素的光流矢量的计算表达式如下：
假设一个像素在连续取样的CT单张切片上的光强度不变，该像素的光强度为I(x,y,t)，当该像素移动了(dx,dy)的距离到下一连续采样的CT单张切片，连续采样的两张CT单张切片之间的间隔时间为dt，则：
I(x,y,t)＝I(x+dx,y+dy,t+dt) (1)
将式(1)右端进行泰勒展开，得：
其中ε代表二阶无穷小项，可忽略不计，再将式(2)代入式(1)后同除dt，可得：
设u，v分别为光流分别沿x轴和y轴的速度矢量，得：
令分别表示图像中像素点的灰度沿X，Y，T方向的偏导数，综上，式(3)可以写为：
Ixu+Iyv+It＝0 (5)
其中，Ix，Iy，It均可由图像数据求得，而(u，v)即为所求光流矢量。
本实施例中，S3中，获取图像的RGB特征的方法包括如下步骤：
S3.1、将CT单张切片导入双流网络模型的空间流神经网络中；
S3.2、CT单张切片依次经过空间信息特征网络的LSTM网络层、全连接层、Softmax分类层的卷积运算；
S3.3、将卷积运算后的提取出的空间信息特征导入到Dynamic CapacityNetworks的空间注意力模型中；
S3.4、通过低性能的子网络对全图进行处理，定位感兴趣区域；
S3.5、通过高性能的子网络对感兴趣区域进行精细化处理，从而获取清晰准确的RGB特征。
本实施例中，S4中，获取图像的光流特征的方法包括如下步骤：
S4.1、将光流信息图像导入双流网络模型的时间流神经网络中；
S4.2、光流信息图像依次经过时间信息特征网络的LSTM网络层、全连接层、Softmax分类层的卷积运算；
S4.3、将卷积运算后的提取出的空间信息特征导入到SENet(Sequeeze andExcitation Net)的通道注意力模型中；
S4.4、在正常的卷积操作后分出一个旁路分支，首先进行Squeeze操作，将空间维度进行特征压缩，即每个二维的特征图变为一个实数，相当于具有全局感受野的池化操作特征通道数不变；
S4.5、再进行Excitation操作，通过参数w为每个特征通道生成权重，w被学习用来显式地建模特征通道间的相关性；
S4.6、得到了每一个特征通道的权重之后，将该权重应用于原来的每个特征通道，用以学习到不同通道的重要性；
S4.7、按照特征通道的权重值，获取相应的光流特征。
本实施例中，S5中，特征融合的方法包括如下步骤：
S5.1、搭建一个全面平衡的目标检测器(Libra R-CNN)进行特征融合操作，将获取的RGB特征和光流特征导入到目标检测器中；
S5.2、通过IoU-balanced sampling操作来减少采样过程中的不平衡；
S5.3、通过balanced feature pyramid操作来减少feature的不平衡；
S5.4、通过balanced L1 loss操作来减少objective level的不平衡；
S5.5、根据肺结节的显著特征，对各类提取出的图像特征进行权重赋值；
S5.6、对各特征进行加权融合，计算各特征的加权平均数，依此作为肺结节假阳性分类的判断依据。
进一步地，S5.3中，balanced feature pyramid操作采用integrate融合方法，其计算表达式为：
融合操作为把所有level的特征eltwise相加，并除以level的数目：
进一步地，S5.4中，balanced L1 loss操作中，为了增大inliers的贡献，则将原来的smooth L1 loss的梯度替换为：
即|x|<1时进行了替换，则损失函数为对上式进行积分，表达式为：
进一步地，S5.5中，对各类提取出的图像特征进行权重赋值的计算表达式为：
其中，Wk为可判定为肺结节的特征符合程度。
进一步地，S5.6中，计算各特征的加权平均数的公式为：
式中，x1，x2，…，xn分别为各特征的明显程度值，f1+f2+…+fk＝n；f1，f2，…，fk分别为特征x1，x2，…，xn的权。
本实施例还提供了一种利用双流网络进行肺结节假阳性分类的系统及其运行装置，该装置包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。
处理器包括一个或一个以上处理核心，处理器通过总线与存储器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的利用双流网络进行肺结节假阳性分类的方法。
可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的利用双流网络进行肺结节假阳性分类的方法的步骤。
可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面利用双流网络进行肺结节假阳性分类的方法的步骤。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储与计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (7)
1.一种利用双流网络进行肺结节假阳性分类的方法，其特征在于：包括如下步骤：
S1、对患者进行胸部CT检查，获取患者肺部的CT原始图像，对原始图像进行预处理，并获取肺部CT切片的光流图像；
S2、搭建双流网络模型，模型包括2D的卷积并行的空间流神经网络和时间流神经网络；
S3、将原始图像中的CT单张切片导入空间流神经网络中，通过空间信息特征网络及空间注意力机制，获取图像的RGB特征；
S4、将从原始图像中获取的光流图像导入时间流神经网络中，通过序列特征抽取网络及通道注意力机制，获取图像的光流特征；
S5、将提取到的RGB特征与光流特征进行特征融合；
S6、输出双流网络模型对肺结节检测分类结果，结果包括肺结节、血管、气管及其他假阳性结节等；
所述S1中，对原始图像进行预处理的方法包括如下步骤：
S1.1、对患者进行胸部CT检查，在患者肺部位置进行连续取样，获取肺部的立体图像；
S1.2、对获取的单张CT切片图像进行筛选，筛除结构不清晰的CT切片图片；
S1.3、将同一切片位置的CT切片图片按连续取样的顺序进行排序；
S1.4、对同一切片位置的若干连续取样的CT切片图片进行像素运动分析，获取各像素的光流矢量，进而获取该切片位置的光流信息图像；
所述S1.4中，获取CT切片图片各像素的光流矢量的计算表达式如下：
假设一个像素在连续取样的CT单张切片上的光强度不变，该像素的光强度为I(x,y,t)，当该像素移动了(dx,dy)的距离到下一连续采样的CT单张切片，连续采样的两张CT单张切片之间的间隔时间为dt，则：
I(x,y,t)＝I(x+dx,y+dy,t+dt) (1)
将式(1)右端进行泰勒展开，得：
其中ε代表二阶无穷小项，可忽略不计，再将式(2)代入式(1)后同除dt，可得：
设u，v分别为光流分别沿x轴和y轴的速度矢量，得：
令分别表示图像中像素点的灰度沿X，Y，T方向的偏导数，综上，式(3)可以写为：
Ixu+Iyv+It＝0 (5)
其中，Ix，Iy，It均可由图像数据求得，而(u，v)即为所求光流矢量；
所述S3中，获取图像的RGB特征的方法包括如下步骤：
S3.1、将CT单张切片导入双流网络模型的空间流神经网络中；
S3.2、CT单张切片依次经过空间信息特征网络的LSTM网络层、全连接层、Softmax分类层的卷积运算；
S3.3、将卷积运算后的提取出的空间信息特征导入到Dynamic Capacity Networks的空间注意力模型中；
S3.4、通过低性能的子网络对全图进行处理，定位感兴趣区域；
S3.5、通过高性能的子网络对感兴趣区域进行精细化处理，从而获取清晰准确的RGB特征。
2.根据权利要求1所述的利用双流网络进行肺结节假阳性分类的方法，其特征在于：所述S4中，获取图像的光流特征的方法包括如下步骤：
S4.1、将光流信息图像导入双流网络模型的时间流神经网络中；
S4.2、光流信息图像依次经过时间信息特征网络的LSTM网络层、全连接层、Softmax分类层的卷积运算；
S4.3、将卷积运算后的提取出的空间信息特征导入到SENet(Sequeeze andExcitation Net)的通道注意力模型中；
S4.4、在正常的卷积操作后分出一个旁路分支，首先进行Squeeze操作，将空间维度进行特征压缩，即每个二维的特征图变为一个实数，相当于具有全局感受野的池化操作特征通道数不变；
S4.5、再进行Excitation操作，通过参数w为每个特征通道生成权重，w被学习用来显式地建模特征通道间的相关性；
S4.6、得到了每一个特征通道的权重之后，将该权重应用于原来的每个特征通道，用以学习到不同通道的重要性；
S4.7、按照特征通道的权重值，获取相应的光流特征。
3.根据权利要求1所述的利用双流网络进行肺结节假阳性分类的方法，其特征在于：所述S5中，特征融合的方法包括如下步骤：
S5.1、搭建一个全面平衡的目标检测器(Libra R-CNN)进行特征融合操作，将获取的RGB特征和光流特征导入到目标检测器中；
S5.2、通过IoU-balanced sampling操作来减少采样过程中的不平衡；
S5.3、通过balanced feature pyramid操作来减少feature的不平衡；
S5.4、通过balanced L1 loss操作来减少objective level的不平衡；
S5.5、根据肺结节的显著特征，对各类提取出的图像特征进行权重赋值；
S5.6、对各特征进行加权融合，计算各特征的加权平均数，依此作为肺结节假阳性分类的判断依据。
4.根据权利要求3所述的利用双流网络进行肺结节假阳性分类的方法，其特征在于：所述S5.3中，balanced feature pyramid操作采用integrate融合方法，其计算表达式为：
融合操作为把所有level的特征eltwise相加，并除以level的数目：
5.根据权利要求3所述的利用双流网络进行肺结节假阳性分类的方法，其特征在于：所述S5.4中，balanced L1 loss操作中，为了增大inliers的贡献，则将原来的smooth L1loss的梯度替换为：
即|x|<1时进行了替换，则损失函数为对上式进行积分，表达式为：
6.根据权利要求3所述的利用双流网络进行肺结节假阳性分类的方法，其特征在于：所述S5.5中，对各类提取出的图像特征进行权重赋值的计算表达式为：
其中，Wk为可判定为肺结节的特征符合程度。
7.根据权利要求3所述的利用双流网络进行肺结节假阳性分类的方法，其特征在于：所述S5.6中，计算各特征的加权平均数的公式为：
式中，x1，x2，…，xn分别为各特征的明显程度值，f1+f2+…+fk＝n；f1，f2，…，fk分别为特征x1，x2，…，xn的权。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110855730.XA CN113506289B (zh) | 2021-07-28 | 2021-07-28 | 一种利用双流网络进行肺结节假阳性分类的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110855730.XA CN113506289B (zh) | 2021-07-28 | 2021-07-28 | 一种利用双流网络进行肺结节假阳性分类的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113506289A CN113506289A (zh) | 2021-10-15 |
| CN113506289B true CN113506289B (zh) | 2024-03-29 |
Family
ID=78014316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110855730.XA Active CN113506289B (zh) | 2021-07-28 | 2021-07-28 | 一种利用双流网络进行肺结节假阳性分类的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113506289B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114372978B (zh) * | 2022-02-10 | 2022-06-28 | 北京安德医智科技有限公司 | 一种超声造影影像分类方法及装置、电子设备和存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013013142A1 (en) * | 2011-07-21 | 2013-01-24 | The Research Foundation Of State University Of New York | System and method for ct-guided needle biopsy |
| CN107464234A (zh) * | 2017-07-24 | 2017-12-12 | 上海交通大学 | 基于rgb通道叠加方法的肺结节图像深度学习识别系统及其方法 |
| CN109003260A (zh) * | 2018-06-28 | 2018-12-14 | 深圳视见医疗科技有限公司 | Ct图像肺结节检测方法、装置、设备及可读存储介质 |
| CN109003672A (zh) * | 2018-07-16 | 2018-12-14 | 北京睿客邦科技有限公司 | 一种基于深度学习的早期肺癌检测分类一体化设备及系统 |
| CN109035234A (zh) * | 2018-07-25 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 一种结节检测方法、装置和存储介质 |
| CN109523525A (zh) * | 2018-11-07 | 2019-03-26 | 广州大学 | 图像融合的恶性肺结节识别方法、装置、设备及存储介质 |
| CN109685776A (zh) * | 2018-12-12 | 2019-04-26 | 华中科技大学 | 一种基于ct图像的肺结节检测方法及系统 |
| CN110772286A (zh) * | 2019-11-05 | 2020-02-11 | 王宁 | 一种基于超声造影识别肝脏局灶性病变的系统 |
| CN110838114A (zh) * | 2019-11-11 | 2020-02-25 | 苏州锐一仪器科技有限公司 | 肺结节检测方法、装置及计算机存储介质 |
| CN110852350A (zh) * | 2019-10-21 | 2020-02-28 | 北京航空航天大学 | 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统 |
| CN110909658A (zh) * | 2019-11-19 | 2020-03-24 | 北京工商大学 | 一种基于双流卷积网络的视频中人体行为识别方法 |
| CN110942446A (zh) * | 2019-10-17 | 2020-03-31 | 付冲 | 一种基于ct影像的肺结节自动检测方法 |
| CN111524144A (zh) * | 2020-04-10 | 2020-08-11 | 南通大学 | 一种基于GAN和Unet网络的肺结节智能诊断方法 |
| CN112215799A (zh) * | 2020-09-14 | 2021-01-12 | 北京航空航天大学 | 一种磨玻璃肺结节自动分类方法及系统 |
| CN112581436A (zh) * | 2020-12-11 | 2021-03-30 | 佛山市普世医学科技有限责任公司 | 基于深度学习的肺结节识别与分割方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019103912A2 (en) * | 2017-11-22 | 2019-05-31 | Arterys Inc. | Content based image retrieval for lesion analysis |
-
2021
- 2021-07-28 CN CN202110855730.XA patent/CN113506289B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013013142A1 (en) * | 2011-07-21 | 2013-01-24 | The Research Foundation Of State University Of New York | System and method for ct-guided needle biopsy |
| CN107464234A (zh) * | 2017-07-24 | 2017-12-12 | 上海交通大学 | 基于rgb通道叠加方法的肺结节图像深度学习识别系统及其方法 |
| CN109003260A (zh) * | 2018-06-28 | 2018-12-14 | 深圳视见医疗科技有限公司 | Ct图像肺结节检测方法、装置、设备及可读存储介质 |
| CN109003672A (zh) * | 2018-07-16 | 2018-12-14 | 北京睿客邦科技有限公司 | 一种基于深度学习的早期肺癌检测分类一体化设备及系统 |
| CN109035234A (zh) * | 2018-07-25 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 一种结节检测方法、装置和存储介质 |
| CN109523525A (zh) * | 2018-11-07 | 2019-03-26 | 广州大学 | 图像融合的恶性肺结节识别方法、装置、设备及存储介质 |
| CN109685776A (zh) * | 2018-12-12 | 2019-04-26 | 华中科技大学 | 一种基于ct图像的肺结节检测方法及系统 |
| CN110942446A (zh) * | 2019-10-17 | 2020-03-31 | 付冲 | 一种基于ct影像的肺结节自动检测方法 |
| CN110852350A (zh) * | 2019-10-21 | 2020-02-28 | 北京航空航天大学 | 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统 |
| CN110772286A (zh) * | 2019-11-05 | 2020-02-11 | 王宁 | 一种基于超声造影识别肝脏局灶性病变的系统 |
| CN110838114A (zh) * | 2019-11-11 | 2020-02-25 | 苏州锐一仪器科技有限公司 | 肺结节检测方法、装置及计算机存储介质 |
| CN110909658A (zh) * | 2019-11-19 | 2020-03-24 | 北京工商大学 | 一种基于双流卷积网络的视频中人体行为识别方法 |
| CN111524144A (zh) * | 2020-04-10 | 2020-08-11 | 南通大学 | 一种基于GAN和Unet网络的肺结节智能诊断方法 |
| CN112215799A (zh) * | 2020-09-14 | 2021-01-12 | 北京航空航天大学 | 一种磨玻璃肺结节自动分类方法及系统 |
| CN112581436A (zh) * | 2020-12-11 | 2021-03-30 | 佛山市普世医学科技有限责任公司 | 基于深度学习的肺结节识别与分割方法及系统 |
Non-Patent Citations (6)
| Title |
|---|
| "基于深度特征的腹部CT 影像肝脏占位性 病变辅助诊断研究";夏开建;《中国博士学位论文全文数据库》;全文 * |
| "非对称卷积核YOLO V2网络的CT影像肺结节检测";李新征，金炜‘，李纲，尹曹谦;《中国生物医学工程学报》;全文 * |
| Haixin Peng,et al."3D multi-scale deep convolutional neural networks for pulmonary nodule detection".《PLOS ONE》.2021,全文. * |
| 基于Local Jet变换空间纹理特征的肺结节分类方法;代美玲;祁瑾;周仲兴;高峰;;中国生物医学工程学报;20170220(第01期);全文 * |
| 基于深度学习的肺CT医学影像识别研究;张锏;李雪竹;;宿州学院学报(第09期);全文 * |
| 肺结节智能检测和三维可视化系统设计与实现;马思然;杨媛媛;倪扬帆;顾轶平;;计算机测量与控制(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113506289A (zh) | 2021-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| US11813047B2 (en) | Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy | |
| CN110288597B (zh) | 基于注意力机制的无线胶囊内窥镜视频显著性检测方法 | |
| CN109523535B (zh) | 一种病变图像的预处理方法 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN109192305B (zh) | 一种基于深度循环神经网络的心功能自动分析方法 | |
| CN110729045A (zh) | 一种基于上下文感知残差网络的舌图像分割方法 | |
| CN111640120A (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN113283407A (zh) | 一种基于通道与空间注意力机制的孪生网络目标跟踪方法 | |
| CN113591968A (zh) | 一种基于非对称注意力特征融合的红外弱小目标检测方法 | |
| CN111080596A (zh) | 一种融合局部阴影与全局特征的尘肺病辅助筛查方法及系统 | |
| CN110738103A (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
| CN112419295A (zh) | 医学图像处理方法、装置、计算机设备和存储介质 | |
| CN113506289B (zh) | 一种利用双流网络进行肺结节假阳性分类的方法 | |
| CN115661459A (zh) | 一种使用差异信息的2D mean teacher模型 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| US11521323B2 (en) | Systems and methods for generating bullseye plots | |
| CN116825363B (zh) | 基于融合深度学习网络的早期肺腺癌病理类型预测系统 | |
| CN113222985B (zh) | 一种图像处理方法、装置、计算机设备和介质 | |
| CN111046861B (zh) | 识别红外影像的方法、构建识别模型的方法及应用 | |
| Li et al. | Object recognition for augmented reality applications | |
| CN112734707A (zh) | 一种3d内窥镜辅助检测方法、系统、装置及存储介质 | |
| Li et al. | Uncertainty quantification in medical image segmentation | |
| US20230169659A1 (en) | Image segmentation and tracking based on statistical shape model | |
| WO2024108438A1 (zh) | 一种速度编码磁共振成像的运动伪影校正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |