CN113506289A - 一种利用双流网络进行肺结节假阳性分类的方法 - Google Patents

一种利用双流网络进行肺结节假阳性分类的方法 Download PDF

Info

Publication number
CN113506289A
CN113506289A CN202110855730.XA CN202110855730A CN113506289A CN 113506289 A CN113506289 A CN 113506289A CN 202110855730 A CN202110855730 A CN 202110855730A CN 113506289 A CN113506289 A CN 113506289A
Authority
CN
China
Prior art keywords
image
flow
network
features
slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110855730.XA
Other languages
English (en)
Other versions
CN113506289B (zh
Inventor
王艳芳
马力
陈庆武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Yangshi Technology Co ltd
Original Assignee
Zhongshan Yangshi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Yangshi Technology Co ltd filed Critical Zhongshan Yangshi Technology Co ltd
Priority to CN202110855730.XA priority Critical patent/CN113506289B/zh
Publication of CN113506289A publication Critical patent/CN113506289A/zh
Application granted granted Critical
Publication of CN113506289B publication Critical patent/CN113506289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及图像识别技术领域，涉及一种利用双流网络进行肺结节假阳性分类的方法。包括获取患者肺部的CT原始图像并进行预处理获取光流图像、搭建双流网络模型、将CT单张切片导入空间流神经网络获取图像的RGB特征、将光流图像导入时间流神经网络获取图像的光流特征、进行特征融合、输出分类结果等步骤。本发明设计采用光流法对同一切片位置不同采样时间点的图片进行特征提取，可以降低肺结节识别的假阳性比例，减轻人工的工作量，提高检测判断的工作效率及准确度；通过搭建双流网络模型，采用卷积神经网络分别对单独CT切片和光流图像进行特征提取和分类，再对不同模型得到的特征结果进行融合，从而可以对肺结节进行更精确的识别判断。

Description

一种利用双流网络进行肺结节假阳性分类的方法
技术领域
本发明涉及图像识别技术领域，具体地说，涉及一种利用双流网络进行肺结节假阳性分类的方法。
背景技术
肺结节病是一种病因未明的多系统多器官的肉芽肿性疾病，肺结节的主要检测项目有影像学检查，例如胸片或者是胸部CT检查。但是，在肺结节检测中经常有气管和血管被误认为肺结节。通常在人为识别气管和血管时，观察的气管和血管是CT不同切片上的走向。气管和血管不会单独出现在某一张切片上，在CT切片形式上会将同一个气管或者血管截断，各显示一小部分。对于两张切片上的位置相差不大的情况，识别比较容易；对于两张切片上位置相差很大的情况，识别比较困难。人为识别的工作效率低，耗费大量时间和人力，且识别准确率较低，容易出现误判的情况。若通过人工智能的图像识别技术，通过对大量的胸部CT切片图像进行训练识别，则可以有效减轻人工的工作量。然而，目前常规的图像识别技术，对于肺结节的检测分类操作中，仍然存在准确度不高的问题。在对肺部CT切片检测中进行连续采样时，血管、气管内的血液、气流都在不断流动，若可以对移动的血液、气体在不同时段的切片图片中进行特征提取，则可以更准确地识别出血管和气管。
发明内容
本发明的目的在于提供一种利用双流网络进行肺结节假阳性分类的方法，以解决上述背景技术中提出的问题。
为实现上述技术问题的解决，本发明的目的之一在于，提供了一种利用双流网络进行肺结节假阳性分类的方法，包括如下步骤：
S1、对患者进行胸部CT检查，获取患者肺部的CT原始图像，对原始图像进行预处理，并获取肺部CT切片的光流图像；
S2、搭建双流网络模型，模型包括2D的卷积并行的空间流神经网络和时间流神经网络；
S3、将原始图像中的CT单张切片导入空间流神经网络中，通过空间信息特征网络及空间注意力机制，获取图像的RGB特征；
S4、将从原始图像中获取的光流图像导入时间流神经网络中，通过序列特征抽取网络及通道注意力机制，获取图像的光流特征；
S5、将提取到的RGB特征与光流特征进行特征融合；
S6、输出双流网络模型对肺结节检测分类结果，结果包括肺结节、血管、气管及其他假阳性结节等。
作为本技术方案的进一步改进，所述S1中，对原始图像进行预处理的方法包括如下步骤：
S1.1、对患者进行胸部CT检查，在患者肺部位置进行连续取样，获取肺部的立体图像；
S1.2、对获取的单张CT切片图像进行筛选，筛除结构不清晰的CT切片图片；
S1.3、将同一切片位置的CT切片图片按连续取样的顺序进行排序；
S1.4、对同一切片位置的若干连续取样的CT切片图片进行像素运动分析，获取各像素的光流矢量，进而获取该切片位置的光流信息图像。
作为本技术方案的进一步改进，所述S1.4中，获取CT切片图片各像素的光流矢量的计算表达式如下：
假设一个像素在连续取样的CT单张切片上的光强度不变，该像素的光强度为I(x,y,t)，当该像素移动了(dx,dy)的距离到下一连续采样的CT单张切片，连续采样的两张CT单张切片之间的间隔时间为dt，则：
I(x,y,t)＝I(x+dx,y+dy,t+dt)(1)
将式(1)右端进行泰勒展开，得：
Figure BDA0003184104280000021
其中ε代表二阶无穷小项，可忽略不计，再将式(2)代入式(1)后同除dt，可得：
Figure BDA0003184104280000031
设u，v分别为光流分别沿x轴和y轴的速度矢量，得：
Figure BDA0003184104280000032
令
Figure BDA0003184104280000033
分别表示图像中像素点的灰度沿X，Y，T方向的偏导数，综上，式(3)可以写为：
Ixu+Iyv+It＝0 (5)
其中，Ix，Iy，It均可由图像数据求得，而(u，v)即为所求光流矢量。
作为本技术方案的进一步改进，所述S3中，获取图像的RGB特征的方法包括如下步骤：
S3.1、将CT单张切片导入双流网络模型的空间流神经网络中；
S3.2、CT单张切片依次经过空间信息特征网络的LSTM网络层、全连接层、Softmax分类层的卷积运算；
S3.3、将卷积运算后的提取出的空间信息特征导入到Dynamic CapacityNetworks的空间注意力模型中；
S3.4、通过低性能的子网络对全图进行处理，定位感兴趣区域；
S3.5、通过高性能的子网络对感兴趣区域进行精细化处理，从而获取清晰准确的RGB特征。
作为本技术方案的进一步改进，所述S4中，获取图像的光流特征的方法包括如下步骤：
S4.1、将光流信息图像导入双流网络模型的时间流神经网络中；
S4.2、光流信息图像依次经过时间信息特征网络的LSTM网络层、全连接层、Softmax分类层的卷积运算；
S4.3、将卷积运算后的提取出的空间信息特征导入到SENet(Sequeeze andExcitation Net)的通道注意力模型中；
S4.4、在正常的卷积操作后分出一个旁路分支，首先进行Squeeze操作，将空间维度进行特征压缩，即每个二维的特征图变为一个实数，相当于具有全局感受野的池化操作特征通道数不变；
S4.5、再进行Excitation操作，通过参数w为每个特征通道生成权重，w被学习用来显式地建模特征通道间的相关性；
S4.6、得到了每一个特征通道的权重之后，将该权重应用于原来的每个特征通道，用以学习到不同通道的重要性；
S4.7、按照特征通道的权重值，获取相应的光流特征。
作为本技术方案的进一步改进，所述S5中，特征融合的方法包括如下步骤：
S5.1、搭建一个全面平衡的目标检测器(Libra R-CNN)进行特征融合操作，将获取的RGB特征和光流特征导入到目标检测器中；
S5.2、通过IoU-balanced sampling操作来减少采样过程中的不平衡；
S5.3、通过balanced feature pyramid操作来减少feature的不平衡；
S5.4、通过balanced L1 loss操作来减少objective level的不平衡；
S5.5、根据肺结节的显著特征，对各类提取出的图像特征进行权重赋值；
S5.6、对各特征进行加权融合，计算各特征的加权平均数，依此作为肺结节假阳性分类的判断依据。
作为本技术方案的进一步改进，所述S5.3中，balanced feature pyramid操作采用integrate融合方法，其计算表达式为：
融合操作为把所有level的特征eltwise相加，并除以level的数目：
Figure BDA0003184104280000041
作为本技术方案的进一步改进，所述S5.4中，balanced L1 loss操作中，为了增大inliers的贡献，则将原来的smooth L1 loss的梯度替换为：
Figure BDA0003184104280000051
即|x|<1时进行了替换，则损失函数为对上式进行积分，表达式为：
Figure BDA0003184104280000052
作为本技术方案的进一步改进，所述S5.5中，对各类提取出的图像特征进行权重赋值的计算表达式为：
Figure BDA0003184104280000053
其中，Wk为可判定为肺结节的特征符合程度。
作为本技术方案的进一步改进，所述S5.6中，计算各特征的加权平均数的公式为：
Figure BDA0003184104280000054
式中，x1，x2，…，xn分别为各特征的明显程度值，f1+f2+…+fk＝n；f1，f2，…，fk分别为特征x1，x2，…，xn的权。
作为本技术方案的进一步改进，所述。
本发明的目的之二在于，提供了一种利用双流网络进行肺结节假阳性分类的系统及其运行装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述任一的利用双流网络进行肺结节假阳性分类的方法的步骤。
本发明的目的之三在于，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一的利用双流网络进行肺结节假阳性分类的方法的步骤。
与现有技术相比，本发明的有益效果：
1.该利用双流网络进行肺结节假阳性分类的方法受到视频中移动物体在不同帧上特征提取的启发，采用光流法通过对同一切片位置不同采样时间点血液/气体图片像素的移动进行特征提取，则可以更好地识别血管/气管，降低肺结节识别的假阳性比例，减轻人工的工作量，提高检测判断的工作效率及准确度；
2.该利用双流网络进行肺结节假阳性分类的方法通过搭建双流网络模型，将单独的CT切片图片作为表述空间信息的载体，同时将同一位置的切片图像叠加后的光流信息作为时序信息的载体，采用卷积神经网络分别对两种数据样本进行特征提取和分类，再对不同模型得到的特征结果进行融合，从而可以对肺结节进行更精确的识别判断。
附图说明
图1为本发明的示例性方法架构流程框图；
图2为本发明的整体方法流程图；
图3为本发明的局部方法流程图之一；
图4为本发明的局部方法流程图之二；
图5为本发明的局部方法流程图之三；
图6为本发明的局部方法流程图之四。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1-图6所示，本实施例的目的在于，提供了一种利用双流网络进行肺结节假阳性分类的方法，包括如下步骤：
S1、对患者进行胸部CT检查，获取患者肺部的CT原始图像，对原始图像进行预处理，并获取肺部CT切片的光流图像；
S2、搭建双流网络模型，模型包括2D的卷积并行的空间流神经网络和时间流神经网络；
S3、将原始图像中的CT单张切片导入空间流神经网络中，通过空间信息特征网络及空间注意力机制，获取图像的RGB特征；
S4、将从原始图像中获取的光流图像导入时间流神经网络中，通过序列特征抽取网络及通道注意力机制，获取图像的光流特征；
S5、将提取到的RGB特征与光流特征进行特征融合；
S6、输出双流网络模型对肺结节检测分类结果，结果包括肺结节、血管、气管及其他假阳性结节等。
本实施例中，S1中，对原始图像进行预处理的方法包括如下步骤：
S1.1、对患者进行胸部CT检查，在患者肺部位置进行连续取样，获取肺部的立体图像；
S1.2、对获取的单张CT切片图像进行筛选，筛除结构不清晰的CT切片图片；
S1.3、将同一切片位置的CT切片图片按连续取样的顺序进行排序；
S1.4、对同一切片位置的若干连续取样的CT切片图片进行像素运动分析，获取各像素的光流矢量，进而获取该切片位置的光流信息图像。
进一步地，S1.4中，获取CT切片图片各像素的光流矢量的计算表达式如下：
假设一个像素在连续取样的CT单张切片上的光强度不变，该像素的光强度为I(x,y,t)，当该像素移动了(dx,dy)的距离到下一连续采样的CT单张切片，连续采样的两张CT单张切片之间的间隔时间为dt，则：
I(x,y,t)＝I(x+dx,y+dy,t+dt) (1)
将式(1)右端进行泰勒展开，得：
Figure BDA0003184104280000071
其中ε代表二阶无穷小项，可忽略不计，再将式(2)代入式(1)后同除dt，可得：
Figure BDA0003184104280000072
设u，v分别为光流分别沿x轴和y轴的速度矢量，得：
Figure BDA0003184104280000073
令
Figure BDA0003184104280000081
分别表示图像中像素点的灰度沿X，Y，T方向的偏导数，综上，式(3)可以写为：
Ixu+Iyv+It＝0 (5)
其中，Ix，Iy，It均可由图像数据求得，而(u，v)即为所求光流矢量。
本实施例中，S3中，获取图像的RGB特征的方法包括如下步骤：
S3.1、将CT单张切片导入双流网络模型的空间流神经网络中；
S3.2、CT单张切片依次经过空间信息特征网络的LSTM网络层、全连接层、Softmax分类层的卷积运算；
S3.3、将卷积运算后的提取出的空间信息特征导入到Dynamic CapacityNetworks的空间注意力模型中；
S3.4、通过低性能的子网络对全图进行处理，定位感兴趣区域；
S3.5、通过高性能的子网络对感兴趣区域进行精细化处理，从而获取清晰准确的RGB特征。
本实施例中，S4中，获取图像的光流特征的方法包括如下步骤：
S4.1、将光流信息图像导入双流网络模型的时间流神经网络中；
S4.2、光流信息图像依次经过时间信息特征网络的LSTM网络层、全连接层、Softmax分类层的卷积运算；
S4.3、将卷积运算后的提取出的空间信息特征导入到SENet(Sequeeze andExcitation Net)的通道注意力模型中；
S4.4、在正常的卷积操作后分出一个旁路分支，首先进行Squeeze操作，将空间维度进行特征压缩，即每个二维的特征图变为一个实数，相当于具有全局感受野的池化操作特征通道数不变；
S4.5、再进行Excitation操作，通过参数w为每个特征通道生成权重，w被学习用来显式地建模特征通道间的相关性；
S4.6、得到了每一个特征通道的权重之后，将该权重应用于原来的每个特征通道，用以学习到不同通道的重要性；
S4.7、按照特征通道的权重值，获取相应的光流特征。
本实施例中，S5中，特征融合的方法包括如下步骤：
S5.1、搭建一个全面平衡的目标检测器(Libra R-CNN)进行特征融合操作，将获取的RGB特征和光流特征导入到目标检测器中；
S5.2、通过IoU-balanced sampling操作来减少采样过程中的不平衡；
S5.3、通过balanced feature pyramid操作来减少feature的不平衡；
S5.4、通过balanced L1 loss操作来减少objective level的不平衡；
S5.5、根据肺结节的显著特征，对各类提取出的图像特征进行权重赋值；
S5.6、对各特征进行加权融合，计算各特征的加权平均数，依此作为肺结节假阳性分类的判断依据。
进一步地，S5.3中，balanced feature pyramid操作采用integrate融合方法，其计算表达式为：
融合操作为把所有level的特征eltwise相加，并除以level的数目：
Figure BDA0003184104280000091
进一步地，S5.4中，balanced L1 loss操作中，为了增大inliers的贡献，则将原来的smooth L1 loss的梯度替换为：
Figure BDA0003184104280000092
即|x|<1时进行了替换，则损失函数为对上式进行积分，表达式为：
Figure BDA0003184104280000093
进一步地，S5.5中，对各类提取出的图像特征进行权重赋值的计算表达式为：
Figure BDA0003184104280000101
其中，Wk为可判定为肺结节的特征符合程度。
进一步地，S5.6中，计算各特征的加权平均数的公式为：
Figure BDA0003184104280000102
式中，x1，x2，…，xn分别为各特征的明显程度值，f1+f2+…+fk＝n；f1，f2，…，fk分别为特征x1，x2，…，xn的权。
本实施例还提供了一种利用双流网络进行肺结节假阳性分类的系统及其运行装置，该装置包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序。
处理器包括一个或一个以上处理核心，处理器通过总线与存储器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的利用双流网络进行肺结节假阳性分类的方法。
可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的利用双流网络进行肺结节假阳性分类的方法的步骤。
可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面利用双流网络进行肺结节假阳性分类的方法的步骤。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储与计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种利用双流网络进行肺结节假阳性分类的方法，其特征在于：包括如下步骤：
S1、对患者进行胸部CT检查，获取患者肺部的CT原始图像，对原始图像进行预处理，并获取肺部CT切片的光流图像；
S2、搭建双流网络模型，模型包括2D的卷积并行的空间流神经网络和时间流神经网络；
S3、将原始图像中的CT单张切片导入空间流神经网络中，通过空间信息特征网络及空间注意力机制，获取图像的RGB特征；
S4、将从原始图像中获取的光流图像导入时间流神经网络中，通过序列特征抽取网络及通道注意力机制，获取图像的光流特征；
S5、将提取到的RGB特征与光流特征进行特征融合；
S6、输出双流网络模型对肺结节检测分类结果，结果包括肺结节、血管、气管及其他假阳性结节等。
2.根据权利要求1所述的利用双流网络进行肺结节假阳性分类的方法，其特征在于：所述S1中，对原始图像进行预处理的方法包括如下步骤：
S1.1、对患者进行胸部CT检查，在患者肺部位置进行连续取样，获取肺部的立体图像；
S1.2、对获取的单张CT切片图像进行筛选，筛除结构不清晰的CT切片图片；
S1.3、将同一切片位置的CT切片图片按连续取样的顺序进行排序；
S1.4、对同一切片位置的若干连续取样的CT切片图片进行像素运动分析，获取各像素的光流矢量，进而获取该切片位置的光流信息图像。
3.根据权利要求2所述的利用双流网络进行肺结节假阳性分类的方法，其特征在于：所述S1.4中，获取CT切片图片各像素的光流矢量的计算表达式如下：
假设一个像素在连续取样的CT单张切片上的光强度不变，该像素的光强度为I(x,y,t)，当该像素移动了(dx,dy)的距离到下一连续采样的CT单张切片，连续采样的两张CT单张切片之间的间隔时间为dt，则：
I(x,y,t)＝I(x+dx,y+dy,t+dt) (1)
将式(1)右端进行泰勒展开，得：
Figure FDA0003184104270000021
其中ε代表二阶无穷小项，可忽略不计，再将式(2)代入式(1)后同除dt，可得：
Figure FDA0003184104270000022
设u，v分别为光流分别沿x轴和y轴的速度矢量，得：
Figure FDA0003184104270000023
令
Figure FDA0003184104270000024
分别表示图像中像素点的灰度沿X，Y，T方向的偏导数，综上，式(3)可以写为：
Ixu+Iyv+It＝0 (5)
其中，Ix，Iy，It均可由图像数据求得，而(u，v)即为所求光流矢量。
4.根据权利要求1所述的利用双流网络进行肺结节假阳性分类的方法，其特征在于：所述S3中，获取图像的RGB特征的方法包括如下步骤：
S3.1、将CT单张切片导入双流网络模型的空间流神经网络中；
S3.2、CT单张切片依次经过空间信息特征网络的LSTM网络层、全连接层、Softmax分类层的卷积运算；
S3.3、将卷积运算后的提取出的空间信息特征导入到Dynamic Capacity Networks的空间注意力模型中；
S3.4、通过低性能的子网络对全图进行处理，定位感兴趣区域；
S3.5、通过高性能的子网络对感兴趣区域进行精细化处理，从而获取清晰准确的RGB特征。
5.根据权利要求1所述的利用双流网络进行肺结节假阳性分类的方法，其特征在于：所述S4中，获取图像的光流特征的方法包括如下步骤：
S4.1、将光流信息图像导入双流网络模型的时间流神经网络中；
S4.2、光流信息图像依次经过时间信息特征网络的LSTM网络层、全连接层、Softmax分类层的卷积运算；
S4.3、将卷积运算后的提取出的空间信息特征导入到SENet(Sequeeze andExcitation Net)的通道注意力模型中；
S4.4、在正常的卷积操作后分出一个旁路分支，首先进行Squeeze操作，将空间维度进行特征压缩，即每个二维的特征图变为一个实数，相当于具有全局感受野的池化操作特征通道数不变；
S4.5、再进行Excitation操作，通过参数w为每个特征通道生成权重，w被学习用来显式地建模特征通道间的相关性；
S4.6、得到了每一个特征通道的权重之后，将该权重应用于原来的每个特征通道，用以学习到不同通道的重要性；
S4.7、按照特征通道的权重值，获取相应的光流特征。
6.根据权利要求1所述的利用双流网络进行肺结节假阳性分类的方法，其特征在于：所述S5中，特征融合的方法包括如下步骤：
S5.1、搭建一个全面平衡的目标检测器(Libra R-CNN)进行特征融合操作，将获取的RGB特征和光流特征导入到目标检测器中；
S5.2、通过IoU-balanced sampling操作来减少采样过程中的不平衡；
S5.3、通过balanced feature pyramid操作来减少feature的不平衡；
S5.4、通过balanced L1 loss操作来减少objective level的不平衡；
S5.5、根据肺结节的显著特征，对各类提取出的图像特征进行权重赋值；
S5.6、对各特征进行加权融合，计算各特征的加权平均数，依此作为肺结节假阳性分类的判断依据。
7.根据权利要求6所述的利用双流网络进行肺结节假阳性分类的方法，其特征在于：所述S5.3中，balanced feature pyramid操作采用integrate融合方法，其计算表达式为：
融合操作为把所有level的特征eltwise相加，并除以level的数目：
Figure FDA0003184104270000041
8.根据权利要求6所述的利用双流网络进行肺结节假阳性分类的方法，其特征在于：所述S5.4中，balanced L1 loss操作中，为了增大inliers的贡献，则将原来的smooth L1loss的梯度替换为：
Figure FDA0003184104270000042
即|x|<1时进行了替换，则损失函数为对上式进行积分，表达式为：
Figure FDA0003184104270000043
9.根据权利要求6所述的利用双流网络进行肺结节假阳性分类的方法，其特征在于：所述S5.5中，对各类提取出的图像特征进行权重赋值的计算表达式为：
Figure FDA0003184104270000044
其中，Wk为可判定为肺结节的特征符合程度。
10.根据权利要求6所述的利用双流网络进行肺结节假阳性分类的方法，其特征在于：所述S5.6中，计算各特征的加权平均数的公式为：
Figure FDA0003184104270000045
式中，x1，x2，…，xn分别为各特征的明显程度值，f1+f2+…+fk＝n；f1，f2，…，fk分别为特征x1，x2，…，xn的权。
CN202110855730.XA 2021-07-28 2021-07-28 一种利用双流网络进行肺结节假阳性分类的方法 Active CN113506289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110855730.XA CN113506289B (zh) 2021-07-28 2021-07-28 一种利用双流网络进行肺结节假阳性分类的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110855730.XA CN113506289B (zh) 2021-07-28 2021-07-28 一种利用双流网络进行肺结节假阳性分类的方法

Publications (2)

Publication Number Publication Date
CN113506289A true CN113506289A (zh) 2021-10-15
CN113506289B CN113506289B (zh) 2024-03-29

Family

ID=78014316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110855730.XA Active CN113506289B (zh) 2021-07-28 2021-07-28 一种利用双流网络进行肺结节假阳性分类的方法

Country Status (1)

Country Link
CN (1) CN113506289B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114372978A (zh) * 2022-02-10 2022-04-19 北京安德医智科技有限公司 一种超声造影影像分类方法及装置、电子设备和存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013013142A1 (en) * 2011-07-21 2013-01-24 The Research Foundation Of State University Of New York System and method for ct-guided needle biopsy
CN107464234A (zh) * 2017-07-24 2017-12-12 上海交通大学 基于rgb通道叠加方法的肺结节图像深度学习识别系统及其方法
CN109003260A (zh) * 2018-06-28 2018-12-14 深圳视见医疗科技有限公司 Ct图像肺结节检测方法、装置、设备及可读存储介质
CN109003672A (zh) * 2018-07-16 2018-12-14 北京睿客邦科技有限公司 一种基于深度学习的早期肺癌检测分类一体化设备及系统
CN109035234A (zh) * 2018-07-25 2018-12-18 腾讯科技（深圳）有限公司 一种结节检测方法、装置和存储介质
CN109523525A (zh) * 2018-11-07 2019-03-26 广州大学 图像融合的恶性肺结节识别方法、装置、设备及存储介质
CN109685776A (zh) * 2018-12-12 2019-04-26 华中科技大学 一种基于ct图像的肺结节检测方法及系统
CN110772286A (zh) * 2019-11-05 2020-02-11 王宁 一种基于超声造影识别肝脏局灶性病变的系统
CN110838114A (zh) * 2019-11-11 2020-02-25 苏州锐一仪器科技有限公司 肺结节检测方法、装置及计算机存储介质
CN110852350A (zh) * 2019-10-21 2020-02-28 北京航空航天大学 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统
CN110909658A (zh) * 2019-11-19 2020-03-24 北京工商大学 一种基于双流卷积网络的视频中人体行为识别方法
CN110942446A (zh) * 2019-10-17 2020-03-31 付冲 一种基于ct影像的肺结节自动检测方法
CN111524144A (zh) * 2020-04-10 2020-08-11 南通大学 一种基于GAN和Unet网络的肺结节智能诊断方法
US20200380675A1 (en) * 2017-11-22 2020-12-03 Daniel Iring GOLDEN Content based image retrieval for lesion analysis
CN112215799A (zh) * 2020-09-14 2021-01-12 北京航空航天大学 一种磨玻璃肺结节自动分类方法及系统
CN112581436A (zh) * 2020-12-11 2021-03-30 佛山市普世医学科技有限责任公司 基于深度学习的肺结节识别与分割方法及系统

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150073259A1 (en) * 2011-07-21 2015-03-12 The Research Foundation For The State University Of New York System and method for ct-guided needle biopsy
WO2013013142A1 (en) * 2011-07-21 2013-01-24 The Research Foundation Of State University Of New York System and method for ct-guided needle biopsy
CN107464234A (zh) * 2017-07-24 2017-12-12 上海交通大学 基于rgb通道叠加方法的肺结节图像深度学习识别系统及其方法
US20200380675A1 (en) * 2017-11-22 2020-12-03 Daniel Iring GOLDEN Content based image retrieval for lesion analysis
US20200005460A1 (en) * 2018-06-28 2020-01-02 Shenzhen Imsight Medical Technology Co. Ltd. Method and device for detecting pulmonary nodule in computed tomography image, and computer-readable storage medium
CN109003260A (zh) * 2018-06-28 2018-12-14 深圳视见医疗科技有限公司 Ct图像肺结节检测方法、装置、设备及可读存储介质
CN109003672A (zh) * 2018-07-16 2018-12-14 北京睿客邦科技有限公司 一种基于深度学习的早期肺癌检测分类一体化设备及系统
CN109035234A (zh) * 2018-07-25 2018-12-18 腾讯科技（深圳）有限公司 一种结节检测方法、装置和存储介质
CN109523525A (zh) * 2018-11-07 2019-03-26 广州大学 图像融合的恶性肺结节识别方法、装置、设备及存储介质
CN109685776A (zh) * 2018-12-12 2019-04-26 华中科技大学 一种基于ct图像的肺结节检测方法及系统
CN110942446A (zh) * 2019-10-17 2020-03-31 付冲 一种基于ct影像的肺结节自动检测方法
CN110852350A (zh) * 2019-10-21 2020-02-28 北京航空航天大学 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统
CN110772286A (zh) * 2019-11-05 2020-02-11 王宁 一种基于超声造影识别肝脏局灶性病变的系统
CN110838114A (zh) * 2019-11-11 2020-02-25 苏州锐一仪器科技有限公司 肺结节检测方法、装置及计算机存储介质
CN110909658A (zh) * 2019-11-19 2020-03-24 北京工商大学 一种基于双流卷积网络的视频中人体行为识别方法
CN111524144A (zh) * 2020-04-10 2020-08-11 南通大学 一种基于GAN和Unet网络的肺结节智能诊断方法
CN112215799A (zh) * 2020-09-14 2021-01-12 北京航空航天大学 一种磨玻璃肺结节自动分类方法及系统
CN112581436A (zh) * 2020-12-11 2021-03-30 佛山市普世医学科技有限责任公司 基于深度学习的肺结节识别与分割方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HAIXIN PENG, ET AL: ""3D multi-scale deep convolutional neural networks for pulmonary nodule detection"", 《PLOS ONE》 *
代美玲;祁瑾;周仲兴;高峰;: "基于Local Jet变换空间纹理特征的肺结节分类方法", 中国生物医学工程学报, no. 01, 20 February 2017 (2017-02-20) *
夏开建: ""基于深度特征的腹部CT 影像肝脏占位性 病变辅助诊断研究"", 《中国博士学位论文全文数据库》 *
张锏;李雪竹;: "基于深度学习的肺CT医学影像识别研究", 宿州学院学报, no. 09 *
李新征，金炜‘，李纲，尹曹谦: ""非对称卷积核YOLO V2网络的CT影像肺结节检测"", 《中国生物医学工程学报》 *
马思然;杨媛媛;倪扬帆;顾轶平;: "肺结节智能检测和三维可视化系统设计与实现", 计算机测量与控制, no. 09 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114372978A (zh) * 2022-02-10 2022-04-19 北京安德医智科技有限公司 一种超声造影影像分类方法及装置、电子设备和存储介质
CN114372978B (zh) * 2022-02-10 2022-06-28 北京安德医智科技有限公司 一种超声造影影像分类方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113506289B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN110288597B (zh) 基于注意力机制的无线胶囊内窥镜视频显著性检测方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN109523535B (zh) 一种病变图像的预处理方法
Patil et al. Fggan: A cascaded unpaired learning for background estimation and foreground segmentation
CN110827310A (zh) Ct图像自动检测方法与系统
CN113435282B (zh) 基于深度学习的无人机影像麦穗识别方法
CN112052877B (zh) 一种基于级联增强网络的图片细粒度分类方法
CN111080596A (zh) 一种融合局部阴影与全局特征的尘肺病辅助筛查方法及系统
CN108305253A (zh) 一种基于多倍率深度学习的病理全切片诊断方法
CN110729045A (zh) 一种基于上下文感知残差网络的舌图像分割方法
CN109671055B (zh) 肺结节检测方法及装置
CN112419295A (zh) 医学图像处理方法、装置、计算机设备和存储介质
CN116825363B (zh) 基于融合深度学习网络的早期肺腺癌病理类型预测系统
CN106157330A (zh) 一种基于目标联合外观模型的视觉跟踪方法
CN109360191B (zh) 一种基于变分自编码器的图像显著性检测方法
CN112258525A (zh) 一种基于鸟类高帧频序列图像丰度统计和种群识别算法
Alam et al. Rat-capsnet: A deep learning network utilizing attention and regional information for abnormality detection in wireless capsule endoscopy
CN115202477A (zh) 基于异构孪生网络的ar观景互动方法及系统
CN113506289B (zh) 一种利用双流网络进行肺结节假阳性分类的方法
US11521323B2 (en) Systems and methods for generating bullseye plots
CN116912240B (zh) 基于半监督学习的突变tp53免疫学检测方法
CN104766068A (zh) 一种多规则融合的随机游走舌像提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant