CN112990344A - 一种肺结节多视图分类方法 - Google Patents
一种肺结节多视图分类方法 Download PDFInfo
- Publication number
- CN112990344A CN112990344A CN202110381357.9A CN202110381357A CN112990344A CN 112990344 A CN112990344 A CN 112990344A CN 202110381357 A CN202110381357 A CN 202110381357A CN 112990344 A CN112990344 A CN 112990344A
- Authority
- CN
- China
- Prior art keywords
- image
- lung nodule
- representing
- classification
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000002685 pulmonary effect Effects 0.000 title claims description 8
- 206010056342 Pulmonary mass Diseases 0.000 claims abstract description 77
- 238000012549 training Methods 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims abstract description 18
- 238000003708 edge detection Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims description 15
- 241000282326 Felis catus Species 0.000 claims description 12
- 210000004072 lung Anatomy 0.000 claims description 11
- 230000003211 malignant effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 239000000126 substance Substances 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 239000011800 void material Substances 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract 1
- 230000001902 propagating effect Effects 0.000 abstract 1
- 239000013589 supplement Substances 0.000 abstract 1
- 230000006870 function Effects 0.000 description 21
- 238000003745 diagnosis Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000007635 classification algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 201000005202 lung cancer Diseases 0.000 description 3
- 208000020816 lung neoplasm Diseases 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100381424 Bartonella henselae badA gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Medical Informatics (AREA)
Abstract
本发明涉及一种肺结节多视图分类方法。包括：从公开数据集中选择一样本；建立多视图网络结构模型，步骤为：S1：利用卷积函数提取该图片上肺结节图像的初步特征；S2：利用初步特征和Sobel边缘检测算子计算该图像的边缘特征；S3：通过边缘特征计算特征向量，建立模型,使用特征向量集合得到肺结节预测结果和边缘特征吻合度得分；S4：使用训练集对模型进行训练，通过计算损失函数并反向传播的方式更新模型参数，最终得到训练好的多视图网络结构模型；将待预测肺结节图像作为已训练好的模型的输入，计算得到该肺结节的分类结果。本发明使用多视图和传统方法来补充现有辅助分类结构中存在的不足，使得肺结节辅助分类更加的准确。
Description
技术领域
本发明涉及多视图分类方法领域，特别涉及一种肺结节多视图分类方法。
背景技术
肺癌已经成为导致病人死亡的恶性疾病中最主要的一种,由于发病率高,而确诊后的治愈率较低,所以患者的存活率一直处于较低的水平。CT技术广泛应用为医生在诊断肺部病灶方面提供了精确的帮助,但是肺癌患者数量仍然居高不下的原因主要有3点:(1)肺部CT扫描图像数量庞大,有经验的阅片医生不足以应付快速增长的病例。(2)肺部的血管、组织较多,与肺部病灶相互交织在一起不易分辨。(3)传统的机器学习方法主要是通过人工提取病灶的低层特征,不同的专家有着不同的提取方法,而不同的特征对于分类结果有着很大的影响。
自深度学习技术应用于医学影像以来，在肺癌防控强烈需求驱动下，肺结节计算机辅助分类技术表现出深度学习、数据驱动、特征自学习、处理端到端等新特征。因此，围绕肺结节分类和属性特征学习等技术，设计肺结节辅助诊断新型网络结构成为肺结节筛查技术的发展重点，涌现出多种适用于医学影像分析的新型神经网络结构。这些网络通过堆叠深度学习模型结构来获取图像的信息，最终达到不同的医学影像分析目的；但现有的辅助分类系统检测尺度、形态、结构、纹理较为单一，对较大、单一形态、固定结构、相同纹理的结节具有较稳定的分类结果，对于不同尺度、多样形态、复杂结构、不同纹理结节分类能力比较弱。
发明内容
针对现有技术存在的上述问题，本发明要解决的技术问题是：大多数肺结节辅助分类中存在因视图缺乏而导致细节信息部分丢失的问题，以及在肺结节特征提取过程中无法着重提取关键特征或提取特征不够精确的问题。
为解决上述技术问题，本发明采用如下技术方案：一种肺结节多视图分类方法，包括如下步骤：
S100：选择公开医疗数据集，该数据集包含多个样本，每个样本包括肺结节图片、该图片上图像的边缘特征吻合度实际得分
和该图片上图像的实际良恶分类结果得分
选择部分样本作为训练集；
S200：建立多视图网络结构模型，具体步骤如下：
S210：选择一样本，以该样本中的肺结节图片中心为中轴对该图片进行连续切片处理，获得N张连续切片，并将N张连续切片上的图像数据转换为所需的数据结构；
S220：将转换数据结构后的N张连续切片作为输入，利用卷积函数提取该N张连续切片的初步特征Oz×x×y；
S230：设
将
作为输入，使用Sobel边缘检测算子计算该N张连续切片的边缘特征
具体表达式如下：
其中，
表示第i张切片的初步特征；
S240：对
进行连续卷积得到该切片的最终特征向量
具体表达式如下：
其中，
表示第i张切片的边缘特征；
S250：设X3为该图像所有切片的最终特征向量集合，具体表达式如下：
其中，i＝1,2,…,N；
将X3作为输入，计算得到多视图网络结构模型：
(s,m2)＝fc(cat(X3) (2-4)
其中，cat(·)表示级联操作，fc(·)表示全连接函数，m2表示分类结果，s表示边缘特征吻合度得分；
S300：选择一个样本，将该样本中的肺结节图片作为多视图网络结构模型的输入，输出为该肺结节的分类结果m2和该肺结节图像的边缘特征吻合度得分s；
S400：将s作为损失函数的输入，通过损失函数更新多视图网络结构模型的相关参数；
S500：预设最大迭代次数，重复步骤S300-S400，将训练集数据作为输入，对多视图网络结构模型进行训练，通过反向传播更新多视图网络结构模型的参数，当训练达到最大迭代次数时停止，得到训练好的多视图网络结构模型；
S600：将待预测肺结节图像输入训练好的多视图网络结构模型，输出分类结果m2；
其中，m2的值为1或者0，1表示肺结节为恶性，0表示肺结节为良性，即以此表示肺结节的良恶分类结果。
作为优选，所述S220中利用卷积函数提取该N张连续切片的初步特征Oz×x×y的具体步骤如下：
S221：建立加入空洞卷积函数后的卷积模块，具体表达式如下：
convd(Mc×w×h)＝Nz×x×y (2-5)
其中，convd(·)为添加了空洞卷积后的卷积模块；Mc×w×h表示连续切片向量，c表示切片的通道数，w表示切片的宽，h表示切片的高；Nz×x×y表示连续切片的多维度向量，z表示Nz×x×y的通道数，x表示Nz×x×y的宽，y表示Nz×x×y的高；
S222：对Nz×x×y进行普通卷积操作，计算得到N张连续切片的初步特征Oz×x×y，具体表达式如下：
convn(Nz×x×y)＝Oz×x×y (2-6)
其中，convn(·)表示普通卷积模块。
加入空洞卷积之后可以在不做池化操作的前提下增加感受野，既能够增加分类的准确率，也避免了池化带来的信息损失。
作为优选，所述S230中计算该图像的边缘特征
的具体步骤如下：
S231：利用Sobel边缘检测算子和卷积函数，计算及gx和gy，具体表示如下：
其中，A代表原始图像，gx表示经横向边缘检测的图像，gy表示经纵向边缘检测的图像，其具体计算过程如下：
gx＝(-1)*f(x-1，y-1)+0*f(x，y-1)+1*f(x+1，y-1)+(-2)*f(x-1，y)+0*f(x，y)+2*f(x+1，y)+(-1)*f(x-1，y+1)+0*f(x，y+1)+1*f(x+1，y+1) (2-9)
gy＝1*f(x-1，y-1)+2*f(x，y-1)+1*f(x+1，y-1)+0*f(x-1，y)+0*f(x，y)+0*f(x+1，y)+(-1)*f(x-1，y+1)+(-2)*f(x，y+1)+(-1)*f(x+1，y+1) (2-10)
其中，(x，y)表示像素点的坐标，f(x，y)表示该像素点的灰度值；
S232：计算图像上每一个像素点的梯度值，具体表达式如下：
其中，q表示该图像上像素点的个数，q＝1，…，Q；
S233：利用梯度值集合G，计算边缘特征
具体表达式如下：
G＝[g1，…，gQ] (2-12)
E1＝cat(conve(conv1(C1//N)，G)，C1) (2-14)
其中，G表示所有像素点的梯度值的集合，conve(·)表示卷积操作，C1表示初步特征，C1//N表示对C1进行压缩通道数的处理，cat(·)表示连接操作；E1表示特征向量，poolmax(·)表示池化操作，该处用以计算
值的模块使用convde(·)表示。
大部分结节良恶的判断依据来自于该结节边缘的一些图像特征，比如毛刺等。边缘特征提取模块可以将特征提取时的注意力放在结节的边缘，提高分类的准确度。后面与C1进行连接操作可以避免为了提取边缘信息而对图像中其他信息过度的破坏，得到一个综合信息较为完成的特征向量。
作为优选，所述S400中的损失函数为交叉熵函数，具体表达式如下：
L＝L1+L2 (4-3)
其中，L表示多视图网络结构模型的损失函数，L1表示边缘特征提取的损失函数，s为肺结节图像的边缘特征吻合度得分，
为肺结节图像的边缘特征吻合度实际得分，L2为最终良恶分类的损失函数，y为肺结节图像的预测良恶分类结果得分，
为肺结节图像的实际良恶分类结果得分。
L1和L2联合学习，让网络偏向于参考边缘信息作出最后良恶性的判断，提高肺结节分类的准确度。
相对于现有技术，本发明至少具有如下优点：
1.采用多视图特征提取方法，采用对同一肺结节图片的连续视图作为算法输入，来获取同一个肺结节的更多不同的细节信息，加大了对病症信息的提取量，避免了由于单张视图判断失误而引起的严重后果。
2.在完整获取边缘细节信息的同时保证了感受野大小对全局信息的保留，结合边缘提取的传统方法，实现对边缘特征信息的进一步提取，并以此作为主要分类特征之一。
附图说明
图1为肺结节切片示意图。
图2为空洞卷积示意图。
图3为边缘特征提取模块示意图。
图4为多视图网络结构模型示意图。
具体实施方式
下面对本发明作进一步详细说明。
详细准确的辅助信息对医生问诊助力是非常大的，针对肺部CT图像的计算机辅助分类系统可以有效的提高医生的诊断率,减轻医生的负担,给患者提供较为客观的诊断结果；结节辅助分类的关键在能够对肺结节进行多尺度最优化感知，因为它的分类准确率依赖于算法模型对肺结节不同视图、多形态、多结构、多纹理的感知。肺结节视觉特征、空间分辨率、细节信息是重要的信息，相较于那些不同特点的肺部组织，能够轻易判断此肺部组织是否为肺结节，例如钙化型肺结节，因为这种结节其视觉特征、空间分辨率、细节信息异于周围的肺部组织使得其检测结果稳定；除了视觉特征、空间分辨率、细节信息这些特点，肺结节的不同视图也是重要的信息。
肺结节的视图对于肺结节辅助分类技术来说是一项重要的特征，因为每个肺结节的不同视图之间存在着不同的诊断关系。例如，恶性肺结节若在某个视图中并未展现出恶性结节应具有的特征，那么，以单视图作为输入的算法模型有很大的概率会判断错误；基于多视图共同决策的启发下，本发明描述了一种基于多视图感知的肺结节辅助分类方法；该发明首先对大多数肺结节辅助分类中存在的视图缺乏导致肺结节细节信息部分丢失的问题，设计多视图输入—单视图特征提取—多视图结合判断的模型结构，增强肺结节视觉特征、空间分辨率以及细节信息；其次针对传统肺结节分类网络在肺结节特征提取的传递过程中，无法对关键特征着重提取的问题，构建深度学习和传统方法融合模型。
本发明的肺结节辅助分类系统是根据肺结节医学图像的不同尺度切片，通过深度学习与传统技术相组合，最终得到该结节是否是恶性的结节的诊断结果。
参见图1-图4，一种肺结节多视图分类方法，包括如下步骤：
S100：选择公开医疗数据集，该数据集包含多个样本，每个样本包括肺结节图片、该图片上图像的边缘特征吻合度实际得分
和该图片上图像的实际良恶分类结果得分
选择部分样本作为训练集；
S200：建立多视图网络结构模型，具体步骤如下：
S210：选择一样本，以该样本中的肺结节图片中心为中轴对该图片进行连续切片处理，获得N张连续切片，并将N张连续切片上的图像数据转换为所需的数据结构；其中，连续切片的数量为5，连续切片可以为后期的诊断提供更多的肺结节信息。
S220：将转换数据结构后的N张连续切片作为输入，利用卷积函数提取该N张连续切片的初步特征Oz×x×y。
具体实施时，利用卷积函数提取该N张连续切片的初步特征Oz×x×y的具体步骤如下：
S221：建立加入空洞卷积函数后的卷积模块，具体表达式如下：
convd(Mc×w×h)＝Nz×x×y (2-5)
其中，convd(·)为添加了空洞卷积后的卷积模块；Mc×w×h表示连续切片向量，c表示切片的通道数，w表示切片的宽，h表示切片的高；Nz×x×y表示连续切片的多维度向量，z表示Nz×x×y的通道数，x表示Nz×x×y的宽，y表示Nz×x×y的高；这里所得到的Nz×x×y将作为新的输入进入下一步卷积过程。
S222：对Nz×x×y进行普通卷积操作，计算得到N张连续切片的初步特征Oz×x×y，具体表达式如下：
convn(Nz×x×y)＝Oz×x×y (2-6)
其中，convn(·)表示普通卷积模块。
S230：设
将
作为输入，使用Sobel边缘检测算子计算该N张连续切片的边缘特征
Sobel边缘检测算子为现有技术，具体表达式如下：
其中，
表示第i张切片的初步特征。
具体实施时，计算该图像的边缘特征
的具体步骤如下：
S231：利用Sobel边缘检测算子和卷积函数，计算及gx和gy，具体表示如下：
其中，A代表原始图像，gx表示经横向边缘检测的图像，gy表示经纵向边缘检测的图像，其具体计算过程如下：
gx＝(-1)*f(x-1，y-1)+0*f(x，y-1)+1*f(x+1，y-1)+(-2)*f(x-1，y)+0*f(x，y)+2*f(x+1，y)+(-1)*f(x-1，y+1)+0*f(x，y+1)+1*f(x+1，y+1) (2-9)
gy＝1*f(x-1，y-1)+2*f(x，y-1)+1*f(x+1，y-1)+0*f(x-1，y)+0*f(x，y)+0*f(x+1，y)+(-1)*f(x-1，y+1)+(-2)*f(x，y+1)+(-1)*f(x+1，y+1) (2-10)
其中，(x，y)表示像素点的坐标，f(x，y)表示该像素点的灰度值。
S232：计算图像上每一个像素点的梯度值，具体表达式如下：
其中，q表示该图像上像素点的个数，q＝1，…，Q。
S233：利用梯度值集合G，计算边缘特征
具体表达式如下：
G＝[g1，…，gQ] (2-12)
E1＝cat(conve(conv1(C1//N)，G)，C1) (2-14)
其中，G表示所有像素点的梯度值的集合，conve(·)表示卷积操作，就是利用G对conv1(C1//N)进行计算以获得边缘特征信息；C1表示初步特征，也就是针对边缘特征提取的卷积网络模块的输出结果；C1//N表示对C1进行压缩通道数的处理，该处作用是用来提高计算边缘特征时的效率；cat(·)表示连接操作；E1表示特征向量，它是通过边缘特征计算模块后的输出值，同时也将作为下一层网络结构的输入；poolmax(·)表示池化操作，该处用以计算
值的模块使用convde(·)表示。
S240：对
进行连续卷积得到该切片的最终特征向量
具体表达式如下：
其中，
表示第i张切片的边缘特征；
S250：设X3为该图像所有切片的最终特征向量集合，具体表达式如下：
其中，i＝1，2，…，N；
将X3作为输入，计算得到多视图网络结构模型：
(s，m2)＝fc(cat(X3) (2-4)
其中，cat(·)表示级联操作，fc(·)表示全连接函数，m2表示分类结果，s表示边缘特征吻合度得分；
S300：选择一个样本，将该样本中的肺结节图片作为多视图网络结构模型的输入，输出为该肺结节的分类结果m2和该肺结节图像的边缘特征吻合度得分s；
S400：将s作为损失函数的输入，通过损失函数更新多视图网络结构模型的相关参数；
具体实施时，损失函数为交叉熵函数，具体表达式如下：
L＝L1+L2 (4-3)
其中，L表示多视图网络结构模型的损失函数，L1表示边缘特征提取的损失函数，s为肺结节图像的边缘特征吻合度得分，
为肺结节图像的边缘特征吻合度实际得分，L2为最终良恶分类的损失函数，y为肺结节图像的预测良恶分类结果得分，
为肺结节图像的实际良恶分类结果得分。
S500：预设最大迭代次数，重复步骤S300-S400，将训练集数据作为输入，对多视图网络结构模型进行训练，通过反向传播更新多视图网络结构模型的参数，当训练达到最大迭代次数时停止，最大迭代次数为300，得到训练好的多视图网络结构模型。
S600：将待预测肺结节图像输入训练好的多视图网络结构模型，输出分类结果m2；
其中，m2的值为1或者0，1表示肺结节为恶性，0表示肺结节为良性，即以此表示肺结节的良恶分类结果。
实验数据
训练数据源为LIDC-IDRI，参见表1，该数据集由胸部医学图像文件(如CT、X光片)和对应的诊断结果病变标注组成。该数据是由美国国家癌症研究所(National CancerInstitute)发起收集的，目的是为了研究高危人群早期癌症检测。该数据集中，共收录了1018个研究实例，对于每个实例中的图像，都由4位经验丰富的胸部放射科医师进行两阶段的诊断标注。在第一阶段，每位医师分别独立诊断并标注病患位置，其中会标注三中类别：1)>＝3mm的结节,2)＜3mm的结节,3)>＝3mm的非结节。在随后的第二阶段中，各位医师都分别独立的复审其他三位医师的标注，并给出自己最终的诊断结果。这样的两阶段标注可以在避免forced consensus的前提下，尽可能完整的标注所有结果。
表1数据集信息
先对CT数据进行窗位的调整，处理之后生成512*512大小的图片作为数据集，数据集中共计2616张结节图片用于模型训练和测试。随机将整个LIDC数据集分为五折，每一折中保持70％为训练数据，剩下30％为测试数据。随后对LIDC图片进行窗位的调整。最后对实验结果进行五折交叉验证，保证结果的科学性和可信度。评价指标为accuracy,sensitivity以及specificity。
accuracy表示分类的准确率。
sensitivity表示对肺结节分类的平均敏感度。
specificity表示对肺结节分类的平均特异性。
公式
公式
公式
其中TP为真阳性的数量，TN为真阴性的数量，FP为假阳性的数量，FN为假阴性的数量。
为了使得本发明的性能达到最优，首先对其自身的参数学习率(lr)、优化器(optimizer)、迭代次数(epoch)进行优化和选择。学习率表示网络在学习的时候更新参数的幅度，优化器表示网络在学习到差异之后如何进行最小化差异，迭代次数表示网络需要多少次次对训练集的遍历。通过对所有的参数组合进行实验，找到了最优的参数值选择。最优的参数值是lr＝0.00001,optimizer＝Adam,epoch＝100。为了进一步验证本发明的有效性，将其与热门主流的分类算法进行了对比，参见表2，它们分别如下
GooleLeNet：一种经典的传统图像分类算法；
ResNet：一种基于神经网络的残差网络算法，旨在解决深层网络效果反而下降的问题；
VGG：一种基于神经网络的图像分类算法，旨在使用很小的卷积核构建各种深度的卷积神经网络结构；
AlexNet：一种基于神经网络的分类算法，在激活函数方面使用ReLU取代了tanh/sigmoid，缓解了梯度消失的情况；
表2实验数据对比
| 方法 | Accuracy(％) | Sensitivity(％) | Specificity(％) |
| VGG | 84.51 | 79.67 | 86.77 |
| LeNet | 80.67 | 76.87 | 82.43 |
| ResNet | 80.75 | 74.25 | 83.73 |
| AlexNet | 82.68 | 80.84 | 83.52 |
| Our | 87.36 | 79.28 | 91.11 |
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种肺结节多视图分类方法，其特征在于：包括如下步骤：
S100：选择公开医疗数据集，该数据集包含多个样本，每个样本包括肺结节图片、该图片上图像的边缘特征吻合度实际得分
和该图片上图像的实际良恶分类结果得分
选择部分样本作为训练集；
S200：建立多视图网络结构模型，具体步骤如下：
S210：选择一样本，以该样本中的肺结节图片中心为中轴对该图片进行连续切片处理，获得N张连续切片，并将N张连续切片上的图像数据转换为所需的数据结构；
S220：将转换数据结构后的N张连续切片作为输入，利用卷积函数提取该N张连续切片的初步特征Oz×x×y；
S230：设
将
作为输入，使用Sobel边缘检测算子计算该N张连续切片的边缘特征
具体表达式如下：
其中，
表示第i张切片的初步特征；
S240：对
进行连续卷积得到该切片的最终特征向量
具体表达式如下：
其中，
表示第i张切片的边缘特征；
S250：设X3为该图像所有切片的最终特征向量集合，具体表达式如下：
其中，i＝1，2，…，N；
将X3作为输入，计算得到多视图网络结构模型：
(s，m2)＝fc(cat(X3) (2-4)
其中，cat(·)表示级联操作，fc(·)表示全连接函数，m2表示分类结果，s表示边缘特征吻合度得分；
S300：选择一个样本，将该样本中的肺结节图片作为多视图网络结构模型的输入，输出为该肺结节的分类结果m2和该肺结节图像的边缘特征吻合度得分s；
S400：将s作为损失函数的输入，通过损失函数更新多视图网络结构模型的相关参数；
S500：预设最大迭代次数，重复步骤S300-S400，将训练集数据作为输入，对多视图网络结构模型进行训练，通过反向传播更新多视图网络结构模型的参数，当训练达到最大迭代次数时停止，得到训练好的多视图网络结构模型；
S600：将待预测肺结节图像输入训练好的多视图网络结构模型，输出分类结果m2；
其中，m2的值为1或者0，1表示肺结节为恶性，0表示肺结节为良性，即以此表示肺结节的良恶分类结果。
2.如权利要求1所述的一种肺结节多视图分类方法，其特征在于：所述S220中利用卷积函数提取该N张连续切片的初步特征Oz×x×y的具体步骤如下：
S221：建立加入空洞卷积函数后的卷积模块，具体表达式如下：
convd(Mc×w×h)＝Nz×x×y (2-5)
其中，convd(·)为添加了空洞卷积后的卷积模块；Mc×w×h表示连续切片向量，c表示切片的通道数，w表示切片的宽，h表示切片的高；Nz×x×y表示连续切片的多维度向量，z表示Nz×x×y的通道数，x表示Nz×x×y的宽，y表示Nz×x×y的高；
S222：对Nz×x×y进行普通卷积操作，计算得到N张连续切片的初步特征Oz×x×y，具体表达式如下：
convn(Nz×x×y)＝Oz×x×y (2-6)
其中，convn(·)表示普通卷积模块。
3.如权利要求2所述的一种肺结节多视图分类方法，其特征在于：所述S230中计算该图像的边缘特征
的具体步骤如下：
S231：利用Sobel边缘检测算子和卷积函数，计算及gx和gy，具体表示如下：
其中，A代表原始图像，gx表示经横向边缘检测的图像，gy表示经纵向边缘检测的图像，其具体计算过程如下：
gx＝(-1)*f(x-1，y-1)+0*f(x，y-1)+1*f(x+1，y-1)+(-2)*f(x-1，y)+0*f(x，y)+2*f(x+1，y)+(-1)*f(x-1，y+1)+0*f(x，y+1)+1*f(x+1，y+1) (2-9)
gy＝1*f(x-1，y-1)+2*f(x，y-1)+1*f(x+1，y-1)+0*f(x-1，y)+0*f(x，y)+0*f(x+1，y)+(-1)*f(x-1，y+1)+(-2)*f(x，y+1)+(-1)*f(x+1，y+1) (2-10)
其中，(x，y)表示像素点的坐标，f(x，y)表示该像素点的灰度值；
S232：计算图像上每一个像素点的梯度值，具体表达式如下：
其中，q表示该图像上像素点的个数，q＝1，…，Q；
S233：利用梯度值集合G，计算边缘特征
具体表达式如下：
G＝[g1，…，gQ] (2-12)
E1＝cat(conve(conv1(C1//N)，G)，C1) (2-14)
其中，G表示所有像素点的梯度值的集合，conve(·)表示卷积操作，C1表示初步特征，C1//N表示对C1进行压缩通道数的处理，cat(·)表示连接操作；E1表示特征向量，poolmax(·)表示池化操作，该处用以计算
值的模块使用convde(·)表示。
4.如权利要求3所述的一种肺结节多视图分类方法，其特征在于：所述S400中的损失函数为交叉熵函数，具体表达式如下：
L＝L1+L2 (4-3)
其中，L表示多视图网络结构模型的损失函数，L1表示边缘特征提取的损失函数，s为肺结节图像的边缘特征吻合度得分，
为肺结节图像的边缘特征吻合度实际得分，L2为最终良恶分类的损失函数，y为肺结节图像的预测良恶分类结果得分，
为肺结节图像的实际良恶分类结果得分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110381357.9A CN112990344B (zh) | 2021-04-09 | 2021-04-09 | 一种肺结节多视图分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110381357.9A CN112990344B (zh) | 2021-04-09 | 2021-04-09 | 一种肺结节多视图分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112990344A true CN112990344A (zh) | 2021-06-18 |
| CN112990344B CN112990344B (zh) | 2022-05-24 |
Family
ID=76339552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110381357.9A Expired - Fee Related CN112990344B (zh) | 2021-04-09 | 2021-04-09 | 一种肺结节多视图分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112990344B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436727A (zh) * | 2021-06-30 | 2021-09-24 | 华中科技大学 | 基于病人检测信息对潜在治疗方案治愈概率打分的方法 |
| CN114862798A (zh) * | 2022-05-09 | 2022-08-05 | 华东师范大学 | 一种用于肿瘤病理辅助诊断的多视图表示学习方法 |
| CN116416239A (zh) * | 2023-04-13 | 2023-07-11 | 中国人民解放军海军军医大学第一附属医院 | 胰腺ct图像分类方法、图像分类模型、电子设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005278690A (ja) * | 2004-03-26 | 2005-10-13 | Hiroshima Industrial Promotion Organization | コンピュータを用いた３次元胸部ｃｔ画像から結節状陰影を検出する方法およびその装置並びにコンピュータプログラム |
| CN101556650A (zh) * | 2009-04-01 | 2009-10-14 | 东北大学 | 一种分布式自适应肺结节计算机检测方法及系统 |
| US20120201445A1 (en) * | 2011-02-08 | 2012-08-09 | University Of Louisville Research Foundation, Inc. | Computer aided diagnostic system incorporating appearance analysis for diagnosing malignant lung nodules |
| CN110309860A (zh) * | 2019-06-06 | 2019-10-08 | 昆明理工大学 | 基于卷积神经网络对肺结节的恶性程度进行分类的方法 |
| CN111144474A (zh) * | 2019-12-25 | 2020-05-12 | 昆明理工大学 | 基于多视图、多尺度、多任务肺结节分类方法 |
-
2021
- 2021-04-09 CN CN202110381357.9A patent/CN112990344B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005278690A (ja) * | 2004-03-26 | 2005-10-13 | Hiroshima Industrial Promotion Organization | コンピュータを用いた３次元胸部ｃｔ画像から結節状陰影を検出する方法およびその装置並びにコンピュータプログラム |
| CN101556650A (zh) * | 2009-04-01 | 2009-10-14 | 东北大学 | 一种分布式自适应肺结节计算机检测方法及系统 |
| US20120201445A1 (en) * | 2011-02-08 | 2012-08-09 | University Of Louisville Research Foundation, Inc. | Computer aided diagnostic system incorporating appearance analysis for diagnosing malignant lung nodules |
| CN110309860A (zh) * | 2019-06-06 | 2019-10-08 | 昆明理工大学 | 基于卷积神经网络对肺结节的恶性程度进行分类的方法 |
| CN111144474A (zh) * | 2019-12-25 | 2020-05-12 | 昆明理工大学 | 基于多视图、多尺度、多任务肺结节分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| ARNAUD ARINDRA ADIYOSO SETIO等: ""Pulmonary Nodule Detection in CT Images:False Positive Reduction Using Multi-View Convolutional Networks"", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, 1 March 2016 (2016-03-01) * |
| 张佳嘉等: ""多分支卷积神经网络肺结节分类方法及其可解释性"", 《计算机科学》, 30 September 2020 (2020-09-30) * |
| 翁钧朋: ""三维CT图像中肺结节自动检测预处理算法的并行化研究"", 《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》, 15 April 2020 (2020-04-15) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436727A (zh) * | 2021-06-30 | 2021-09-24 | 华中科技大学 | 基于病人检测信息对潜在治疗方案治愈概率打分的方法 |
| CN113436727B (zh) * | 2021-06-30 | 2022-07-12 | 华中科技大学 | 基于病人检测信息对潜在治疗方案治愈概率打分的方法 |
| CN114862798A (zh) * | 2022-05-09 | 2022-08-05 | 华东师范大学 | 一种用于肿瘤病理辅助诊断的多视图表示学习方法 |
| CN116416239A (zh) * | 2023-04-13 | 2023-07-11 | 中国人民解放军海军军医大学第一附属医院 | 胰腺ct图像分类方法、图像分类模型、电子设备及介质 |
| CN116416239B (zh) * | 2023-04-13 | 2024-03-12 | 中国人民解放军海军军医大学第一附属医院 | 胰腺ct图像分类方法、图像分类模型、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112990344B (zh) | 2022-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112990344B (zh) | 一种肺结节多视图分类方法 | |
| Yun et al. | Improvement of fully automated airway segmentation on volumetric computed tomographic images using a 2.5 dimensional convolutional neural net | |
| CN111415342A (zh) | 一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法 | |
| CN113420826B (zh) | 一种肝脏病灶图像处理系统及图像处理方法 | |
| CN106780453A (zh) | 一种基于深度信任网络实现对脑肿瘤分割的方法 | |
| CN112767407B (zh) | 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法 | |
| US20030103663A1 (en) | Computerized scheme for distinguishing between benign and malignant nodules in thoracic computed tomography scans by use of similar images | |
| Wang et al. | A method of ultrasonic image recognition for thyroid papillary carcinoma based on deep convolution neural network | |
| Bevilacqua | Three-dimensional virtual colonoscopy for automatic polyps detection by artificial neural network approach: New tests on an enlarged cohort of polyps | |
| Zuo et al. | An embedded multi-branch 3D convolution neural network for false positive reduction in lung nodule detection | |
| CN113160120A (zh) | 基于多模态融合与深度学习的肝脏血管分割方法及系统 | |
| Xing et al. | Automatic detection of A‐line in lung ultrasound images using deep learning and image processing | |
| Hu et al. | A GLCM embedded CNN strategy for computer-aided diagnosis in intracerebral hemorrhage | |
| CN111275103A (zh) | 多视角信息协作的肾脏良恶性肿瘤分类方法 | |
| CN114549452A (zh) | 基于半监督深度学习的新冠肺炎ct图像分析方法 | |
| Tang et al. | NSCGCN: A novel deep GCN model to diagnosis COVID-19 | |
| Ghali et al. | Vision transformers for lung segmentation on cxr images | |
| CN114565786A (zh) | 基于通道注意力机制的断层扫描图像分类装置和方法 | |
| CN116230237B (zh) | 一种基于roi病灶特征的肺癌影响评价方法和系统 | |
| CN112967254A (zh) | 基于胸部ct影像肺部疾病识别和检测方法 | |
| Affane et al. | Robust deep 3-d architectures based on vascular patterns for liver vessel segmentation | |
| Han et al. | Multitask network for thyroid nodule diagnosis based on TI‐RADS | |
| Guan et al. | A mutual promotion encoder-decoder method for ultrasonic hydronephrosis diagnosis | |
| CN111275720B (zh) | 一种基于深度学习的全端到端小器官图像识别方法 | |
| Mousavi Moghaddam et al. | Lung parenchyma segmentation from CT images with a fully automatic method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220524 |