CN114187467B - 基于cnn模型的肺结节良恶性分类方法及装置 - Google Patents

基于cnn模型的肺结节良恶性分类方法及装置 Download PDF

Info

Publication number
CN114187467B
CN114187467B CN202111329957.7A CN202111329957A CN114187467B CN 114187467 B CN114187467 B CN 114187467B CN 202111329957 A CN202111329957 A CN 202111329957A CN 114187467 B CN114187467 B CN 114187467B
Authority
CN
China
Prior art keywords
nodule
neural network
image data
scanning image
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202111329957.7A
Other languages
English (en)
Other versions
CN114187467A (zh
Inventor
田淼
梁文莹
曾书勋
康昭
张映辉
刘欣刚
吴少智
田丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111329957.7A priority Critical patent/CN114187467B/zh
Publication of CN114187467A publication Critical patent/CN114187467A/zh
Application granted granted Critical
Publication of CN114187467B publication Critical patent/CN114187467B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于CNN模型的肺结节良恶性分类方法及装置，所述方法包括获取肺结节CT扫描图像数据并对图像数据进行预处理；将预处理后的肺结节CT扫描图像数据输入到训练好的CNN神经网络模型中，CNN神经网络模型对肺结节CT扫描图像数据依次进行多层特征提取、双线性池化以及分类处理，得到结节的不同CT扫描图像数据的分类结果；将同一结节不同CT扫描图像数据的分类结果进行融合，确定结节的良恶性。本发明通过卷积神经网络的卷积层的深层和浅层分别提取多层特征，然后经过双线性池化进行特征融合，最后将双线性池化融合后的特征输入到支持向量机中得到分类结果，本申请旨在融合并增强相似特征，以增强对分类目标细微差别的区分能力。

Description

基于CNN模型的肺结节良恶性分类方法及装置
技术领域
本发明属于深度学习技术领域，具体涉及一种基于CNN模型的肺结节良恶性分类方法及装置。
背景技术
目前常见的肺结节分类CAD系统通常包括四个部分，分别是：图像预处理、结节分割、特征提取和结节分类。其中，特征提取是肺结节诊断中的最基础也是最重要的部分，特征的区分度将直接影响分类效果。因此大部分研究都致力于寻找并提取出更有代表性的特征集合，提高分类模型的准确度。
常用的分类特征可根据性质的不同分为以下三种：传统特征、深度学习特征和混合特征(即混合使用传统特征和深度学习特征)。传统的特征包括几何形状，纹理，大小及边缘信息等等，其中纹理特征在反映肺结节的内部结构方面十分有效，为描述和区分CT图像中不同的肺结节提供了重要信息，因此被广泛应用于肺结节的检测和分类任务中。深度学习特征由是深度神经网络学习并提取得到的特征，常见的深度特征提取模型有卷积神经网络、多裁剪卷积神经网络和多尺度卷积神经网络。CAD提取特征后，将其输入分类器进行学习训练，以此得到良恶性分类模型。在肺结节良恶性分类任务中，常见的分类器通常有支持向量机、随机森林、K近邻、朴素贝叶斯分类器和决策树等。
但是，当前大多数使用深度神经网络的分类模型都只利用了网络最后一层的特征，忽略了神经网络中间层的有效信息，导致分类结果精度较低。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于CNN模型的肺结节良恶性分类方法及装置，以解决现有技术中深度神经网络的分类模型忽略了神经网络中间层的有效信息，导致分类结果精度较低的问题。
为实现以上目的，本发明采用如下技术方案：一种基于CNN模型的肺结节良恶性分类方法，包括：
获取肺结节CT扫描图像数据，并对所述图像数据进行预处理；所述图像数据包括同一个结节的多张胸部CT扫描图像切片切片和包含标注有对应结节边界信息的文件；
将预处理后的肺结节CT扫描图像数据输入到训练好的CNN神经网络模型中，所述CNN神经网络模型对所述肺结节CT扫描图像数据依次进行多层特征提取、双线性池化以及分类处理，得到结节的不同CT扫描图像数据的分类结果；
将所述同一结节不同CT扫描图像数据的分类结果进行融合，确定结节的良恶性。
进一步的，所述对所述图像数据进行预处理，包括：
根据所述文件中标注的结节边界信息将对应的胸部CT扫描图像切片中的结节图像从所述胸部CT扫描图像切片中分离出，得到结节图像；
选取黑色作为背景生成背景图像，将所有的背景图像调整至预设尺寸；
将所述结节图像堆叠在预设尺寸的背景图像中心，得到待处理图像；
将所述待处理图像保存为NPY文件。
进一步的，所述CNN模型包括13个卷积层、5个池化层以及分类器。
进一步的，从所述13个卷积层中选定神经网络浅层和神经网络深层分别用来提取浅层和深层特征；所述CNN神经网络模型对所述肺结节CT扫描图像数据依次进行多层特征提取、双线性池化以及分类处理，包括：
分别利用CNN神经网络模型中的神经网络浅层和神经网络深层提取同一待处理图像中的结节特征；
采用池化层将所述神经网络浅层提取的结节特征和神经网络深层提取的结节特征进行外积处理，得到双线性特征并进行归一化处理；
采用分类器将归一化处理后得到的双线性特征进行良恶性分类。
进一步的，所述将所述同一结节不同CT扫描图像数据的分类结果进行融合，确定结节的良恶性，包括：
基于高斯分布的权重分配对多个胸部CT扫描图像切片对应的分类结果进行计算，得到每个胸部CT扫描图像切片对应的分类结果的权重；
根据分类结果的权重计算多个CT扫描图像数据的分类结果的概率分布；
根据所述概率分布确定结节的良恶性。
进一步的，在对采用分类器将归一化处理后得到的双线性特征进行良恶性分类之前，还包括：
将归一化处理后得到的双线性特征转化为一维向量，并将所述一维向量标准化；所述标准化为将所述一维向量转化为均值为0，标准差为1的向量。
进一步的，所述背景图像像素预设尺寸为88×88；
所述待处理图像的HU值设置为-1000，在将所述待处理图像保存为NPY文件时，将所述待处理图像的HU值中的负数值设置为0。
本申请实施例提供一种基于CNN模型的肺结节良恶性分类装置，包括：
获取模块，用于获取肺结节CT扫描图像数据，并对所述图像数据进行预处理；所述图像数据包括多个胸部CT扫描图像切片和包含标注有对应结节边界信息的文件；
处理模块，用于将预处理后的肺结节CT扫描图像数据输入到训练好的CNN神经网络模型中，所述CNN神经网络模型对所述CT扫描图像数据依次进行多层特征提取、双线性池化以及分类处理，得到同一结节不同切片的分类结果；
融合模块，用于将所述同一结节不同切片的分类结果进行融合，得到最终的分类结果。
本申请实施例提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例提供的基于CNN模型的肺结节良恶性分类方法的步骤
本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例提提供的基于CNN模型的肺结节良恶性分类方法的步骤。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种基于CNN模型的肺结节良恶性分类方法及装置，所述方法包括获取肺结节CT扫描图像数据并对图像数据进行预处理；将预处理后的肺结节CT扫描图像数据输入到训练好的CNN神经网络模型中，CNN神经网络模型对肺结节CT扫描图像数据依次进行多层特征提取、双线性池化以及分类处理，得到结节的不同CT扫描图像数据的分类结果；将同一结节不同CT扫描图像数据的分类结果进行融合，确定结节的良恶性。本发明提供的CNN模型是一种基于多层特征和双线性池化的医学图像分类模型，该模型采用两个并行流程进行特征提取。这两个流程通过一系列基于卷积神经网络的卷积层分别提取多层特征，然后经过双线性池化进行特征融合。最后将双线性融合特征输入到支持向量机中得到分类结果，该模型旨在融合并增强相似特征，以增强对分类目标细微差别的区分能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于CNN模型的肺结节良恶性分类方法的步骤示意图；
图2为本发明基于CNN模型的肺结节良恶性分类方法的流程示意图；
图3为本发明提供的图像数据预处理的流程示意图；
图4为本发明提供的CNN模型的卷积层的流程示意图；
图5为本发明提供的CNN模型的池化层的流程示意图；
图6为本发明提供的基于CNN模型的肺结节良恶性分类装置的结构示意图；
图7为本发明基于CNN模型的肺结节良恶性分类方法涉及的硬件运行环境的计算机设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的基于CNN模型的肺结节良恶性分类方法及装置。
如图1所示，本申请实施例中提供的基于CNN模型的肺结节良恶性分类方法，包括：
S101，获取肺结节CT扫描图像数据，并对所述图像数据进行预处理；所述图像数据包括同一个结节的多个胸部CT扫描图像切片和包含标注有对应结节边界信息的文件；
可以理解的是，胸部CT扫描图像切片也可以称为CT切片，本申请中首先获取结节的所有CT切片，然后对所有的CT切片进行相应处理，以保证最后分类结果的准确。
S102，将预处理后的肺结节CT扫描图像数据输入到训练好的CNN神经网络模型中，所述CNN神经网络模型对所述肺结节CT扫描图像数据依次进行多层特征提取、双线性池化以及分类处理，得到结节的不同CT扫描图像数据的分类结果；
可以理解的是，本申请中CNN神经网络模型包括卷积层、池化层和分类器，其中卷积层用于对肺结节CT扫描图像数据进行特征提取，池化层对提取后的特征进行双线性池化得到增强的特征，然后分类器对双线性池化后得到的增强特征进行分类，分类结果包括良性肺结节和恶性肺结节。
S103，将所述同一结节不同CT扫描图像数据的分类结果进行融合，确定结节的良恶性。
将上述分类好的良性肺结节和恶性肺结节的分类结果进行融合，得到最终的融合结果作为确定是良性肺结节或是恶性肺结节的结果。
基于CNN模型的肺结节良恶性分类方法的工作原理为：参见图2，首先对胸部进行CT扫描，得到同一个结节的多个胸部CT扫描图像切片，根据包含标注有对应结节边界信息的文件对胸部CT扫描图像切片进行预处理，然后将预处理后的肺结节CT扫描图像数据输入到训练好的CNN神经网络模型中，CNN神经网络模型对所述肺结节CT扫描图像数据依次进行多层特征提取、双线性池化以及分类处理，得到结节的不同CT扫描图像数据的分类结果，最后不同CT扫描图像数据的分类结果进行融合，最终确定结节的良恶性结果。
一些实施例中，所述对所述图像数据进行预处理，包括：
根据所述文件中标注的结节边界信息将对应的胸部CT扫描图像切片中的结节图像从所述胸部CT扫描图像切片中分离出，得到结节图像；
选取黑色作为背景生成背景图像，将所有的背景图像进行归一化处理，得到预设尺寸的背景图像；
将所述结节图像堆叠在预设尺寸的背景图像中心，得到待处理图像；
将所述待处理图像保存为NPY文件。
优选的，所述背景图像像素预设尺寸为88×88；
所述待处理图像的HU值设置为-1000，在将所述待处理图像保存为NPY文件时，将所述待处理图像的HU值中的负数值设置为0。
具体的，如图3所示，图像数据预处理部分包含三个步骤，分别为图像分割，归一化处理和数据调整。
图像分割具体方法为，图像数据包括胸部CT扫描图像切片和包含对应结节标注信息的XML文件。图像分割即根据XML文件中提供的结节边界信息将结节从背景中分离出来。
归一化处理具体方法为，选取黑色图片作为新的背景图像，所有的背景图像都被归一化到相同的尺寸大小(88×88)，由于肺结节大小对良恶性分类至关重要，因此不宜放大或缩小肺结节的图像。为了保持此要求，将分离后得到的结节图像堆叠在88×88背景图像的中间，而不更改肺结节的大小，从而得到新的图像作为待处理图像，其中背景像素的HU(HounsfieldUnit)被设置为-1000，即空气的HU值。
数据调整方法为，数据调整旨在最大程度保留肺结节信息，待处理图像被保存为NPY文件，以充分利用结节的原始HU信息。由于胸部CT扫描图像切片中的像素可能有负值，这不适合CNN模型训练，因此像素值在保存为NPY文件之前统一加上1000。如果值仍然是负值，则将其设置为零，以确保负数不会出现在NPY文件中。
HU值(hounsfield unit，HU)，计算机断层扫描(CT)中普遍使用的无量纲单位，用于标准、便捷的表达CT数值。
Hounsfield单位(HU)是计算机断层扫描(CT)中普遍使用的无量纲单位，用于标准、便捷的表达CT数值。Hounsfield单位是通过对测量得到的衰减系数进行线性变换得到的。这种转换是基于空气和的密度，其中纯水被定义为0Hounsfield单元，空气被定义为-1000Hounsfield单元。组织密度越大，x射线吸收越强，其值为正，呈亮信号；密度较低的组织，x射线吸收较少，显示负值，呈暗信号。
一些实施例中，所述CNN模型包括13个卷积层、5个池化层以及分类器。
需要说明的是，CNN模型主体中包含多特征提取，双线性池化，分类器三部分功能。其中，卷积层用于多特征提取，池化层用于双线性池化，分类器用于分类。
优选的，从13个卷积层中选定为神经网络浅层和神经网络深层分别用来提取浅层特征和深层特征；所述CNN神经网络模型对所述肺结节CT扫描图像数据依次进行多层特征提取、双线性池化以及分类处理，包括：
分别利用CNN神经网络模型中的神经网络浅层和神经网络深层提取同一待处理图像中的结节特征；
采用池化层将所述神经网络浅层提取的结节特征和神经网络深层提取的结节特征进行外积处理，得到双线性特征并进行归一化处理；
采用分类器将归一化处理后得到的双线性特征进行良恶性分类。
优选的，在对采用分类器将归一化处理后得到的双线性特征进行良恶性分类之前，还包括：
将归一化处理后得到的双线性特征转化为一维向量，并将所述一维向量标准化；所述标准化为将所述一维向量转化为均值为0，标准差为1的向量。
如图4所示，13个卷积层被划分为5个卷积块，其中每块都包含两到三层。每个块中中的特征层有相同的尺寸。同时由于双线性池化需要输入尺寸相同，因此只有来自同一个块中的特征层才能满足要求。图4卷积神经网络结构可获得11种多特征提取融合方式。其中，可以将每个卷积块相对靠前的作为神经网络浅层，相对靠后的作为神经网络深层。
将卷积层划分为神经网络浅层和神经网络深层后，可以将神经网络浅层和神经网络深层作为两个并行分支，形成两个支路。如图4所示，上下支路分别代表了神经网络浅层和深层的特征提取，充分利用中间卷积层丰富的图像信息，使浅层和深层特征中相同的部分得到增强，相反的部分会被削弱，有助于提高肺结节图像的良恶性分类性能。
然后池化层将所述神经网络浅层提取的结节特征和神经网络深层提取的结节特征进行外积处理，并由此生成一个新的特征也就是双线性特征。如图5所示，M1，M2分别代表卷积神经网络不同层的特征，其中尺度均为
Figure BDA0003348409560000081
h，w，c分别代表了特征的高，宽和通道数。M1可以被展开成一组通道向量V＝[v1，v2，...，vhw]，其中
Figure BDA0003348409560000082
M2被展开成U＝[u1，u2，...，uhw]，
Figure BDA0003348409560000083
那么可得
Figure BDA0003348409560000084
其中
Figure BDA0003348409560000085
代表外积。聚合图中的所有的双线性特征：
Figure BDA0003348409560000086
随后进行归一化：
Figure BDA0003348409560000091
Figure BDA0003348409560000092
双线性池化起作用的原因是外积导致特征的维度c增大为c×c，综合了两个特征的信息，因此包含的信息更多，特征空间变大，区分度也变大，更便于分类。因此双线性池化能够提供比线性模型更强的特征表示。
最后，本申请中分类器采用SVM(支持向量机)分类。在完成多层特征提取和双线性融合后，每张结节图片被转化为相应的多层特征，然后利用线性核的SVM分类器对这些特征进行良恶性分类。
在SVM分类之前，需要将每个特征转化为一个一维向量，然后标准化为一个均值为0，标准差为1的向量，这有利于提高SVM的性能，加快收敛速度。与其他核函数相比，线性核函数支持向量机不需要选择c和λ等核函数参数，这使得实验过程更加简单方便。
一些实施例中，所述将所述同一结节不同CT扫描图像数据的分类结果进行融合，确定结节的良恶性，包括：
基于高斯分布的权重分配对多个胸部CT扫描图像切片对应的分类结果进行计算，得到每个胸部CT扫描图像切片对应的分类结果的权重；
根据分类结果的权重计算多个CT扫描图像数据的分类结果的概率分布；
根据所述概率分布确定结节的良恶性。
具体的，本申请使用基于高斯分布的权重分配。假设一个结节有n个切片图像，对应的分类结果是r1，r2...rn，中间切片是第k个切片，结果是rk，对于第i个切片，权重wi如下：
Figure BDA0003348409560000093
多张切片结果融合后的结节结果如下：
Figure BDA0003348409560000094
需要说明的是，高斯分布是自然界中最为广泛存在的一种概率分布，而且不同切片的分类重要性与高斯分布有许多共同的特点，如结节的形状一般是中心对称的，高斯分布曲线也是中心对称的。中心切片对于良恶性分类最为重要，离中心越远，重要性越低，而且是非线性快速下降。本发明使用了一种既能充分利用所有的切片图像，又能给予位于中心的切片更高权重的基于高斯分布的加权投票方法，此方法更接近放射科医师诊断结节良恶性的实际情况。
本申请提出了基于多层特征和双线性池化的模型，采用两个并行流程进行特征提取，然后经过双线性池化进行特征融合，增强了对良恶性肺结节细微差别的区分能力。最后将双线性融合特征输入到支持向量机中得到分类结果，流程末端加入了基于高斯分布的加权投票机制，对结节分类结果进行融合，进一步提高分类精度。
如图6所示，本申请实施例提供一种基于CNN模型的肺结节良恶性分类装置，其特征在于，包括：
获取模块601，用于获取肺结节CT扫描图像数据，并对所述图像数据进行预处理；所述图像数据包括多个胸部CT扫描图像切片和包含标注有对应结节边界信息的文件；
处理模块602，用于将预处理后的肺结节CT扫描图像数据输入到训练好的CNN神经网络模型中，所述CNN神经网络模型对所述CT扫描图像数据依次进行多层特征提取、双线性池化以及分类处理，得到同一结节不同切片的分类结果；
融合模块603，用于将所述同一结节不同切片的分类结果进行融合，得到最终的分类结果。
本申请提供的基于CNN模型的肺结节良恶性分类装置的工作原理为，获取模块601获取肺结节CT扫描图像数据，并对所述图像数据进行预处理；所述图像数据包括多个胸部CT扫描图像切片和包含标注有对应结节边界信息的文件；处理模块602将预处理后的肺结节CT扫描图像数据输入到训练好的CNN神经网络模型中，所述CNN神经网络模型对所述CT扫描图像数据依次进行多层特征提取、双线性池化以及分类处理，得到同一结节不同切片的分类结果；融合模块603将所述同一结节不同切片的分类结果进行融合，得到最终的分类结果。
本申请提供一种计算机设备，包括：存储器和处理器，还可以包括网络接口，所述存储器存储有计算机程序，存储器可以包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。该计算机设备存储有操作系统，存储器是计算机可读介质的示例。所述计算机程序被所述处理器执行时，使得所述处理器执行基于CNN模型的肺结节良恶性分类方法，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的基于CNN模型的肺结节良恶性分类方法可以实现为一种计算机程序的形式，计算机程序可在如图7所示的计算机设备上运行。
一些实施例中，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：获取肺结节CT扫描图像数据，并对所述图像数据进行预处理；所述图像数据包括同一个结节的多个胸部CT扫描图像切片和包含标注有对应结节边界信息的文件；将预处理后的肺结节CT扫描图像数据输入到训练好的CNN神经网络模型中，所述CNN神经网络模型对所述肺结节CT扫描图像数据依次进行多层特征提取、双线性池化以及分类处理，得到结节的不同CT扫描图像数据的分类结果；将所述同一结节不同CT扫描图像数据的分类结果进行融合，确定结节的良恶性。
本申请还提供一种计算机存储介质，计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光光盘(DVD)或其他光学存储、磁盒式磁带存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
一些实施例中，本发明还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，执行以下步骤：获取肺结节CT扫描图像数据，并对所述图像数据进行预处理；所述图像数据包括同一个结节的多个胸部CT扫描图像切片和包含标注有对应结节边界信息的文件；将预处理后的肺结节CT扫描图像数据输入到训练好的CNN神经网络模型中，所述CNN神经网络模型对所述肺结节CT扫描图像数据依次进行多层特征提取、双线性池化以及分类处理，得到结节的不同CT扫描图像数据的分类结果；将所述同一结节不同CT扫描图像数据的分类结果进行融合，确定结节的良恶性。
综上所述，本发明提供一种基于CNN模型的肺结节良恶性分类方法及装置，所述方法包括获取肺结节CT扫描图像数据并对图像数据进行预处理；将预处理后的肺结节CT扫描图像数据输入到训练好的CNN神经网络模型中，CNN神经网络模型对肺结节CT扫描图像数据依次进行多层特征提取、双线性池化以及分类处理，得到结节的不同CT扫描图像数据的分类结果；将同一结节不同CT扫描图像数据的分类结果进行融合，确定结节的良恶性。本发明通过基于卷积神经网络的卷积层的深层和浅层分别提取多层特征，然后经过双线性池化进行特征融合，最后将双线性融合特征输入到支持向量机中得到分类结果，本申请旨在融合并增强相似特征，以增强对分类目标细微差别的区分能力。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于CNN模型的肺结节良恶性分类方法，其特征在于，包括：
获取肺结节CT扫描图像数据，并对所述图像数据进行预处理；所述图像数据包括同一个结节的多张胸部CT扫描图像切片和包含标注有对应结节边界信息的文件；
将预处理后的肺结节CT扫描图像数据输入到训练好的CNN神经网络模型中，所述CNN神经网络模型对所述肺结节CT扫描图像数据依次进行多层特征提取、双线性池化以及分类处理，得到结节的不同CT扫描图像切片的分类结果；
将同一结节不同CT扫描图像切片的分类结果进行融合，确定结节的良恶性；
所述CNN神经网络模型包括13个卷积层、5个池化层以及分类器；
分别利用CNN神经网络模型中的神经网络浅层和神经网络深层提取同一待处理图像中的结节特征；
采用池化层将所述神经网络浅层提取的结节特征和神经网络深层提取的结节特征进行外积处理，得到双线性特征并进行归一化处理；
采用分类器将归一化处理后得到的双线性特征进行良恶性分类；
基于高斯分布的权重分配对多个胸部CT扫描图像切片对应的分类结果进行计算，得到每个胸部CT扫描图像切片对应的分类结果的权重；
根据分类结果的权重计算多个CT扫描图像切片的分类结果的概率分布；
根据所述概率分布确定结节的良恶性；
具体的，一个结节有个切片图像，对应的分类结果是，中间切片是第个切片，结果是，对于第个切片，权重如下：
多张切片结果融合后的结果如下：
。
2.根据权利要求1所述的方法，其特征在于，所述对所述图像数据进行预处理，包括：
根据所述文件中标注的结节边界信息将对应的胸部CT扫描图像切片中的结节图像从所述胸部CT扫描图像切片中分离出，得到结节图像；
选取黑色作为背景生成背景图像，将所有的背景图像调整至预设尺寸；
将所述结节图像堆叠在预设尺寸的背景图像中心，得到待处理图像；
将所述待处理图像保存为NPY文件。
3.根据权利要求1所述的方法，其特征在于，在对采用分类器将归一化处理后得到的双线性特征进行良恶性分类之前，还包括：
将归一化处理后得到的双线性特征转化为一维向量，并将所述一维向量标准化；所述标准化为将所述一维向量转化为均值为0，标准差为1的向量。
4.根据权利要求2所述的方法，其特征在于，
所述背景图像像素预设尺寸为88×88；
所述待处理图像的HU值设置为-1000，在将所述待处理图像保存为NPY文件时，将所述待处理图像的HU值中的负数值设置为0。
5.一种基于CNN模型的肺结节良恶性分类装置，其特征在于，包括：
获取模块，用于获取肺结节CT扫描图像数据，并对所述图像数据进行预处理；所述图像数据包括多个胸部CT扫描图像切片和包含标注有对应结节边界信息的文件；
处理模块，用于将预处理后的肺结节CT扫描图像数据输入到训练好的CNN神经网络模型中，所述CNN神经网络模型对所述CT扫描图像数据依次进行多层特征提取、双线性池化以及分类处理，得到同一结节不同CT扫描图像切片的分类结果，其中，所述CNN神经网络模型包括13个卷积层、5个池化层以及分类器；
分别利用CNN神经网络模型中的神经网络浅层和神经网络深层提取同一待处理图像中的结节特征；采用池化层将所述神经网络浅层提取的结节特征和神经网络深层提取的结节特征进行外积处理，得到双线性特征并进行归一化处理；采用分类器将归一化处理后得到的双线性特征进行良恶性分类；
基于高斯分布的权重分配对多个胸部CT扫描图像切片对应的分类结果进行计算，得到每个胸部CT扫描图像切片对应的分类结果的权重；根据分类结果的权重计算多个CT扫描图像切片的分类结果的概率分布；根据所述概率分布确定结节的良恶性；具体的，一个结节有个切片图像，对应的分类结果是，中间切片是第个切片，结果是，对于第个切片，权重如下：
多张切片结果融合后的结果如下：
；
融合模块，用于将同一结节不同CT扫描图像切片的分类结果进行融合，得到最终的分类结果。
6.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述基于CNN模型的肺结节良恶性分类方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于CNN模型的肺结节良恶性分类方法的步骤。
CN202111329957.7A 2021-11-11 2021-11-11 基于cnn模型的肺结节良恶性分类方法及装置 Expired - Fee Related CN114187467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111329957.7A CN114187467B (zh) 2021-11-11 2021-11-11 基于cnn模型的肺结节良恶性分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111329957.7A CN114187467B (zh) 2021-11-11 2021-11-11 基于cnn模型的肺结节良恶性分类方法及装置

Publications (2)

Publication Number Publication Date
CN114187467A CN114187467A (zh) 2022-03-15
CN114187467B true CN114187467B (zh) 2023-04-28

Family

ID=80539910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111329957.7A Expired - Fee Related CN114187467B (zh) 2021-11-11 2021-11-11 基于cnn模型的肺结节良恶性分类方法及装置

Country Status (1)

Country Link
CN (1) CN114187467B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830020B (zh) * 2023-02-14 2023-04-28 成都泰莱生物科技有限公司 一种肺结节特征提取方法、分类方法、装置及介质
CN116934757B (zh) * 2023-09-18 2023-11-21 电子科技大学 一种用于肺结节假阳性删减的方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101517614A (zh) * 2006-09-22 2009-08-26 皇家飞利浦电子股份有限公司 肺结节的高级计算机辅助诊断
CN106650830A (zh) * 2017-01-06 2017-05-10 西北工业大学 基于深层模型和浅层模型决策融合的肺结节ct图像自动分类方法
CN110309860A (zh) * 2019-06-06 2019-10-08 昆明理工大学 基于卷积神经网络对肺结节的恶性程度进行分类的方法
CN110335261A (zh) * 2019-06-28 2019-10-15 山东科技大学 一种基于时空循环注意力机制的ct淋巴结检测系统
CN110503626A (zh) * 2019-07-09 2019-11-26 上海交通大学 基于空间-语义显著性约束的ct图像模态对齐方法
CN112991295A (zh) * 2021-03-12 2021-06-18 中国科学院自动化研究所 基于深度学习的淋巴结转移影像分析系统、方法及设备
CN113011514A (zh) * 2021-03-29 2021-06-22 吉林大学 基于双线性池化应用于ct影像的颅内出血亚类型分类算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060018524A1 (en) * 2004-07-15 2006-01-26 Uc Tech Computerized scheme for distinction between benign and malignant nodules in thoracic low-dose CT

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101517614A (zh) * 2006-09-22 2009-08-26 皇家飞利浦电子股份有限公司 肺结节的高级计算机辅助诊断
CN106650830A (zh) * 2017-01-06 2017-05-10 西北工业大学 基于深层模型和浅层模型决策融合的肺结节ct图像自动分类方法
CN110309860A (zh) * 2019-06-06 2019-10-08 昆明理工大学 基于卷积神经网络对肺结节的恶性程度进行分类的方法
CN110335261A (zh) * 2019-06-28 2019-10-15 山东科技大学 一种基于时空循环注意力机制的ct淋巴结检测系统
CN110503626A (zh) * 2019-07-09 2019-11-26 上海交通大学 基于空间-语义显著性约束的ct图像模态对齐方法
CN112991295A (zh) * 2021-03-12 2021-06-18 中国科学院自动化研究所 基于深度学习的淋巴结转移影像分析系统、方法及设备
CN113011514A (zh) * 2021-03-29 2021-06-22 吉林大学 基于双线性池化应用于ct影像的颅内出血亚类型分类算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Haeil Lee等.Contextual convolutional neural networks for lung nodule classification using Gaussian-weighted average image patches.《PROCEEDINGS OF SPIE》.2017,1-7. *
Wenjie Kang等.Multi-model and multi-slice ensemble learning architecture based on 2D convolutional neural networks for Alzheimer's disease diagnosis.《Computers in Biology and Medicine》.2021,第136卷1-7. *
Xie Yutong等.Fusing texture, shape and deep model-learned information at decision level for automated classification of lung nodules on chest CT.《Information Fusion》.2017,第42卷102-110. *
梁文莹.基于多特征的肺结节良恶性分类方法研究.《中国优秀硕士学位论文全文数据库医药卫生科技辑》.2022,E063-73. *

Also Published As

Publication number Publication date
CN114187467A (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
Wang et al. Volumetric attention for 3D medical image segmentation and detection
Gong et al. Automated pulmonary nodule detection in CT images using 3D deep squeeze-and-excitation networks
CN112800964B (zh) 基于多模块融合的遥感影像目标检测方法及系统
CN114187467B (zh) 基于cnn模型的肺结节良恶性分类方法及装置
Ibrahim et al. Abnormality detection and intelligent severity assessment of human chest computed tomography scans using deep learning: a case study on SARS-COV-2 assessment
Cao et al. A multi-kernel based framework for heterogeneous feature selection and over-sampling for computer-aided detection of pulmonary nodules
TW202013309A (zh) 基於神經網路的分類方法及其分類裝置
JP7294695B2 (ja) 学習済モデルによるプログラム、情報記録媒体、分類装置、ならびに、分類方法
Yang et al. Dscgans: Integrate domain knowledge in training dual-path semi-supervised conditional generative adversarial networks and s3vm for ultrasonography thyroid nodules classification
CN112926592B (zh) 一种基于改进Fast算法的商标检索方法及装置
Yu et al. Co-saliency detection within a single image
Traoré et al. Evaluating deep learning algorithms in pulmonary nodule detection
CN114581698A (zh) 一种基于空间交叉注意力机制特征融合的目标分类方法
Yi et al. Multi-label softmax networks for pulmonary nodule classification using unbalanced and dependent categories
Deepa et al. A fuzzy shape representation of a segmented vessel tree and kernel-induced random forest classifier for the efficient prediction of lung cancer
CN112949634B (zh) 一种铁路接触网鸟窝检测方法
CN114463732A (zh) 一种基于知识蒸馏的场景文本检测方法及装置
Xu et al. Identification of benign and malignant lung nodules in CT images based on ensemble learning method
Prasath Alias Surendhar et al. Ensemble Feature Extraction with Classification Integrated with Mask RCNN Architecture in Breast Cancer Detection Based on Deep Learning Techniques
Sarmiento et al. Automatic breast cancer grading of histological images based on colour and texture descriptors
CN106980878B (zh) 三维模型几何风格的确定方法及装置
CN113192085A (zh) 三维器官图像分割方法、装置及计算机设备
Hamidinekoo et al. Automated mammogram analysis with a deep learning pipeline
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
Nasser et al. Discriminative deep neural network for predicting knee osteoarthritis in early stage

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20230428