CN111783796A - 一种基于深度特征融合的pet/ct影像识别系统 - Google Patents

一种基于深度特征融合的pet/ct影像识别系统 Download PDF

Info

Publication number
CN111783796A
CN111783796A CN202010568493.4A CN202010568493A CN111783796A CN 111783796 A CN111783796 A CN 111783796A CN 202010568493 A CN202010568493 A CN 202010568493A CN 111783796 A CN111783796 A CN 111783796A
Authority
CN
China
Prior art keywords
image
pet
features
network
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010568493.4A
Other languages
English (en)
Inventor
代广喆
陈雨时
位寅生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202010568493.4A priority Critical patent/CN111783796A/zh
Publication of CN111783796A publication Critical patent/CN111783796A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度特征融合的PET/CT影像识别系统，涉及图像处理技术领域，针对现有技术中PET/CT影像识别精度低的问题，所述系统执行以下步骤：一、获取PET/CT影像原始数据，并对PET/CT影像原始数据进行读取及预处理；二、对PET/CT影像进行样本划分，然后利用卷积神经网络分别对划分后的样本进行深度特征提取；三、将提取的特征分别进行PCA处理，并分别进行归一化，之后将处理后的PET影像特征与CT影像特征进行特征融合；四、利用融合后的特征训练识别网络；五、使用训练好的识别网络对待识别样本进行识别，提取出可分性较好的影像学特征。

Description

一种基于深度特征融合的PET/CT影像识别系统
技术领域
本发明涉及图像处理技术领域，具体为一种基于深度特征融合的PET/CT影像识别系统。
背景技术
正电子发射计算机断层扫描(Positron Emission Tomography/ComputedTomography，PET/CT)有效地融合了PET与CT两项检查的优势，可以反映病灶的形态结构，实现了功能影像和解剖影像信息的互补。利用卷积神经网络(Convolutional NeuralNetworks，CNNs)强大的特征提取能力，充分挖掘复杂PET/CT影像鲁棒性强、更加全局、高度抽象的深度特征。深度特征融合方法将来源不同的深度特征融合到一起，实现特征的充分利用，通过将提供功能代谢显像的PET影像和实现精准定位的CT影像进行深度特征融合，弥补了单一特征描述复杂数据能力的不足，最终的特征表达包含更丰富更全面的特征信息，增强识别网络的鲁棒性和稳定性。
PET/CT使用同一个检查床和同一个影像处理工作站将PET和CT有机结合在一起，作为一种先进的医学成像技术，既能够通过CT影像进行病灶精准定位，同时又能从PET影像得到病灶代谢能力和功能信息。随着计算机技术的不断发展和进步，设计准确性高、鲁棒性强的肿瘤识别网络从而准确高效地实现对肿瘤进行识别和筛查成为研究热点。
肿瘤识别过程中提取的特征是否具有较强的可分性是决定肿瘤识别效果的关键因素，在一定程度上影响识别性能与临床诊疗。传统识别网络的特征提取过程中通常是人工选取某些特征，但是这些特征是否真正准确地描述了不同类别的差异是难以确定的。目前，CNN能够有效地处理图像数据，自动从复杂数据中提取高度抽象及可分性较好的特征，有效的解决了传统人工特征提取识别效率低的问题，对于提高PET/CT影像识别精度有着至关重要的影响。
发明内容
本发明的目的是：针对现有技术中PET/CT影像识别精度低的问题，提出一种基于深度特征融合的PET/CT影像识别系统。
本发明为了解决上述技术问题采取的技术方案是：
一种基于深度特征融合的PET/CT影像识别系统，所述系统执行以下步骤：
一、获取PET/CT影像原始数据，并对PET/CT影像原始数据进行读取及预处理；
二、对PET/CT影像进行样本划分，然后利用卷积神经网络分别对划分后的样本进行深度特征提取；
三、将提取的特征分别进行PCA处理，并分别进行归一化，之后将处理后的PET影像特征与CT影像特征进行特征融合；
四、利用融合后的特征训练识别网络；
五、使用训练好的识别网络对待识别样本进行识别，提取出可分性较好的影像学特征。
进一步的，所述步骤一中PET/CT影像原始数据以DICOM文件的形式存储。
进一步的，所述步骤一中对PET/CT影像进行读取的具体步骤为：首先从DICOM文件中读取到存储的影像像素矩阵，然后利用公式1将读取的像素点i的灰度值转换成CT值，
T(i)＝P(i)×slope+intercept (1)
其中P(i)是像素点i的灰度值，slope和intercept参数是灰度值与CT值转换公式中的斜率和截距，所述slope和intercept存储在DICOM文件中，T(i)是像素点i的CT值，单位为亨氏。
进一步的，所述步骤一中对PET/CT影像进行读取的具体步骤为：首先从DICOM文件中读取到存储的影像像素矩阵，然后利用公式1将读取的像素点i的灰度值转换成CT值，
T(i)＝P(i)×slope+intercept (1)
其中P(i)是像素点i的灰度值，slope和intercept参数是灰度值与CT值转换公式中的斜率和截距，所述slope和intercept存储在DICOM文件中，T(i)是像素点i的CT值，单位为亨氏。
进一步的，所述步骤一中预处理为窗技术预处理，所述窗技术预处理包括窗宽和窗位。
进一步的，所述步骤一中对PET/CT影像进行预处理的具体步骤为：利用窗技术，即公式2，将窗口内的CT值通过线性变换映射到0～255空间进行显示，
Figure BDA0002548670550000021
其中T(i)是像素点i的原始CT值，ww代表窗宽，wl代表窗位，
Figure BDA0002548670550000022
表示显示窗口的下限，
Figure BDA0002548670550000023
表示显示窗口的上限，G(i)是线性变换后的像素点i的灰度值。
进一步的，所述ww为350，所述wl为50。
进一步的，所述步骤二的详细步骤为：
PET/CT影像集共m个样本，每个样本为具有c个通道的二维矩阵，每个矩阵的大小为h×w，即每个样本的数据维度为w×h×c，将预处理后的数据集存储在一个四维矩阵中，即维度为m×w×h×c，每个样本对应一个类别标签，保存在一个一维矩阵中，维度为m，然后对PET/CT影像集进行划分，随机的选取一定比例的样本组成训练集、验证集与测试集，使用DenseNet网络对PET/CT影像进行深度特征提取，然后采用基于模型的迁移学习的方法，利用源域和目标域参数共享的DenseNet网络对PET、CT影像分别做前向传播，得到去除顶层节点后网络的输出特征，之后提取PET影像的特征和CT影像的特征并按行排列，即第一个样本的特征向量排在第一行，第二个样本的特征向量排在第二行，以此类推，最终形成PET和CT特征的二维矩阵，即行数为样本的个数，列数为每个样本包含的特征向量个数。
进一步的，所述步骤二的详细步骤为：
PET/CT影像集共m个样本，每个样本为具有c个通道的二维矩阵，每个矩阵的大小为h×w，即每个样本的数据维度为w×h×c，将预处理后的数据集存储在一个四维矩阵中，即维度为m×w×h×c，每个样本对应一个类别标签，保存在一个一维矩阵中，维度为m，然后对PET/CT影像集进行划分，随机的选取一定比例的样本组成训练集、验证集与测试集，使用DenseNet网络对PET/CT影像进行深度特征提取，然后采用基于模型的迁移学习的方法，利用源域和目标域参数共享的DenseNet网络对PET、CT影像分别做前向传播，得到去除顶层节点后网络的输出特征，之后提取PET影像的特征和CT影像的特征并按行排列，即第一个样本的特征向量排在第一行，第二个样本的特征向量排在第二行，以此类推，最终形成PET和CT特征的二维矩阵，即行数为样本的个数，列数为每个样本包含的特征向量个数。
进一步的，所述步骤三中将提取到的PET影像的特征与CT影像的特征进行特征融合包括两部分：
使用PCA方法对卷积神经网络获取的特征向量进行降维处理和对PET和CT影像提取到的特征进行融合；
具体步骤如下：
A.对特征向量进行主成分分析法处理，之后通过PCA处理，将原始高维的特征向量降低成n维；
B.分别对降维后的PET和CT影像特征进行归一化处理，之后将处理后的PET和CT不同影像学特征进行特征融合，将融合后的特征保存在二维矩阵中，即维度为m×2n。
进一步的，所述步骤四中识别网络包括两组卷积层和池化层，之后通过一个三个节点的全连接层进行网络输出，每层卷积核个数依次为256和128，在第二个池化层之后设有全局平均值池化层。
进一步的，所述步骤四的详细步骤为：
设置全局平均值池化层初始学习率为0.001，当训练轮数达到30,50,80时依次减半，网络训练的过程中加入Batch Normalization，即BN和Dropout的操作，并利用mixup构建虚拟样本进行数据增强，之后在标签中增加噪声平滑标签，
将经过处理后的具有新特征表示的由训练样本特征构成的二维矩阵作为识别网络的输入，使用训练集进行网络迭代训练，当迭代进行到t次时进行一次验证，即使用验证集进行前向传播，得到验证集的准确率，利用交叉验证方法，划分多组验证集，在平均验证集准确率最高时保存网络权重，并将该其作为最终权重，所述迭代次数t的取值范围为10＜t＜50。
进一步的，所述迭代次数t为20次。
进一步的，所述Dropout设置为0.5。
进一步的，所述步骤五的详细步骤为：
将测试样本输入到训练好的识别网络中对待检测样本进行识别；网络输出对应样本的类别标号。
本发明的有益效果是：
本发明应用卷积神经网络在特征工程中能够对数据进行高度抽象和预测的优势，提取PET和CT影像的深度特征，然后进行特征融合，再输入到卷积神经网络中进行训练，最终实现PET/CT影像的识别。本发明的PET/CT影像识别网络识别精度高、鲁棒性强。
附图说明
图1为本发明的流程图；
图2为本发明神经网络结构图；
图3为本发明神经网络具体应用图。
具体实施方式
具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的一种基于深度特征融合的PET/CT影像识别系统，所述系统执行以下步骤：
一、获取PET/CT影像，并对PET/CT影像进行筛选、读取及预处理；
二、对PET/CT影像进行样本划分，然后利用卷积神经网络对划分后的样本进行深度特征提取；
三、将提取到的PET影像的特征与CT影像的特征进行特征融合；
四、搭建卷积神经网络，并对融合后的特征进行识别并利用训练样本对网络进行有监督训练；
五、使用训练好的识别网络对测试样本类型进行识别。提取可分性较好的影像学特征，可分性较好的特征可以提升不同类别的差异性和显著性，所述可分性较好的影像学特征包括纹理、边缘、灰度值。
具体的步骤如图1所示。下面就这五个步骤分别展开详细的介绍。
一、对PET/CT影像进行筛选、读取及预处理。
PET/CT原始数据的筛选、读取及预处理是在其原始数据的基础上进行的，主要包括PET/CT影像的筛选、读取PET/CT原始数据以及对PET/CT影像进行窗技术预处理。具体步骤包括：
读取PET/CT影像原始数据。原始PET/CT影像是以DICOM文件的形式存储。首先从DICOM文件中读取到存储的影像像素矩阵，然后利用公式1将读取的像素点i的灰度值转换成CT值
T(i)＝P(i)×slope+intercept (1)
其中P(i)是像素点i的灰度值，slope(值为0.06)和intercept(值为-1024)参数是灰度值与CT值转换公式中的斜率和截距，存储在DICOM文件中，T(i)是像素点i的CT值，以亨氏(Hounsfield Unit，HU)为单位。
对PET/CT影像进行窗技术预处理，包括窗宽和窗位。应用线性开窗显示技术，如公式2所示，将窗口内的CT值通过线性变换映射到0～255空间来显示。
Figure BDA0002548670550000051
其中T(i)是像素点i的原始CT值，ww(值为350)代表窗宽，wl(值为50)代表窗位，
Figure BDA0002548670550000061
表示显示窗口的下限，
Figure BDA0002548670550000062
表示显示窗口的上限，G(i)是线性变换后的像素点i的灰度值。
二、对PET/CT影像进行样本划分及对划分后的样本进行深度特征提取。
对PET/CT影像进行样本划分及对划分后的样本进行深度特征提取，为后续的识别算法准备数据。该内容主要包括对PET/CT影像进行训练样本、验证样本和测试样本的选取、使用卷积神经网络对PET/CT影像进行深度特征提取两部分。
1.对PET/CT影像进行训练样本、验证样本和测试样本的选取。PET/CT影像集共m个样本，每个样本具有c个通道，每个切片的大小为h×w(每个样本的数据维度为w×h×c)，按照顺序将预处理后的数据集存储在一个四维矩阵中(维度为m×w×h×c)。对PET/CT影像集进行划分，随机的选取一定比例的样本组成训练集(训练CNN网络)、验证集(调整网络的超参数以及对网络的性能进行初步评估)与测试集(测试网络的泛化能力)三部分，一般选取训练集、验证集、测试集的比例为7:1:2。
2.使用卷积神经网络对PET/CT影像进行深度特征提取。DenseNet网络在每一个DenseBlock中采用密集连接的方式，其结构具有增大网络深度的同时减少计算开销特点。为提升网络的泛化能力，防止过拟合，采用基于模型的迁移学习的方法，利用源域和目标域参数共享的DenseNet网络对PET、CT影像分别做前向传播，得到去除顶层节点后网络的输出特征，提取PET影像的特征和CT影像的特征并按行排列(即第一个样本的特征向量排在第一行，第二个样本的特征向量排在第二行，以此类推)，最终形成PET和CT特征的二维矩阵，它的行数为样本的个数，列数为每个样本包含的特征向量个数。
三、对卷积神经网络提取PET影像的特征与CT影像的特征进行特征融合。
对卷积神经网络提取PET影像的特征与CT影像的特征进行特征融合，包括两部分：使用主成分分析(Principal Component Analysis，PCA)方法对卷积神经网络获取的特征向量进行降维处理；对PET和CT影像提取到的特征进行融合。具体步骤如下：
1.使用主成分分析方法对卷积神经网络获取的特征向量进行降维处理。由于卷积神经网络获取的特征向量具有较高维度，为了消除高维向量中的冗余特征及噪声，获取更有效、更低维的特征向量表示，对特征向量进行主成分分析法，其原理是通过较少的分量来反映原始数据中的大部分特性，将原始数据中相关性较高的分量转换为彼此间不相关的新分量，新分量称之为主成分。通过PCA处理，将原始高维的特征向量降低成n维，后续在它们的基础上进行融合处理并进行识别。实验结果表明，n取128时，效果较好。
2.对PET和CT影像提取到的深度特征进行融合。为了消除PET和CT影像特征之间的量纲影响，加快网络的收敛速度，分别对其进行归一化处理。将处理后的PET和CT不同影像学特征进行特征融合，完成PET/CT识别网络的特征融合过程，实现特征的一体化表达，获得最具差异性的丰富的特征信息，消除因不同特征集之间的相关性而产生的冗余信息，有效地提升识别网络的鲁棒性和稳定性。
四、搭建卷积神经网络对融合后的特征进行识别并利用训练样本对网络进行有监督训练。
识别网络由两组卷积层和池化层组成，如图2所示，之后通过一个三个节点的全连接层进行网络输出。将经过处理后的具有新特征表示的由训练样本特征构成的二维矩阵作为识别网络的输入。网络训练的过程中加入Batch Normalization(BN)与Dropout的操作有效加快网络的收敛速度以及减小网络过拟合的现象。为了增强网络的鲁棒性和抗过拟合能力，利用全局平均值池化(Global Average Pooling，GAP)减少网络参数。此外，在数据和标签层面也分别对过拟合问题采取一定的正则化手段，利用mixup进行一定的数据增强以及在标签中增加一定程度的噪声平滑标签。使用训练集进行网络迭代训练，当迭代进行到一定数量(设定为t次)，进行一次验证(使用验证集进行前向传播)得到验证集的准确率，以衡量网络的训练情况(正常、过拟合、欠拟合、训练基本停滞等)，并保存网络在验证集中的最好网络权重。利用交叉验证方法保证网络的可靠性和稳定性。修改随机因子，重复实验，随机进行多次数据集划分、训练、测试。最终通过准确率的均值和方差衡量网络的识别效果。实验结果表明，对于PET/CT影像而言，Dropout设置0.5，两个卷积层的特征图数量选择256和128，训练的迭代次数为100次，识别效果较好。
本发明神经网络具体实施时如图3所示。
五、使用训练好的识别网络对测试样本类型进行识别及结果分析。
将测试样本输入识别网络，首先，基于CNN的特征提取网络会对PET/CT影像分别进行特征提取；其次，分别将提取PET影像和CT影像的特征进行PCA处理并将处理后的特征进行融合；接下来，将融合后的特征向量输入到训练好的识别网络中对测试样本进行识别；最后，网络输出对应样本的类别标号，从而完成了PET/CT影像的识别工作。通过识别网络输出的类别与测试样本本身的标签对比，可以计算出整个识别网络性能的定量衡量。
本发明进一步提高了PET/CT影像识别网络的稳定性与鲁棒性，本方法通过对CNN提取的PET/CT影像的高度抽象的特征设计深度特征融合网络实现特征互补，从而可以更大程度地提升识别网络性能。
本发明中所述的系统，可以应用在专门的图像或影响识别装置中，亦可以设置在由计算机实现的控制系统中，本发明中深度学习网络基于CNN神经网络。
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims (15)

1.一种基于深度特征融合的PET/CT影像识别系统，其特征在于所述系统执行以下步骤：
一、获取PET/CT影像原始数据，并对PET/CT影像原始数据进行读取及预处理；
二、对PET/CT影像进行样本划分，然后利用卷积神经网络分别对划分后的样本进行深度特征提取；
三、将提取的特征分别进行PCA处理，并分别进行归一化，之后将处理后的PET影像特征与CT影像特征进行特征融合；
四、利用融合后的特征训练识别网络；
五、使用训练好的识别网络对待识别样本进行识别，提取出可分性较好的影像学特征。
2.根据权利要求1所述的一种基于深度特征融合的PET/CT影像识别系统，其特征在于：所述步骤一中PET/CT影像原始数据以DICOM文件的形式存储。
3.根据权利要求2所述的一种基于深度特征融合的PET/CT影像识别系统，其特征在于所述步骤一中对PET/CT影像进行读取的具体步骤为：首先从DICOM文件中读取到存储的影像像素矩阵，然后利用公式1将读取的像素点i的灰度值转换成CT值，
T(i)＝P(i)×slope+intercept (1)
其中P(i)是像素点i的灰度值，slope和intercept参数是灰度值与CT值转换公式中的斜率和截距，所述slope和intercept存储在DICOM文件中，T(i)是像素点i的CT值，单位为亨氏。
4.根据权利要求3所述的一种基于深度特征融合的PET/CT影像识别系统，其特征在于所述slope为0.06，所述intercept为-1024。
5.根据权利要求3所述的一种基于深度特征融合的PET/CT影像识别系统，其特征在于：所述步骤一中预处理为窗技术预处理，所述窗技术预处理包括窗宽和窗位。
6.根据权利要求5所述的一种基于深度特征融合的PET/CT影像识别系统，其特征在于：所述步骤一中对PET/CT影像进行预处理的具体步骤为：利用窗技术，即公式2，将窗口内的CT值通过线性变换映射到0～255空间进行显示，
Figure FDA0002548670540000021
其中T(i)是像素点i的原始CT值，ww代表窗宽，wl代表窗位，
Figure FDA0002548670540000022
表示显示窗口的下限，
Figure FDA0002548670540000023
表示显示窗口的上限，G(i)是线性变换后的像素点i的灰度值。
7.根据权利要求6所述的一种基于深度特征融合的PET/CT影像识别系统，其特征在于所述ww为350，所述wl为50。
8.根据权利要求6所述的一种基于深度特征融合的PET/CT影像识别系统，其特征在于所述步骤二的详细步骤为：
PET/CT影像集共m个样本，每个样本为具有c个通道的二维矩阵，每个矩阵的大小为h×w，即每个样本的数据维度为w×h×c，将预处理后的数据集存储在一个四维矩阵中，即维度为m×w×h×c，每个样本对应一个类别标签，保存在一个一维矩阵中，维度为m，然后对PET/CT影像集进行划分，随机的选取一定比例的样本组成训练集、验证集与测试集，
使用DenseNet网络对PET/CT影像进行深度特征提取，然后采用基于模型的迁移学习的方法，利用源域和目标域参数共享的DenseNet网络对PET、CT影像分别做前向传播，得到去除顶层节点后网络的输出特征，之后提取PET影像的特征和CT影像的特征并按行排列，即第一个样本的特征向量排在第一行，第二个样本的特征向量排在第二行，以此类推，最终形成PET和CT特征的二维矩阵，即行数为样本的个数，列数为每个样本包含的特征向量个数。
9.根据权利要求8所述的一种基于深度特征融合的PET/CT影像识别系统，其特征在于所述训练集、验证集、测试集的比例为7:1:2。
10.根据权利要求9所述的一种基于深度特征融合的PET/CT影像识别系统，其特征在于所述步骤三中将提取到的PET影像的特征与CT影像的特征进行特征融合包括两部分：
使用PCA方法对卷积神经网络获取的特征向量进行降维处理和对PET和CT影像提取到的特征进行融合；
具体步骤如下：
A.对特征向量进行主成分分析法处理，之后通过PCA处理，将原始高维的特征向量降低成n维；
B.分别对降维后的PET和CT影像特征进行归一化处理，之后将处理后的PET和CT不同影像学特征进行特征融合，将融合后的特征保存在二维矩阵中，即维度为m×2n。
11.根据权利要求10所述的一种基于深度特征融合的PET/CT影像识别系统，其特征在于所述步骤四中识别网络包括两组卷积层和池化层，之后通过一个三个节点的全连接层进行网络输出，每层卷积核个数依次为256和128，在第二个池化层之后设有全局平均值池化层。
12.根据权利要求11所述的一种基于深度特征融合的PET/CT影像识别系统，其特征在于所述步骤四的详细步骤为：
设置全局平均值池化层初始学习率为0.001，当训练轮数达到30,50,80时依次减半，网络训练的过程中加入Batch Normalization，即BN和Dropout的操作，并利用mixup构建虚拟样本进行数据增强，之后在标签中增加噪声平滑标签，
将经过处理后的具有新特征表示的由训练样本特征构成的二维矩阵作为识别网络的输入，使用训练集进行网络迭代训练，当迭代进行到t次时进行一次验证，即使用验证集进行前向传播，得到验证集的准确率，利用交叉验证方法，划分多组验证集，在平均验证集准确率最高时保存网络权重，并将该其作为最终权重，所述迭代次数t的取值范围为10＜t＜50。
13.根据权利要求12所述的一种基于深度特征融合的PET/CT影像识别系统，其特征在于所述迭代次数t为20次。
14.根据权利要求13所述的一种基于深度特征融合的PET/CT影像识别系统，其特征在于所述Dropout设置为0.5。
15.根据权利要求14所述的一种基于深度特征融合的PET/CT影像识别系统，其特征在于所述步骤五的详细步骤为：
将测试样本输入到训练好的识别网络中对待检测样本进行识别；网络输出对应样本的类别标号。
CN202010568493.4A 2020-06-19 2020-06-19 一种基于深度特征融合的pet/ct影像识别系统 Pending CN111783796A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010568493.4A CN111783796A (zh) 2020-06-19 2020-06-19 一种基于深度特征融合的pet/ct影像识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010568493.4A CN111783796A (zh) 2020-06-19 2020-06-19 一种基于深度特征融合的pet/ct影像识别系统

Publications (1)

Publication Number Publication Date
CN111783796A true CN111783796A (zh) 2020-10-16

Family

ID=72756881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010568493.4A Pending CN111783796A (zh) 2020-06-19 2020-06-19 一种基于深度特征融合的pet/ct影像识别系统

Country Status (1)

Country Link
CN (1) CN111783796A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488992A (zh) * 2020-11-13 2021-03-12 上海健康医学院 表皮生长因子受体突变状态判断方法、介质及电子设备
CN113496487A (zh) * 2021-07-07 2021-10-12 中国人民解放军总医院第一医学中心 多尺度递进聚焦的医学图像深度学习方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220971A (zh) * 2017-06-02 2017-09-29 太原理工大学 一种基于卷积神经网络和主成分分析法的肺结节特征提取方法
CN108257134A (zh) * 2017-12-21 2018-07-06 深圳大学 基于深度学习的鼻咽癌病灶自动分割方法和系统
CN108961215A (zh) * 2018-06-05 2018-12-07 上海大学 基于多模态医学影像的帕金森病辅助诊断系统和方法
CN109035160A (zh) * 2018-06-29 2018-12-18 哈尔滨商业大学 医学影像的融合方法及基于融合医学影像学习的图像检测方法
CN109190622A (zh) * 2018-09-11 2019-01-11 深圳辉煌耀强科技有限公司 基于强特征和神经网络的上皮细胞分类系统和方法
CN110580695A (zh) * 2019-08-07 2019-12-17 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
CN110619639A (zh) * 2019-08-26 2019-12-27 苏州同调医学科技有限公司 一种结合深度神经网络和概率图模型分割放疗影像的方法
CN111462116A (zh) * 2020-05-13 2020-07-28 吉林大学第一医院 基于影像组学特征的多模态参数模型优化融合方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220971A (zh) * 2017-06-02 2017-09-29 太原理工大学 一种基于卷积神经网络和主成分分析法的肺结节特征提取方法
CN108257134A (zh) * 2017-12-21 2018-07-06 深圳大学 基于深度学习的鼻咽癌病灶自动分割方法和系统
CN108961215A (zh) * 2018-06-05 2018-12-07 上海大学 基于多模态医学影像的帕金森病辅助诊断系统和方法
CN109035160A (zh) * 2018-06-29 2018-12-18 哈尔滨商业大学 医学影像的融合方法及基于融合医学影像学习的图像检测方法
CN109190622A (zh) * 2018-09-11 2019-01-11 深圳辉煌耀强科技有限公司 基于强特征和神经网络的上皮细胞分类系统和方法
CN110580695A (zh) * 2019-08-07 2019-12-17 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
CN110619639A (zh) * 2019-08-26 2019-12-27 苏州同调医学科技有限公司 一种结合深度神经网络和概率图模型分割放疗影像的方法
CN111462116A (zh) * 2020-05-13 2020-07-28 吉林大学第一医院 基于影像组学特征的多模态参数模型优化融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梁蒙蒙: "基于卷积神经网络的多模态医学图像分类研究", 《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488992A (zh) * 2020-11-13 2021-03-12 上海健康医学院 表皮生长因子受体突变状态判断方法、介质及电子设备
CN112488992B (zh) * 2020-11-13 2024-04-02 上海健康医学院 表皮生长因子受体突变状态判断方法、介质及电子设备
CN113496487A (zh) * 2021-07-07 2021-10-12 中国人民解放军总医院第一医学中心 多尺度递进聚焦的医学图像深度学习方法和装置
CN113496487B (zh) * 2021-07-07 2023-11-14 中国人民解放军总医院第一医学中心 多尺度递进聚焦的医学图像深度学习方法和装置

Similar Documents

Publication Publication Date Title
Xiong et al. Identification of cash crop diseases using automatic image segmentation algorithm and deep learning with expanded dataset
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
Khojaste-Sarakhsi et al. Deep learning for Alzheimer's disease diagnosis: A survey
Tang et al. A multi-stage framework with context information fusion structure for skin lesion segmentation
CN109754007A (zh) 前列腺手术中外包膜智能检测和预警方法及系统
Li et al. Automatic lumbar spinal MRI image segmentation with a multi-scale attention network
CN112270666A (zh) 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
Li et al. Study on strategy of CT image sequence segmentation for liver and tumor based on U-Net and Bi-ConvLSTM
Guo et al. Msanet: multiscale aggregation network integrating spatial and channel information for lung nodule detection
CN111783796A (zh) 一种基于深度特征融合的pet/ct影像识别系统
He et al. Segmentation ability map: Interpret deep features for medical image segmentation
Chen et al. HADCNet: Automatic segmentation of COVID-19 infection based on a hybrid attention dense connected network with dilated convolution
Yao et al. GeminiNet: combine fully convolution network with structure of receptive fields for object detection
CN115641957A (zh) 一种基于影像基因组学的新辅助化疗疗效预测方法及系统
Wang et al. Superpixel inpainting for self-supervised skin lesion segmentation from dermoscopic images
Guan et al. Precision medical image hash retrieval by interpretability and feature fusion
CN113035334B (zh) 鼻腔nkt细胞淋巴瘤放疗靶区自动勾画方法和装置
Zhang et al. Trustworthy learning with (un) sure annotation for lung nodule diagnosis with CT
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
Wu et al. Human identification with dental panoramic images based on deep learning
Wang et al. SCL-Net: Structured collaborative learning for PET/CT based tumor segmentation
Yan et al. Two and multiple categorization of breast pathological images by transfer learning
CN113889235A (zh) 一种三维医学影像无监督特征抽取系统
CN114649092A (zh) 基于半监督学习和多尺度特征融合的辅助诊断方法及装置
Wu et al. Mscan: Multi-scale channel attention for fundus retinal vessel segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201016