CN111932512B - 一种基于cnn和nlstm神经网络应用于ct影像的颅内出血检测方法 - Google Patents

一种基于cnn和nlstm神经网络应用于ct影像的颅内出血检测方法 Download PDF

Info

Publication number
CN111932512B
CN111932512B CN202010785690.1A CN202010785690A CN111932512B CN 111932512 B CN111932512 B CN 111932512B CN 202010785690 A CN202010785690 A CN 202010785690A CN 111932512 B CN111932512 B CN 111932512B
Authority
CN
China
Prior art keywords
image
function
cnn
nlstm
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010785690.1A
Other languages
English (en)
Other versions
CN111932512A (zh
Inventor
刘萍萍
石立达
朱俊杰
陈儇
刘鹏程
周求湛
金百鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202010785690.1A priority Critical patent/CN111932512B/zh
Publication of CN111932512A publication Critical patent/CN111932512A/zh
Application granted granted Critical
Publication of CN111932512B publication Critical patent/CN111932512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于CNN和NLSTM神经网络应用于CT影像的颅内出血检测方法，属于智能医学影像处理领域。本发明使用CNN神经网络提取CT影像的图片特征，在提取CNN特征之前，CNN神经网络也是经过训练的，我们这里使用的预训练CNN网络为ResNeXt。提取的图像的embedding和病人的序列信息相结合作为NLSTM神经网络的输入，通过交叉熵损失函数计算损失反向传播网络，最后得到的网络结构去进行测试。这种CNN与RNN神经网络相结合的模式很适合处理CT序列影像，CNN与NLSM是一种新颖的颅内出血检测分类方法。本发明公开了基于CNN和NLSTM相结合的颅内出血检测方法，是一种准确高效的自动出血检测和分类方法，对临床有着极其重要的价值，具有广阔的应用场景。

Description

一种基于CNN和NLSTM神经网络应用于CT影像的颅内出血检测 方法
技术领域
本发明属于智能医学影像处理领域，具体涉及一种基于CNN和NLSTM神经网络应用于CT影像的颅内出血检测方法。
背景技术
深度学习是机器学习和人工智能研究的最新趋势之一，它也是当今最流行的科学研究趋势之一。近年来，深度学习方法在医学影像处理中得到了广泛的关注。对于一些特定的任务，深度学习方法已经显示出可以与医学专家相匹敌或超越医学专家的表现。
颅内出血(ICH)，是指脑中的血管破裂引起出血，因此由血管获得血液的脑细胞受到破坏的同时，由于出血压迫周围的神经组织而引起障碍。它也叫脑出血、脑溢血、出血性中风，占全部脑卒中的20％-30％，急性期病死率为30％-40％。颅内出血包含：脑室内出血(IVH)、脑实质性出血(IPH)、蛛网膜下腔出血(SAH)、硬膜外出血(EDH)和硬膜下血肿(SDH)。可见，颅内出血分类主要是与出血位置有关。
诊断颅内出血是医学领域的一个重要挑战。确定颅内出血的部位和类型是治疗病人的关键。目前的诊断颅内出血的方法是对大脑进行CT扫描。由于脑组织、血液、肌肉和骨骼等对X射线吸收特性不同，CT扫描会产生高对比度图像，然后供医生查看。传统的分类方法有放射科医生负责目视检查和定量评估。这个过程不仅非常耗时而且需要有长期工作经验训练有素的放射科医生才能判别准确。
发明内容
本发明的目的是为了解决目前颅内出血的CT图像评估耗时且对医生的专业性依赖较大的问题，提供一种基于CNN和NLSTM神经网络应用于CT影像的颅内出血检测分类方法。
为实现上述目的，本发明采取的技术方案如下：
步骤一：从dicom格式的医学CT影像得到CT图像值：
dicom格式的图片要转化成CT图像值，转化公式如下：
imagehu＝pixel×Rescaleslope+Rescaleintercept
其中，imagehu为CT图像值，又称hu值；pixel为dicom影像的像素值，Rescaleslope为缩放斜率，Rescaleintercept为缩放截距；
步骤二：Windowing操作
对步骤一得到的CT图像值进行Windowing操作，使用的窗口如下：Brain window：[40，80]，Subdural window：[80，200]，Bone window：[40，380]，其中，方括号内第一位数字表示窗位，第二位数字表示窗宽；
步骤三：转化成jpg图像
Windowing操作完之后再进行归一化使得图像的像素值在[0，1]之间，将图片的像素值与255相乘得到[0，255]之间的值，随后使用opencv的imwrite()函数生成.jpg图像；
步骤四、训练CNN神经网络
预训练网络模型是ResNeXt101神经网络，数据集使用步骤三得到的jpg图像，并且在训练过程中对jpg图像做数据增强处理，使用的函数库为Albumentations函数库；
在训练过程中使用的损失函数是交叉熵损失，其公式如下：
Figure GDA0003684766000000021
其中，L为交叉熵损失，N为一个batchsize的样本数量，i为样本，yi为第i个样本的标签，xi为当前模型第i个样本的预测值；
使用的深度学习框架是Pytorch，使用的是torch.nn.BCEWithLogitsLoss()函数，该函数包括了交叉熵损失和SIGMOD函数；通过计算损失反向传播调整网络参数，得到训练好的网络参数；
步骤五：提取图片的embedding
通过步骤四中训练好的网络结构和参数，提取图片的embedding，将图片进行特征提取，从而将每一张图片映射成一个2048维的向量，并保存到.npz文件中，另外，将dataloader数据帧信息也保存到文件中；
步骤六：创建序列信息
根据数据集中给定的图像的数据标签创建序列信息，序列信息包括以下几个字段：PatientID，SliceID，Image，seq，PatientID代表病人的ID，是每个病人的唯一标识，SliceID代表CT图像的序列ID，每个病人对应一个sliceID，Image代表图片的ID，是每张图片的唯一标识，seq代表该图片的序列信息，seq为0代表的是这张图片是该序列的第一张CT影像，范围为[0，60]；
步骤七：读取数据帧信息和embedding并生成dataloader
将步骤四中保存下来的数据帧信息和embedding读取出来，生成新的dataloader，以一个序列作为NLSTM的输入，对于序列长度不同的batch，使用零位虚拟embedding进行填充到相同的长度，在损失函数计算之前将虚拟信息清除掉；
步骤八：训练NLSTM网络
在NLSTM中，使用一个新的内部记忆函数mt得到ct，新的ct函数的公式为：
ct＝mt(ft⊙ct-1,it⊙gt)
其中，ct为t时刻的细胞状态，ft为遗忘门控，⊙为矩阵点乘即两个矩阵对应元素的相乘，ct-1为上一个时刻的细胞状态，ft⊙ct-1决定哪些信息需要遗忘，it为输入门控，对输入xt进行选择记忆，xt为t时刻的输入，gt为拼接向量乘以权重矩阵之后再通过tanh激活函数转换到-1到1之间的值；mt为记忆函数状态m在t时刻的内部记忆，通过这个函数状态得到ct和mt+1，mt+1是记忆函数状态m在时间t+1的内部记忆，使用另一个LSTM实现这个内部记忆函数，并设定
Figure GDA0003684766000000031
这样就形成了Nested LSTM，简称NLSTM；
NLSTM中的内部记忆函数的输入和隐藏状态为：
Figure GDA0003684766000000032
Figure GDA0003684766000000033
其中，
Figure GDA0003684766000000034
为内部记忆函数的隐层传递状态，
Figure GDA0003684766000000035
为内部记忆函数的输入，σc为tanh函数，Wxc为外部xt的权重，ht-1为t-1时刻的隐层传递状态，Whc为ht-1的权重，bc为偏置项；
在训练过程中使用和训练CNN网络相同的损失函数torch.nn.BCEWithLogitsLoss()作为损失计算，在训练过程中，用一个序列作为一个batch，当loss不再下降时，NLSTM网络训练完成；
步骤九：生成预测文件
网络训练好了之后，针对测试集，生成预测的csv文件，进行指标测试。
本发明相对于现有技术的有益效果为：基于CNN和NLSTM算法，本发明提供了一种准确高效的自动出血检测和分类方法，对临床有着极其重要的价值，具有广阔的应用场景。
附图说明
图1为本发明CNN-NLSTM网络训练流程图；
图2为NLSTM网络架构和结构图；
图3为本发明模型的ROC曲线图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
本发明提供了一种基于深度学习CNN和NLSTM神经网络相结合针对于CT影像的颅内出血检测分类方法，使用CNN神经网络提取CT影像的图片特征。在提取CNN特征之前，CNN神经网络也是经过训练的，我们这里使用的预训练CNN网络为ResNeXt。提取的图像的embedding和病人的序列信息相结合作为NLSTM神经网络的输入，通过交叉熵损失函数计算损失反向传播网络，最后得到的网络结构去进行测试。这种CNN与RNN神经网络相结合的模式很适合处理CT序列影像，CNN与NLSM是一种新颖的颅内出血检测分类方法。
具体实施方式：本实施方式记载的是基于CNN和NLSTM神经网络应用于CT影像的颅内出血检测方法，所述方法为：
步骤一：从dicom格式的医学CT影像得到CT图像值：
dicom格式的图片要转化成CT图像值，转化公式如下：
imagehu＝pixel×Rescaleslope+Rescaleintercept
其中，imagehu为CT图像值，又称hu值；pixel为dicom影像的像素值，Rescaleslope为缩放斜率，Rescaleintercept为缩放截距，这两个参数由CT仪器的硬件制造商决定，可从dicom格式的医学CT影像得到；
步骤二：Windowing操作
由于hu值的范围一般很大，这样就导致了对比度很差，所以需要进行Windowing。Windowing主要调整适合研究方向的窗宽和窗位。窗宽是CT图像上显示的hu值范围。窗位指的是窗的中心位置，同样的窗宽，由于窗位不同，CT图像所包括的hu值也有差别。对步骤一得到的CT图像值进行Windowing操作，使用的窗口如下：Brain window：[40，80]，Subduralwindow：[80，200]，Bone window：[40，380]，其中，方括号内第一位数字表示窗位，第二位数字表示窗宽；
该步骤的意义是得到对应部位的图像病灶影像表现，得到对应的表现之后进行第三步，生成jpg的图像；步骤一至三属于对图像的预处理，也就是由dicom->jpg图像，然后将jpg图像喂给神经网络；
步骤三：转化成jpg图像
Windowing操作完之后再进行归一化使得图像的像素值在[0，1]之间，将图片的像素值与255相乘得到[0，255]之间的值，随后使用opencv的imwrite()函数生成.jpg图像；Opencv是图像处理的一个包，imwrite()是这个包里的一个函数。opencv和imwrite()函数的含义均为本领域公知。
步骤四、训练CNN神经网络
该步骤使用迁移学习的思想，预训练网络模型是ResNeXt101神经网络(网络模型为现有技术(相当于骨架)，利用这个模型去训练神经元权重(血肉))，在这个模型基础上做了微调，数据集使用步骤三得到的jpg图像，并且在训练过程中对jpg图像进行Flip、Normalize或RandomCrop的数据增强处理，使用的函数库为Albumentations函数库；
在训练过程中使用的损失函数是交叉熵损失，其公式如下：
Figure GDA0003684766000000051
其中，L为交叉熵损失，N为一个batchsize的样本数量，i为样本，yi为第i个样本的标签，xi为当前模型第i个样本的预测值；
使用的深度学习框架是Pytorch，使用的是torch.nn.BCEWithLogitsLoss()函数，该函数包括了交叉熵损失和SIGMOD函数；通过计算损失反向传播调整网络参数，得到训练好的网络参数；torch.nn.BCEWithLogitsLoss()函数的作用是训练网络。前面的段落讲的是使用的是交叉熵损失，这段讲的是代码的实现。用的是pytorch框架，交叉熵损失对应的是torch.nn.BCEWithLogitsLoss这个方法，这个函数是交叉熵函数与SIGMOD函数结合，SIGMOD函数是领域内公知的。
步骤五：提取图片的embedding
通过步骤四中训练好的网络结构和参数，提取图片的embedding(含义为本领域公知)，在这个过程中不存在训练的过程，与步骤四中的网络不同的是，在此步骤中的网络结构中是没有全连接层的，它的作用是将图片进行特征提取，从而将每一张图片映射成一个2048维的向量，并保存到.npz文件中，另外，将dataloader数据帧信息也保存到文件中；
步骤六：创建序列信息(元信息)
根据数据集中给定的图像的数据标签创建序列信息(元信息)，序列信息包括以下几个字段：PatientID，SliceID，Image，seq，PatientID代表病人的ID，是每个病人的唯一标识，SliceID代表CT图像的序列ID，每个病人对应一个sliceID，Image代表图片的ID，是每张图片的唯一标识，seq代表该图片的序列信息，seq为0代表的是这张图片是该序列的第一张CT影像，范围为[0，60]；
步骤七：读取数据帧信息和embedding并生成dataloader
将步骤四中保存下来的数据帧信息和embedding读取出来，生成新的dataloader，与训练CNN不同的是，这里是以一个序列作为NLSTM的输入，而不是以单张图片的形式。对于序列长度不同的batch，使用零位虚拟embedding进行填充到相同的长度，在损失函数计算之前将虚拟信息清除掉；
步骤八：训练NLSTM网络
NLSTM网络能够关注同一个序列中当前图片和上一张\下一张图片之间的差异，它和LSTM与堆栈LSTM相比，能够提取更深层次的特征信息和处理更长时间规模的内部记忆；在LSTM中ct的值是由遗忘门和输入门做加法计算得到的，其公式为：
ct＝ft⊙ct-1+it⊙gt
其中，ct为t时刻的细胞状态，ft为遗忘门控，⊙为矩阵点乘即两个矩阵对应元素的相乘，ct-1为上一个时刻的细胞状态，ft⊙ct-1决定哪些信息需要遗忘，it为输入门控，对输入xt进行选择记忆，xt为t时刻的输入，gt为拼接向量乘以权重矩阵之后再通过tanh激活函数转换到-1到1之间的值；
在NLSTM中，使用一个新的内部记忆函数mt得到ct，新的ct函数的公式为：
ct＝mt(ft⊙ct-1,it⊙gt)
其中，mt为记忆函数状态m在t时刻的内部记忆，通过这个函数状态得到ct和mt+1，mt+1是记忆函数状态m在时间t+1的内部记忆，使用另一个LSTM实现这个内部记忆函数，并设定
Figure GDA0003684766000000061
这样就形成了Nested LSTM，简称为NLSTM；
它的网络结构如附图2所示：
NLSTM中的内部记忆函数的输入和隐藏状态为：
Figure GDA0003684766000000062
Figure GDA0003684766000000063
其中，
Figure GDA0003684766000000064
为内部记忆函数的隐层传递状态，
Figure GDA0003684766000000065
为内部记忆函数的输入，σc为tanh函数，Wxc为外部xt的权重，ht-1为t-1时刻的隐层传递状态，Whc为ht-1的权重，bc为偏置项；在这个网络结构中xt代表的是t时刻的输入，ht代表的是t时刻的隐层传递状态，下标代表的是时刻。
Figure GDA0003684766000000066
代表是内部记忆函数的t-1时刻的隐层传递状态。有～的代表内部记忆函数的输入或者隐层。
在训练过程中使用和训练CNN网络相同的损失函数torch.nn.BCEWithLogitsLoss()作为损失计算，在训练过程中，用一个序列作为一个batch，当loss不再下降时，NLSTM网络训练完成；
步骤九：生成预测文件
网络训练好了之后，针对测试集，生成预测的csv文件，进行指标测试。
本发明中使用的数据集是由北美放射学会与美国神经放射学会和MD.ai成员合作提供的开源数据集。原数据集的训练集有75w+张，对这75w+张图片进行了训练，测试集有12w+张。由于得不到原测试集的label，我们对训练集重新进行了划分。在原来训练集中的75w+张图片划分成5份，前4份用来训练，最后1份用来测试。重新划分的数据集训练集有62w+张图片，测试集有13w+张图片。
本发明的网络模型用常用的机器学习评价指标得到的结果如下表：
评价指标 准确率 精确度 F1-分数
结果 0.9795 0.9787 0.9789
本发明的模型的ROC曲线如图3所示。
本发明中使用了GPU加速计算。使用的显卡型号是NVIDIA RTX2080TI。在训练CNN的过程中，使用的学习率为0.00001，batchsize为32，图片尺寸是448。在训练序列网络的过程中，我们使用0.00005的学习率，batchsize为4(4个图片序列为一个batch)，NLSTM的隐层个数是2048。

Claims (1)

1.基于CNN和NLSTM神经网络应用于CT影像的颅内出血检测方法，其特征在于：所述方法为：
步骤一：从dicom格式的医学CT影像得到CT图像值：
dicom格式的图片要转化成CT图像值，转化公式如下：
imagehu＝pixel×Rescaleslope+Rescaleintercept
其中，imagehu为CT图像值，又称hu值；pixel为dicom影像的像素值，Rescaleslope为缩放斜率，Rescaleintercept为缩放截距；
步骤二：Windowing操作
对步骤一得到的CT图像值进行Windowing操作，使用的窗口如下：Brain window：[40，80]，Subdural window：[80，200]，Bone window：[40，380]，其中，方括号内第一位数字表示窗位，第二位数字表示窗宽；
步骤三：转化成jpg图像
Windowing操作完之后再进行归一化使得图像的像素值在[0，1]之间，将图片的像素值与255相乘得到[0，255]之间的值，随后使用opencv的imwrite()函数生成.jpg图像；
步骤四、训练CNN神经网络
预训练网络模型是ResNeXt101神经网络，数据集使用步骤三得到的jpg图像，并且在训练过程中对jpg图像做Flip、Normalize或RandomCrop的数据增强处理，使用的函数库为Albumentations函数库；
在训练过程中使用的损失函数是交叉熵损失，其公式如下：
Figure FDA0003684765990000011
其中，L为交叉熵损失，N为一个batchsize的样本数量，i为样本，yi为第i个样本的标签，xi为当前模型第i个样本的预测值；
使用的深度学习框架是Pytorch，使用的是torch.nn.BCEWithLogitsLoss()函数，该函数包括了交叉熵损失和SIGMOD函数；通过计算损失反向传播调整网络参数，得到训练好的网络参数；
步骤五：提取图片的embedding
通过步骤四中训练好的网络结构和参数，提取图片的embedding，将图片进行特征提取，从而将每一张图片映射成一个2048维的向量，并保存到.npz文件中，另外，将dataloader数据帧信息也保存到文件中；
步骤六：创建序列信息
根据数据集中给定的图像的数据标签创建序列信息，序列信息包括以下几个字段：PatientID，SliceID，Image，seq，PatientID代表病人的ID，是每个病人的唯一标识，SliceID代表CT图像的序列ID，每个病人对应一个sliceID，Image代表图片的ID，是每张图片的唯一标识，seq代表该图片的序列信息，seq为0代表的是这张图片是该序列的第一张CT影像，范围为[0，60]；
步骤七：读取数据帧信息和embedding并生成dataloader
将步骤四中保存下来的数据帧信息和embedding读取出来，生成新的dataloader，以一个序列作为NLSTM的输入，对于序列长度不同的batch，使用零位虚拟embedding进行填充到相同的长度，在损失函数计算之前将虚拟信息清除掉；
步骤八：训练NLSTM网络
在NLSTM中，使用一个新的内部记忆函数mt得到ct，新的ct函数的公式为：
ct＝mt(ft⊙ct-1,it⊙gt)
其中，ct为t时刻的细胞状态，ft为遗忘门控，⊙为矩阵点乘即两个矩阵对应元素的相乘，ct-1为上一个时刻的细胞状态，ft⊙ct-1决定哪些信息需要遗忘，it为输入门控，对输入xt进行选择记忆，xt为t时刻的输入，gt为拼接向量乘以权重矩阵之后再通过tanh激活函数转换到-1到1之间的值；mt为记忆函数状态m在t时刻的内部记忆，通过这个函数状态得到ct和mt+1，mt+1是记忆函数状态m在时间t+1的内部记忆，使用另一个LSTM实现这个内部记忆函数，并设定
Figure FDA0003684765990000021
这样就形成了Nested LSTM，简称NLSTM；
NLSTM中的内部记忆函数的输入和隐藏状态为：
Figure FDA0003684765990000022
Figure FDA0003684765990000023
其中，
Figure FDA0003684765990000024
为内部记忆函数的隐层传递状态，
Figure FDA0003684765990000025
为内部记忆函数的输入，σc为tanh函数，Wxc为外部xt的权重，ht-1为t-1时刻的隐层传递状态，Whc为ht-1的权重，bc为偏置项；
在训练过程中使用和训练CNN网络相同的损失函数torch.nn.BCEWithLogitsLoss()作为损失计算，在训练过程中，用一个序列作为一个batch，当loss不再下降时，NLSTM网络训练完成；
步骤九：生成预测文件
网络训练好了之后，针对测试集，生成预测的csv文件，进行指标测试。
CN202010785690.1A 2020-08-06 2020-08-06 一种基于cnn和nlstm神经网络应用于ct影像的颅内出血检测方法 Active CN111932512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010785690.1A CN111932512B (zh) 2020-08-06 2020-08-06 一种基于cnn和nlstm神经网络应用于ct影像的颅内出血检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010785690.1A CN111932512B (zh) 2020-08-06 2020-08-06 一种基于cnn和nlstm神经网络应用于ct影像的颅内出血检测方法

Publications (2)

Publication Number Publication Date
CN111932512A CN111932512A (zh) 2020-11-13
CN111932512B true CN111932512B (zh) 2022-08-05

Family

ID=73306881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010785690.1A Active CN111932512B (zh) 2020-08-06 2020-08-06 一种基于cnn和nlstm神经网络应用于ct影像的颅内出血检测方法

Country Status (1)

Country Link
CN (1) CN111932512B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011362A (zh) * 2021-03-29 2021-06-22 吉林大学 基于双线性池化与注意力机制的细粒度眼底图像分级算法
CN113011514B (zh) * 2021-03-29 2022-01-14 吉林大学 基于双线性池化应用于ct影像的颅内出血亚类型分类算法
CN116522007B (zh) * 2023-07-05 2023-10-20 中国科学技术大学 一种面向推荐系统模型的数据遗忘学习方法、装置及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417788B2 (en) * 2016-09-21 2019-09-17 Realize, Inc. Anomaly detection in volumetric medical images using sequential convolutional and recurrent neural networks
CN110503630B (zh) * 2019-07-19 2023-05-09 江苏师范大学 一种基于三维深度学习模型的脑出血分类、定位与预测方法

Also Published As

Publication number Publication date
CN111932512A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111932512B (zh) 一种基于cnn和nlstm神经网络应用于ct影像的颅内出血检测方法
CN111192245A (zh) 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN112446891B (zh) 基于U-Net网络脑胶质瘤的医学图像分割方法
CN112043260B (zh) 基于局部模式变换的心电图分类方法
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
CN111242953B (zh) 一种基于条件生成对抗网络的mr图像分割方法及装置
CN114841320A (zh) 一种基于喉镜医学影像的器官自动分割方法
CN113034507A (zh) 基于ccta影像的冠状动脉三维分割方法
CN112381846A (zh) 一种基于非对称网络的超声甲状腺结节分割方法
CN109215035B (zh) 一种基于深度学习的脑部mri海马体三维分割方法
CN114565572A (zh) 一种基于图像序列分析的脑出血ct图像分类方法
CN115908449A (zh) 一种基于改进UNet模型的2.5D医学CT影像分割方法及装置
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法
CN113011514B (zh) 基于双线性池化应用于ct影像的颅内出血亚类型分类算法
Kong et al. Data enhancement based on M2-Unet for liver segmentation in Computed Tomography
CN114140437A (zh) 一种基于深度学习的眼底硬渗出物分割方法
CN117523204A (zh) 面向医疗场景的肝脏肿瘤图像分割方法、装置和可读存储介质
Shen [Retracted] Implementation of CT Image Segmentation Based on an Image Segmentation Algorithm
CN111755131A (zh) 一种基于注意力引导的covid-19早筛和严重程度评估方法和系统
Luong et al. A computer-aided detection to intracranial hemorrhage by using deep learning: a case study
CN115937590A (zh) 一种并联融合CNN和Transformer的皮肤病图像分类方法
CN115330600A (zh) 一种基于改进srgan的肺部ct图像超分辨率方法
Zhang et al. Research on brain glioma segmentation algorithm
Zhang et al. Pneumothorax segmentation of chest X-rays using improved UNet++

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant