CN113011514A - 基于双线性池化应用于ct影像的颅内出血亚类型分类算法 - Google Patents

基于双线性池化应用于ct影像的颅内出血亚类型分类算法 Download PDF

Info

Publication number
CN113011514A
CN113011514A CN202110336566.1A CN202110336566A CN113011514A CN 113011514 A CN113011514 A CN 113011514A CN 202110336566 A CN202110336566 A CN 202110336566A CN 113011514 A CN113011514 A CN 113011514A
Authority
CN
China
Prior art keywords
cnn
image
loss
intracranial hemorrhage
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110336566.1A
Other languages
English (en)
Other versions
CN113011514B (zh
Inventor
刘萍萍
石立达
宁港军
周求湛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202110336566.1A priority Critical patent/CN113011514B/zh
Publication of CN113011514A publication Critical patent/CN113011514A/zh
Application granted granted Critical
Publication of CN113011514B publication Critical patent/CN113011514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本发明公开了一种基于双线性池化应用于CT影像的颅内出血亚类型分类算法，所述算法创新性地以细粒度分类的角度去解决颅内出血亚类型分类这个问题，在CNN部分使用了紧凑双线性池化的网络架构，提高了神经网络的特征表达能力，提升了分类性能。双线性池化已经被证明是解决细粒度分类问题的有效方法。它通过对高阶统计信息进行建模，将来自两个不同源的CNN或者同源的CNN的特征看作是两种不同的特征。并对两个特征进行外积计算，然后通过池化操作进行特征融合以捕获不同特征之间的关系，进而得到更强的全局特征表示。该方法用图像平移不变的方法，对局部的成对特征进行交互式建模。

Description

基于双线性池化应用于CT影像的颅内出血亚类型分类算法
技术领域
本发明属于智能医学影像处理领域，涉及一种基于双线性池化的应用于颅内出血亚类型分类算法。
背景技术
颅内出血(Intracranial Hemorrhage,ICH)是一种发生在脑室内或脑组织中的出血性疾病。颅内出血包含：脑室内出血(IVH)、脑实质性出血(IPH)、蛛网膜下腔出血(SAH)、硬膜外出血(EDH)和硬膜下血肿(SDH)。颅内出血亚类型分类的研究是判断CT图像中是否存在颅内出血和对其5种亚类型(IPH、IVH、EDH、SDH、SAH)进行分类。诊断颅内出血是医学领域的一个重要挑战。确定颅内出血的部位和类型是治疗病人的关键。目前的诊断颅内出血的方法是对大脑进行CT扫描。由于脑组织、血液、肌肉和骨骼等对X射线吸收特性不同，CT扫描会产生高对比度图像，然后供医生查看。传统的分类方法由放射科医生负责目视检查和定量评估。这个过程不仅非常耗时而且需要有长期工作经验、训练有素的放射科医生才能判别准确。
随着信息技术和人工智能的不断发展，计算机辅助诊断(Computer AidedDiagnosis,CAD)逐渐受到医学专家和研究者们的关注。通过为计算机设计识别算法，CAD以自动或半自动地对医学影像进行计算机分析得到辅助诊断报告。随后影像科医师根据辅助诊断的报告进行下一步分析与核验。
发明内容
为了解决目前颅内出血亚类型分类耗时且对医生的专业性依赖较大的问题，本发明提供了一种基于双线性池化应用于CT影像的颅内出血亚类型分类算法。本发明提出了一个新的CNN-RNN网络架构用于进行ICH的亚类型分类，在CNN模块中，从颅内CT图像的特性入手，以细粒度视角看待这个问题，解决了ResNet和DenseNet等网络在颅内CT图像上的缺陷。因此，本发明的方法将紧凑双线性池化的方法引入到本发明中，并针对数据分布不均衡和标签之间的依赖关系被忽视等问题，提出了MWF损失和SRE损失，将这三部分与CNNs融合成一个新的ICH亚类型多标签细粒度网络架构。通过CNN模块得到图像特征之后，进入RNN模块。与其他先进方法对比，本发明的方法达到了更优的性能，对临床有着极其重要的价值，具有广阔的应用场景。
本发明的目的是通过以下技术方案实现的：
一种基于双线性池化应用于CT影像的颅内出血亚类型分类算法，包括如下步骤：
步骤一、从dicom格式的医学CT影像得到CT图像值；
步骤二、Windowing操作
对步骤一得到的CT图像值进行windowing操作，使用的窗口如下：Brain window：[40，80]，Subdural window：[80，200]，Bone window：[40，380]，其中，方括号内第一位数字表示窗位，第二位数字表示窗宽；
步骤三、转化成jpg图像
Windowing操作完之后进行归一化使得图像的像素值在[0，1]之间，将图片的像素值与255相乘得到[0，255]之间的值，随后使用opencv的imwrite()函数生成.jpg图像；
步骤四、训练CNN网络
使用多权重焦点(Multi-weighted Focal,MWF)损失、Softmax相对熵(SoftmaxRelative Entropy,SRE)损失训练CNN网络，在训练过程中通过反向传播调整网络参数，以得到更加符合图像检索需求的CNN网络，其中：
多权重焦点损失的计算公式如下：
Figure BDA0002997928170000031
Figure BDA0002997928170000032
其中，
Figure BDA0002997928170000033
代表网络对c类的预测值，σ(·)代表的是Sigmoid函数，xc代表的是全连接层针对c类的输出，K代表的是类别的数量，Nc是当前mini-batch中c类别的正样本数量，N代表当前mini-batch中所有训练样本的数量，γ是一个控制系数，其目的是减少易分类样本的损失，从而使得模型在训练时更专注于难分样本；
Softmax相对熵损失的计算公式如下：
Figure BDA0002997928170000034
Ptarget＝P{X＝STc}；
Figure BDA0002997928170000041
Ppred＝P{X＝SPc}；
Figure BDA0002997928170000042
其中，Ptarget是标签的概率分布，yc是第c类的目标标签，xc是第c类样本，STc是目标标签中第c类对应的softmax得到的结果，Ppred是预测标签的概率分布，lc是第c类全连接层的输出经过Sigmoid之后得到的预测概率，SPc是预测标签中第c类对应的Softmax得到的结果；
步骤五、特征提取
用ICH亚类型多标签细粒度CNN网络框架提取图像特征，使用两个不同源的CNN网络作为特征提取器，CNN1代表ResNet50，CNN2代表DenseNet121，并为每个分支网络使用不同的损失函数LCNN1和LCNN2，然后经过CBP之后得到聚合特征，使用BCE损失作为整体CNN架构的损失函数，其公式定义如下：
LCNN1＝LMWF+αLSRE；
LCNN2＝LMWF+βLSRE；
Ltotal＝LBCE+δ(LCNN1+LCNN2)；
其中，α，β是超参数，代表LSRE的权重系数；Ltotal是整个CNN框架的损失；δ是两个分支的损失占整个训练框架的权重；
步骤六、输出预测结果
RNN模块由两个Bi-LSTM网络构成，RNN模块作为CNN模块的下游，将来自于上游CNN模块提取的图像特征作为Bi-LSTM网络的输入，同时，在Bi-LSTM网络的输出之后，再经过全连接层进行分类。
相比于现有技术，本发明具有如下优点：
(1)本发明创新性地以细粒度分类的角度去解决颅内出血亚类型分类这个问题，在CNN部分使用了紧凑双线性池化的网络架构，提高了神经网络的特征表达能力，提升了分类性能。
(2)针对于CT图像数据集中存在的数据不均衡问题，本发明提出了一种新的损失函数—多权重焦点(Multi-weighted Focal,MWF)损失，通过给各个类别添加不同权重和增加难分样本的挖掘程度，解决了多标签分类的样本不均衡和样本挖掘问题。
(3)本发明设计了Softmax相对熵(Softmax Relative Entropy,SRE)损失函数考虑标签之间的相关关系，使用Softmax与Sigmoid结合的方式，得到真实标签与预测标签的概率分布，通过Relative Entropy去计算真实标签分布与预测标签概率分布的差异，从而将多标签类别之间的相关关系考虑在内。
(4)本发明的网络框架整体分成两大模块：CNN模块和RNN模块。本发明将MWF损失和SRE损失以及CNNs的双线性池化融合成新的CNN框架—ICH亚类型多标签细粒度网络架构，并将该网络架构作为CNN模块。RNN模块由两个BiLSTM网络构成，作为CNN模块的下游，其目的是结合CT切片之间的序列相关性信息，从而达到更优的分类性能。
附图说明
图1为ICH亚类型分类的多标签细粒度网络架构；
图2为ICH亚类型分类的CNN-RNN架构。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
本发明提供了一种基于双线性池化应用于CT影像的颅内出血亚类型分类算法，该算法创新性地以细粒度分类的角度去解决颅内出血亚类型分类这个问题，在CNN部分使用了紧凑双线性池化的网络架构，提高了神经网络的特征表达能力，提升了分类性能。双线性池化已经被证明是解决细粒度分类问题的有效方法。它通过对高阶统计信息进行建模，将来自两个不同源的CNN或者同源的CNN的特征看作是两种不同的特征。并对两个特征进行外积计算，然后通过池化操作进行特征融合以捕获不同特征之间的关系，进而得到更强的全局特征表示。该方法用图像平移不变的方法，对局部的成对特征进行交互式建模。
如图1和图2所示，CNN网络训练结构包括紧凑双线性池化的网络架构、多权重焦点(Multi-weighted Focal,MWF)损失、Softmax相对熵(Softmax Relative Entropy,SRE)损失，并将提出的MWF损失和SRE损失以及CNNs的双线性池化融合成新的CNN框架—ICH亚类型多标签细粒度网络架构，并将该网络架构作为CNN模块。RNN模块由两个BiLSTM网络构成，作为CNN模块的下游，其目的是结合CT切片之间的序列相关性信息，从而达到更优的分类性能。
双线性池化是对于图像I在位置l的两个特征fA(l,i)∈RT×M和fB(l,i)∈RT×N，以下公式展示了双线性池化的计算过程。
Figure BDA0002997928170000071
δ(I)＝∑lbilinear((l,i,fA,fB))∈RM×N；
x＝vec(δ(I))∈RMN×1；
Figure BDA0002997928170000072
z＝y/||y||2∈RMN×1；
其中，M和N代表的是通道数，fA(·)与fB(·)为同一图像在不同位置的两个特征，bilinear(·)为双线性池化，δ(I)是sum pooling之后的矩阵，ver(δ(I))为将得到的矩阵δ(I)扩展成一个向量，记为x，
Figure BDA0002997928170000073
为对x进行矩阵归一化，
Figure BDA0002997928170000074
表示对y进行L2归一化。对x矩阵归一化和L2归一化之后，就得到了融合后的特征z。由上可知，最后的bilinear特征的维度是M×N。由于这种高维度的特征不利于分类和作为下游的RNN的输入，所以本发明使用了紧凑双线性池化(Compact Bilinear Pooling,CBP)，得到更低维度的图像特征映射。CBP基于近似核运算的思想，使用低维度投影方法将高维特征映射成低维特征，并保证低维特征具有和高维特征相近的表征能力。构建近似映射的投影方法有两种：张量草图(Tensor Sketch,TS)和随机麦克劳林法(Random Maclauruin,RM)。在本发明中，使用Tensor Sketch方法进行近似映射。
针对于CT图像数据集中存在的数据不均衡问题，本方法提出了一种新的损失函数—多权重焦点(Multi-weighted Focal,MWF)损失，通过给各个类别添加不同权重和增加难分样本的挖掘程度，解决了多标签分类的样本不均衡和样本挖掘问题。具体实施步骤如下：
MWF的计算过程如下：
Figure BDA0002997928170000081
Figure BDA0002997928170000082
其中，
Figure BDA0002997928170000083
代表网络对c类的预测值，σ(·)代表的是Sigmoid函数，xc代表的是全连接层针对c类的输出，K代表的是类别的数量，Nc是当前mini-batch中c类别的正样本数量，N代表当前mini-batch中所有训练样本的数量，γ是一个控制系数，其目的是减少易分类样本的损失，从而使得模型在训练时更专注于难分样本。MWF使用了动态的权重系数去控制正负样本的预测损失。在每个mini-batch中，MWF通过计算正样本的数量占batch中总样本数的比重得到正样本损失的所占的比重。这种方法不仅平衡了网络学习过程中的参数偏移，还减少了样本采样过程中的随机性。
本发明设计了Softmax相对熵(Softmax Relative Entropy,SRE)损失函数考虑标签之间的相关关系，使用Softmax与Sigmoid结合的方式，得到真实标签与预测标签的概率分布，通过Relative Entropy去计算真实标签分布与预测标签概率分布的差异，从而将多标签类别之间的相关关系考虑在内。具体实施如下：
Figure BDA0002997928170000091
Ptarget＝P{X＝STc}；
Figure BDA0002997928170000092
Ppred＝P{X＝SPc}；
Figure BDA0002997928170000093
首先，将样本的标签进行Softmax处理，得到标签的概率分布Ptarget。yc代表的是第c类的目标标签。STc代表目标标签中第c类对应的softmax得到的结果。之后，对样本的预测概率做softmax处理，得到预测标签的概率分布Ppred。lc代表的是第c类全连接层的输出经过Sigmoid之后得到的预测概率。SPc代表预测标签中第c类对应的Softmax得到的结果。得到Ptarget和Ppred之后，引入相对熵去计算两个概率分布之间的差异。
本发明基于双线性池化应用于CT影像的颅内出血亚类型分类算法的具体实施步骤如下：
步骤一：从dicom格式的医学CT影像得到CT图像值：
dicom格式的图片要转化成CT图像值，转化公式如下：
imagehu＝pixel×Rescaleslope+Rescaleintercept；
其中，imagehu为CT图像值，又称hu值；pixel为dicom影像的像素值，Rescaleslope为缩放截距，Rescaleintercept为缩放斜率；这两个参数由CT仪器的硬件制造商决定，可从dicom格式的医学CT影像得到。
步骤二：Windowing操作
由于hu值的范围一般很大，这样就导致了对比度很差，所以需要进行windowing。Windowing主要调整适合研究方向的窗宽和窗位。窗宽是CT图像上显示的hu值范围。窗位指的是窗的中心位置，同样的窗宽，由于窗位不同，CT图像所包括的hu值也有差别。对步骤一得到的CT图像值进行windowing操作，使用的窗口如下：Brain window：[40，80]，Subduralwindow：[80，200]，Bone window：[40，380]，其中，方括号内第一位数字表示窗位，第二位数字表示窗宽。
该步骤的意义是得到对应部位的图像病灶影像表现，得到对应的表现之后进行第三步，生成jpg的图像；步骤一至三属于对图像的预处理，也就是由dicom->jpg图像，然后将jpg图像喂给神经网络。
步骤三：转化成jpg图像
Windowing操作完之后再进行归一化使得图像的像素值在[0，1]之间，将图片的像素值与255相乘得到[0，255]之间的值，随后使用opencv的imwrite()函数生成.jpg图像；Opencv是图像处理的一个包，imwrite()是这个包里的一个函数。opencv和imwrite()函数的含义均为本领域公知。为了更好的进入神经网络且减少GPU的计算量，本发明对图像进行了缩放，从之前的512×512缩放为256×256。为了提高网络的特征表达能力，还去掉了头骨及外围组织。
步骤四：训练CNN网络
使用多权重焦点(Multi-weighted Focal,MWF)损失、Softmax相对熵(SoftmaxRelative Entropy,SRE)损失训练网络，在训练过程中通过反向传播调整网络参数，以得到更加符合图像检索需求的网络。
本步骤中，使用的是由Kaggle比赛提供的公开数据集。但在研究过程中，本发明发现该数据集中存在大量的重复样本和无效样本，这些样本大多是没有意义的，不仅使样本分布更加不均衡从而影响网络的特征表达，而且增大了GPU的计算量。因此，实验过程中删掉了大量的重复样本和无效样本，得到了更为精简的样本数据集。由于比赛方只给出了训练集的标签，本方法将训练集以4:1的比例重新划分了训练集和测试集。
步骤五：特征提取
图1表示ICH亚类型多标签细粒度CNN网络框架。用ICH亚类型多标签细粒度CNN网络框架提取图像特征，使用两个不同源的CNN网络作为特征提取器，CNN1代表的是ResNet50，CNN2代表的是DenseNet121。并为每个分支网络使用不同的损失函数LCNN1和LCNN2。然后经过CBP之后得到聚合特征，使用BCE损失作为整体CNN架构的损失函数。其公式定义如下：
LCNN1＝LMWF+αLSRE；
LCNN2＝LMWF+βLSRE；
Ltotal＝LBCE+δ(LCNN1+LCNN2)；
其中，α，β是超参数，代表的是LSRE的权重系数。其目的是控制SRE在融合损失中的权重。超参数α，β的值越大，则代表SRE聚合损失的权重越大，使得网络更注重关注样本之间的标签相关性。Ltotal代表的是整个CNN框架的损失，它由LBCE、LCNN1、LCNN2三个损失函数构成，并为两个分支的损失函数LCNN1和LCNN2加入了权重δ，δ也是一个超参数，它代表两个分支的损失占整个训练框架的权重。
步骤六：输出预测结果
RNN模块由两个Bi-LSTM网络构成，作为CNN模块的下游，其目的是结合CT切片之间的序列相关性信息，从而达到更优的分类性能。Bi-LSTM综合了两个方向的序列数据特征进行预测。Bi-LSTM的输入来自于上游CNN模块提取的图像特征，将CBP之后得到的高维特征作为Bi-LSTM网络的输入。同时，在Bi-LSTM网络的输出之后，再经过全连接层进行分类。CNN-RNN网络架构如图2所示。
本方法使用的深度学习模型是在Pytorch框架下实现的，使用NVIDIA RTX 2080TI显卡进行GPU加速训练。实验部分使用的数据集是数据处理之后得到的数据集。在训练CNN的过程中，使用的优化器是Adam，初始学习率0.00005，学习率的调整策略是根据训练批次调节的，每3个epoch降为原来的0.5倍。为了防止过拟合，权重衰减设置为0.0001。图片大小设置成256×256，每个mini-batch的batchsize设置成128，总共训练20个epoch。为了加速训练，使用了apex进行混合精度训练，opt_level设置为O1。在训练RNN的过程中，使用的优化器是Adam，初始学习率是0.0001，学习率的调整策略与CNN部分相同，权重衰减设置为0.0001，dropout的值设置成0.2。表1的实验结果表明本发明提出的方法在图像检索领域取得了显著的提升效果，且具有广泛的应用前景。
表1
方法 Hamming Accuracy Precision Recall F1
Dense121+GRU 0.0356 0.8663 0.8628 0.7656 0.8109
Resnet50+LSTM 0.0359 0.8683 0.8405 0.7901 0.8145
Ourproposed 0.0332 0.8764 0.8643 0.7908 0.8259

Claims (5)

1.一种基于双线性池化应用于CT影像的颅内出血亚类型分类算法，其特征在于所述颅内出血亚类型分类算法包括如下步骤：
步骤一、从dicom格式的医学CT影像得到CT图像值；
步骤二、Windowing操作
对步骤一得到的CT图像值进行windowing操作；
步骤三、转化成jpg图像
Windowing操作完之后进行归一化使得图像的像素值在[0，1]之间，将图片的像素值与255相乘得到[0，255]之间的值，随后使用opencv的imwrite()函数生成.jpg图像；
步骤四、训练CNN网络使用
多权重焦点损失、Softmax相对熵损失训练CNN网络，在训练过程中通过反向传播调整网络参数，以得到更加符合图像检索需求的CNN网络；
步骤五、特征提取
用ICH亚类型多标签细粒度CNN网络框架提取图像特征，使用两个不同源的CNN网络作为特征提取器，CNN1代表ResNet50，CNN2代表DenseNet121，并为每个分支网络使用不同的损失函数LCNN1和LCNN2，然后经过CBP之后得到聚合特征，使用BCE损失作为整体CNN架构的损失函数Ltotal；
步骤六、输出预测结果
RNN模块由两个Bi-LSTM网络构成，RNN模块作为CNN模块的下游，将来自于上游CNN模块提取的图像特征作为Bi-LSTM网络的输入，同时，在Bi-LSTM网络的输出之后，再经过全连接层进行分类。
2.根据权利要求1所述的基于双线性池化应用于CT影像的颅内出血亚类型分类算法，其特征在于所述步骤二中，使用的窗口如下：Brainwindow：[40，80]，Subdural window：[80，200]，Bone window：[40，380]，其中，方括号内第一位数字表示窗位，第二位数字表示窗宽。
3.根据权利要求1所述的基于双线性池化应用于CT影像的颅内出血亚类型分类算法，其特征在于所述步骤四中，多权重焦点损失的计算公式如下：
Figure FDA0002997928160000021
Figure FDA0002997928160000022
其中，
Figure FDA0002997928160000023
代表网络对c类的预测值，σ(·)代表的是Sigmoid函数，xc代表的是全连接层针对c类的输出，K代表的是类别的数量，Nc是当前mini-batch中c类别的正样本数量，N代表当前mini-batch中所有训练样本的数量，γ是一个控制系数，其目的是减少易分类样本的损失，从而使得模型在训练时更专注于难分样本。
4.根据权利要求1所述的基于双线性池化应用于CT影像的颅内出血亚类型分类算法，其特征在于所述步骤四中，Softmax相对熵损失的计算公式如下：
Figure FDA0002997928160000031
Ptarget＝P{X＝STc}；
Figure FDA0002997928160000032
Ppred＝P{X＝SPc}；
Figure FDA0002997928160000033
其中，Ptarget是标签的概率分布，yc是第c类的目标标签，xc是第c类样本，STc是目标标签中第c类对应的softmax得到的结果，Ppred是预测标签的概率分布，lc是第c类全连接层的输出经过Sigmoid之后得到的预测概率，SPc是预测标签中第c类对应的Softmax得到的结果。
5.根据权利要求1所述的基于双线性池化应用于CT影像的颅内出血亚类型分类算法，其特征在于所述步骤五中，LCNN1、LCNN2和Ltotal公式定义如下：
LCNN1＝LMWF+αLSRE；
LCNN2＝LMWF+βLSRE；
Ltotal＝LBCE+δ(LCNN1+LCNN2)；
其中，α，β是超参数，代表LSRE的权重系数；Ltotal是整个CNN框架的损失；δ是两个分支的损失占整个训练框架的权重。
CN202110336566.1A 2021-03-29 2021-03-29 基于双线性池化应用于ct影像的颅内出血亚类型分类算法 Active CN113011514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110336566.1A CN113011514B (zh) 2021-03-29 2021-03-29 基于双线性池化应用于ct影像的颅内出血亚类型分类算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110336566.1A CN113011514B (zh) 2021-03-29 2021-03-29 基于双线性池化应用于ct影像的颅内出血亚类型分类算法

Publications (2)

Publication Number Publication Date
CN113011514A true CN113011514A (zh) 2021-06-22
CN113011514B CN113011514B (zh) 2022-01-14

Family

ID=76408963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110336566.1A Active CN113011514B (zh) 2021-03-29 2021-03-29 基于双线性池化应用于ct影像的颅内出血亚类型分类算法

Country Status (1)

Country Link
CN (1) CN113011514B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187467A (zh) * 2021-11-11 2022-03-15 电子科技大学 基于cnn模型的肺结节良恶性分类方法及装置

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108417201A (zh) * 2018-01-19 2018-08-17 苏州思必驰信息科技有限公司 单信道多说话人身份识别方法及系统
CN108898060A (zh) * 2018-05-30 2018-11-27 珠海亿智电子科技有限公司 车载环境下基于卷积神经网络的车型识别方法
CN109034224A (zh) * 2018-07-16 2018-12-18 西安电子科技大学 基于双分支网络的高光谱分类方法
CN110008913A (zh) * 2019-04-08 2019-07-12 南京工业大学 基于姿态估计与视点机制融合的行人再识别方法
CN110047073A (zh) * 2019-05-05 2019-07-23 北京大学 一种x射线焊缝图像缺陷定级方法及系统
CN110276763A (zh) * 2018-03-15 2019-09-24 中南大学 一种基于可信度和深度学习的视网膜血管分割图生成方法
CN110334705A (zh) * 2019-06-25 2019-10-15 华中科技大学 一种结合全局和局部信息的场景文本图像的语种识别方法
CN110852317A (zh) * 2019-09-16 2020-02-28 浙江工业大学 一种基于弱边缘的小尺度目标检测方法
CN111046759A (zh) * 2019-11-28 2020-04-21 深圳市华尊科技股份有限公司 人脸识别方法及相关装置
CN111339890A (zh) * 2020-02-20 2020-06-26 中国测绘科学研究院 基于高分辨率遥感影像提取新增建设用地信息的方法
WO2020170014A1 (en) * 2019-02-18 2020-08-27 Inception Institute of Artificial Intelligence, Ltd. Object counting and instance segmentation using neural network architectures with image-level supervision
WO2020192869A1 (en) * 2019-03-22 2020-10-01 Huawei Technologies Co., Ltd. Feature extraction and retrieval in videos
CN111797711A (zh) * 2020-06-15 2020-10-20 北京三快在线科技有限公司 一种模型训练的方法及装置
CN111932512A (zh) * 2020-08-06 2020-11-13 吉林大学 基于cnn和nlstm神经网络应用于ct影像的颅内出血检测算法
CN112150442A (zh) * 2020-09-25 2020-12-29 帝工(杭州)科技产业有限公司 基于深度卷积神经网络及多实例学习的新冠诊断系统
CN112241762A (zh) * 2020-10-19 2021-01-19 吉林大学 一种用于病虫害图像分类的细粒度识别方法
CN112364687A (zh) * 2020-09-29 2021-02-12 上善智城(苏州)信息科技有限公司 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统
CN112419269A (zh) * 2020-11-23 2021-02-26 成都圭目机器人有限公司 一种提高道面病害分割效果的改进型Focal Loss函数的构建方法及应用

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108417201A (zh) * 2018-01-19 2018-08-17 苏州思必驰信息科技有限公司 单信道多说话人身份识别方法及系统
CN110276763A (zh) * 2018-03-15 2019-09-24 中南大学 一种基于可信度和深度学习的视网膜血管分割图生成方法
CN108898060A (zh) * 2018-05-30 2018-11-27 珠海亿智电子科技有限公司 车载环境下基于卷积神经网络的车型识别方法
CN109034224A (zh) * 2018-07-16 2018-12-18 西安电子科技大学 基于双分支网络的高光谱分类方法
WO2020170014A1 (en) * 2019-02-18 2020-08-27 Inception Institute of Artificial Intelligence, Ltd. Object counting and instance segmentation using neural network architectures with image-level supervision
WO2020192869A1 (en) * 2019-03-22 2020-10-01 Huawei Technologies Co., Ltd. Feature extraction and retrieval in videos
CN110008913A (zh) * 2019-04-08 2019-07-12 南京工业大学 基于姿态估计与视点机制融合的行人再识别方法
CN110047073A (zh) * 2019-05-05 2019-07-23 北京大学 一种x射线焊缝图像缺陷定级方法及系统
CN110334705A (zh) * 2019-06-25 2019-10-15 华中科技大学 一种结合全局和局部信息的场景文本图像的语种识别方法
CN110852317A (zh) * 2019-09-16 2020-02-28 浙江工业大学 一种基于弱边缘的小尺度目标检测方法
CN111046759A (zh) * 2019-11-28 2020-04-21 深圳市华尊科技股份有限公司 人脸识别方法及相关装置
CN111339890A (zh) * 2020-02-20 2020-06-26 中国测绘科学研究院 基于高分辨率遥感影像提取新增建设用地信息的方法
CN111797711A (zh) * 2020-06-15 2020-10-20 北京三快在线科技有限公司 一种模型训练的方法及装置
CN111932512A (zh) * 2020-08-06 2020-11-13 吉林大学 基于cnn和nlstm神经网络应用于ct影像的颅内出血检测算法
CN112150442A (zh) * 2020-09-25 2020-12-29 帝工(杭州)科技产业有限公司 基于深度卷积神经网络及多实例学习的新冠诊断系统
CN112364687A (zh) * 2020-09-29 2021-02-12 上善智城(苏州)信息科技有限公司 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统
CN112241762A (zh) * 2020-10-19 2021-01-19 吉林大学 一种用于病虫害图像分类的细粒度识别方法
CN112419269A (zh) * 2020-11-23 2021-02-26 成都圭目机器人有限公司 一种提高道面病害分割效果的改进型Focal Loss函数的构建方法及应用

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHETOUANI A等: ""Classification of Engraved Pottery Sherds Mixing Deep-Learning Features by Compact Bilinear Pooling"", 《PATTERN RECOGNITION LETTERS》 *
JONATHAN RUBIN等: ""Ischemic Stroke Lesion Segmentation in CT Perfusion Scans using Pyramid Pooling and Focal Loss"", 《ARXIV》 *
PENG YAO等: ""Single Model Deep Learning on Imbalanced Small Datasets for Skin Lesion Classification"", 《ARXIV》 *
冯浩等: ""基于LSTM的舰船软件运行健康状态预测"", 《华中科技大学学报（自然科学版）》 *
樊琳等: ""联合损失优化孪生网络的行人重识别"", 《计算机工程与科学》 *
边小勇等: ""基于多分支神经网络模型的弱监督细粒度图像分类方法"", 《计算机应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187467A (zh) * 2021-11-11 2022-03-15 电子科技大学 基于cnn模型的肺结节良恶性分类方法及装置
CN114187467B (zh) * 2021-11-11 2023-04-28 电子科技大学 基于cnn模型的肺结节良恶性分类方法及装置

Also Published As

Publication number Publication date
CN113011514B (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
CN108268870B (zh) 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN112241766B (zh) 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN109272048B (zh) 一种基于深度卷积神经网络的模式识别方法
Guo et al. Multi-level semantic adaptation for few-shot segmentation on cardiac image sequences
CN110991254B (zh) 超声图像视频分类预测方法及系统
CN111429407A (zh) 基于双通道分离网络的胸部x光疾病检测装置及方法
Guan et al. Automatic detection and localization of thighbone fractures in X-ray based on improved deep learning method
CN112700867A (zh) 一种基于迁移学习的covid-19患者的分级诊断系统
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
CN112820399A (zh) 自动诊断甲状腺结节良恶性的方法及装置
Pradhan et al. Lung cancer detection using 3D convolutional neural networks
Ozdemir et al. Age Estimation from Left-Hand Radiographs with Deep Learning Methods.
CN113643297B (zh) 一种基于神经网络的计算机辅助牙龄分析方法
Anaam et al. Studying the applicability of generative adversarial networks on HEp-2 cell image augmentation
CN113011514B (zh) 基于双线性池化应用于ct影像的颅内出血亚类型分类算法
Singh et al. Deep attention network for pneumonia detection using chest X-ray images
Fan et al. Research on abnormal target detection method in chest radiograph based on YOLO v5 algorithm
CN116759076A (zh) 一种基于医疗影像的无监督疾病诊断方法及系统
CN115880245A (zh) 一种基于自监督的乳腺癌疾病分类方法
CN113450306B (zh) 提供骨折检测工具的方法
CN115719336A (zh) 一种基于迁移学习的深度神经网络脑肿瘤图像分类方法
Maga Chest X-ray lung and heart segmentation based on minimal training sets
CN112785559A (zh) 基于深度学习的多个异构模型相互组合的骨龄预测方法
Tawfeeq et al. Predication of Most Significant Features in Medical Image by Utilized CNN and Heatmap.
Kumar et al. Abnormality Detection in Smartphone-Captured Chest Radiograph Using Multi-pretrained Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant