CN113128580A - 一种基于多维残差网络的脊柱ct图像识别方法 - Google Patents

一种基于多维残差网络的脊柱ct图像识别方法 Download PDF

Info

Publication number
CN113128580A
CN113128580A CN202110390203.6A CN202110390203A CN113128580A CN 113128580 A CN113128580 A CN 113128580A CN 202110390203 A CN202110390203 A CN 202110390203A CN 113128580 A CN113128580 A CN 113128580A
Authority
CN
China
Prior art keywords
spine
residual error
image
method based
dimensional residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110390203.6A
Other languages
English (en)
Inventor
姚芳芳
于永新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202110390203.6A priority Critical patent/CN113128580A/zh
Publication of CN113128580A publication Critical patent/CN113128580A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Abstract

本发明公开了一种基于多维残差网络的脊柱CT图像识别方法，建立基于多维残差神经网络的病态脊柱识别模型；对训练样本设置标签并进行升维处理，使之维度与多维残差神经网络相匹配；使用处理后的训练样本对病态脊柱识别模型进行训练；然后将待识别的脊柱CT图像进行升维，使之维度与多维残差神经网络相匹配；由病态脊柱识别模型输出识别特征。本发明能很好地保留CT医学影像的空间信息，更综合更准确地识别影像特征。

Description

一种基于多维残差网络的脊柱CT图像识别方法
技术领域
本发明涉及一种脊柱CT图像识别方法，特别涉及一种基于多维残差网络的脊柱CT图像识别方法。
背景技术
目前，在医学领域，深度学习主要应用在医学图像识别、医学图像分割和计算机辅助疾病诊断三个方面，减少医护人员重复繁重的工作量，为智慧医疗提供便利。2016年YunliangCai等人提出了一种使用变换式深度卷积网络(TDCN)的多模式椎骨识别框架。TDCN自动提取模态并进行自适应，高判别，构成不变特征以供识别。使用基于TDCN的识别系统可以同时识别位置，标记MR和CT中的椎骨结构姿势。系统已成功通过多模式数据集的测试用于腰椎和整个脊柱扫描，具有很高的准确性和稳定性。2017年AnjanySekuboyina等人提出了一个具有深层网络的两阶段方法，对腰椎区域进行定位并将其分为多个类别。该实验在xVertSeg数据集上性能达到了90％以上的平均Dice系数，此外还强调了该实验处理脊椎严重畸形的能力。2018年RensJanssens等人提出了一种基于卷积神经网络(CNN)的级联方法，用于从CT数据中自动分割腰椎，该实验在公开数据集上进行评估，该方法获得了平均Dice系数为95.77±0.81％，平均对称表面距离为0.37±0.06mm，实验效果显著。这些方法大多数都结合了执行体素分类或对椎体质心或边界框进行回归来生成椎骨，并使用全局模型来完善各个预测，丢弃异常值并找到整体上可行的解决方案。这些模型通常是图形化的隐马尔可夫模型，如2015年，Chengwen Chu，Daniel L.Belav等人提出了一个全自动、统一的射频回归和分类框架，解决了CT图像或MR图像中区域定位和分割两个重要问题，在10个CT数据和23个3D MRI数据上验证和评估了拟议的框架，达到与最新方法相当的细分效果。同年，针对另一模型——组织形状模型，Bromiley等人描述了一种用于在包含任意脊柱区域3DCT卷中进行全自动椎骨定位和分割的系统，目的是识别骨质疏松性骨折。
现有的大多数深度学习脊柱病态识别系统大部分是通过单通道或多通道的二维卷积神经网络(2DCNN)来实现的，尽管通过2DCNN在一定程度上能实现识别病态脊柱的功能。但实际上，医学影像尤其是CT影像，一般为存储格式为DICOM、Analyze和NIfTI等的三维图像，在此情况下，使用2DCNN无疑是将医学图像进行降维处理，在一定程度上忽视了空间信息，在识别病态脊柱上存在一定的偏差。另一方面，随着训练层数的增加，深度学习一般会越来越难，有些网络在开始收敛时，还可能出现退化的问题，导致准确率很快达到饱和，出现层数越深、错误率越高的现象。
现有技术针对脊柱CT得病态识别基本都是使用二维卷积神经网络，在很大程度上会丢失空间信息，降低准确率。而且现有的有关脊柱的数据集过少，没有办法大批量训练，就导致容错率就更低了。
发明内容
本发明为解决公知技术中存在的技术问题而提供一种基于多维残差网络的脊柱CT图像识别方法。
本发明为解决公知技术中存在的技术问题所采取的技术方案是：一种基于多维残差网络的脊柱CT图像识别方法，建立基于多维残差神经网络的病态脊柱识别模型；对训练样本设置标签并进行升维处理，使之维度与多维残差神经网络相匹配；使用处理后的训练样本对病态脊柱识别模型进行训练；然后将待识别的脊柱CT图像进行升维，使之维度与多维残差神经网络相匹配；由病态脊柱识别模型输出识别特征。
进一步地，多维残差神经网络采用resnet20、resnet34或resnet50。
进一步地，病态脊柱识别模型包括依次连接的多个卷积层、压平层及全连接层。
进一步地，多维残差神经网络的维度为5～6维。
进一步地，对训练样本依次通过reshape函数和concatenate函数实现升维。
进一步地，对待识别的脊柱CT图像依次通过reshape函数和concatenate函数实现升维。
进一步地，对训练样本设置多个标签。
进一步地，病态脊柱识别模型的分类损失函数选择二元分类器；每个输出的标签作为一个独立的伯努利分布，并且单独惩罚每一个输出节点。
进一步地，二元分类器采用如下表达式：
Figure BDA0003016381360000021
式中，Lmui表示多标签损失函数；N为样本数量；Ii表示第i个标签的值，当目标图像符合标签特征时，Ii＝1；反之，Ii＝0；P(Ii)是第i个标签特征为真的概率。
进一步地，采用VerSe2019数据集作为训练样本集，将数据集中的CT图像由nii格式转换为png格式，并将已生成的图像转化为256×256像素，从CT图像中删除不需要的噪声像素，同时保留CT图像的特征像素，进行多标签标记。
本发明具有的优点和积极效果是：
通过构建多维残差网络架构，一方面，残差网络具有在训练多层次神经网络，准确率不退化的特点，在训练样本数目较小的前提下，可以很好的训练出较为理想的实验结果；另一方面，由于CT医学影像多为3D甚至更多维的数据集合，通过训练3D卷积神经，能很好地保留CT医学影像的空间信息，更综合更准确地识别影像特征。
在图像的分类和识别领域，传统的单标签分类旨在解决一个示例只属于一个类别的问题。然而，在更加复杂的分类任务中，如CT医学影像等一些实际应用中，常常会出现一个医学图像同时属于多个类别，这个时候多标签就能很好地实现同时识别一个医学图像的不同特征表现，通过构建多标签识别模型，可以更多方位、多维度地分析CT医学影像的特征。
附图说明
图1是本发明的一种对训练样本两次升维处理的工作流程图。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹列举以下实施例，并配合附图详细说明如下：
请参见图1，一种基于多维残差网络的脊柱CT图像识别方法，建立基于多维残差神经网络的病态脊柱识别模型；对训练样本设置标签并进行升维处理，使之维度与多维残差神经网络相匹配；使用处理后的训练样本对病态脊柱识别模型进行训练；然后将待识别的脊柱CT图像进行升维，使之维度与多维残差神经网络相匹配；由病态脊柱识别模型输出识别特征。
多维残差神经网络可采用现有技术中适用的残差神经网络，进一步地，多维残差神经网络优选采用resnet20、resnet34或resnet50。
进一步地，病态脊柱识别模型可包括依次连接的多个卷积层、压平层及全连接层。卷积层优选为5至21层。
多维残差神经网络的维度可为5～9维。进一步地，多维残差神经网络的维度优选为5至6维。
对训练样本可采用现有技术中的升维方法进行升维，进一步地，对训练样本可依次通过reshape函数和concatenate函数实现升维。先通过reshape函数进行变换，再经过concatenate函数变换，实现对训练样本两次升维。
reshape函数是Numpy中将指定的矩阵变换成特定维数矩阵一种函数，且矩阵中元素个数不变，函数可以重新调整矩阵的行数、列数、维数。函数语法为B＝reshape(a,newshape,order＝'C')是指返回一个指定维数的的n维数组。
concatenate函数可根据指定的维度，对一个元组、列表中的序列或者数组进行连接。
对待识别的脊柱CT图像可采用现有技术中的升维方法进行升维，进一步地，对待识别的脊柱CT图像可依次通过reshape函数和concatenate函数实现升维。可先通过reshape函数进行变换，再经过concatenate函数变换，实现对待识别的脊柱CT图像两次升维。
对训练样本可采用现有技术中的标签标识方法进行标识；可对训练样本标识一种以上标签，进一步地，对训练样本优选设置多个标签。可采用VerSe2019数据集作为训练样本集，可将数据集中的CT图像由nii格式转换为png格式，并将已生成的图像转化为256×256像素，从CT图像中删除不需要的噪声像素，同时保留CT图像的特征像素，进行多标签标记。
病态脊柱识别模型的分类损失函数可采用现有技术中适用的分类损失函数；进一步地，病态脊柱识别模型的分类损失函数可选择二元分类器；每个输出的标签可作为一个独立的伯努利分布，并且单独惩罚每一个输出节点。
进一步地，二元分类器可采用如下表达式：
Figure BDA0003016381360000041
式中，Lmui表示多标签损失函数；N为样本数量；Ii表示第i个标签的值，当目标图像符合标签特征时，Ii＝1；反之，Ii＝0；P(Ii)是第i个标签特征为真的概率。
下面以本发明的一个优选实施例来进一步说明本发明的工作流程及工作原理：
考虑到resnet50在图像识别的优秀表现，残差神经网络选用resnet50。
对原生残差网络进行了改进，如图1，将残差网络的输入作了升维操作，将2维的输入信号升维为5维，即将40张256*256的图像升维为N*256*256*40*1的五阶张量图像，如图1中的病态脊柱识别模型输入为五阶张量图像，保证训练图像能很好地处理和训练空间信息，同时设置合适的损失函数，通过对病态脊柱识别模型进行反复训练，达到平衡，提高整体算法的准确性。
1、多标签的病态脊柱识别模型的神经网络架构的设计
考虑到resnet50在图像识别的优秀表现，通过使用resnet50作为骨干网络。其中,本文主要识别的图像尺寸为256*256*40，病态脊柱识别模型的神经网络依次包括5个卷积层、压平层和全连接层。具体结构如下表所示：
Figure BDA0003016381360000051
注：Flatten层,中文释义压平层，其用来将输入“压平”，即把多维的输入一维化，常用在从卷积层到全连接层的过渡。Flatten不影响batch(批量)的大小。
2、损失函数的设计
虽然搭建的病态脊柱识别模型是多标签的病态脊柱的三维识别模型，但在选取损失函数时仍倾向选择二元分类器，主要是多标签分类的目标是将每个输出的标签作为一个独立的伯努利分布，并且希望单独惩罚每一个输出节点。为了更符合病态脊柱识别模型需求，将二元分类器进行相应变形，如下表达式所示：
Figure BDA0003016381360000052
式中，Lmui表示多标签损失函数；N为样本数量；Ii表示第i个标签的值，当目标图像符合标签特征时，Ii＝1；反之，Ii＝0；P(Ii)是第i个标签特征为真的概率。
3、训练样本编辑及预处理
选用VerSe2019数据集，数据集包括来自141位患者的160例脊柱多识别计算机断层扫描(MDCT)图像系列。在此阶段，首先将数据集中的CT图像由nii格式转换为png格式，并将已生成的图像转化为256×256像素，从CT图像中删除不需要的噪声像素，同时保留CT图像的特征像素，进行多标签标记，方便后期训练使用。
4、训练病态脊柱模型：由于采用多维残差网络的网络框架，能更深层次的加大训练力度及深度，全方位分析图形特征，采用多标签训练样本对病态脊柱识别模型进行训练，通过损失函数及其权重设置提高模型的准确率，使病态脊柱识别模型同时实现病态脊柱与非病态脊柱、识别部位等双标签的识别任务。
5、病态脊柱自动识别：病态脊柱识别模型训练完成后，将患者的病态脊柱CT文件经过与训练样本同样方式的预处理后，输入到病态脊柱识别模型中，对患者的病态脊柱进行识别，病态脊柱识别模型会输出患者的病态脊柱在各个标签下的可能性，最终实现用病态脊柱识别模型对患者的病态脊柱CT文件进行病情诊断。
以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够理解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。

Claims (10)

1.一种基于多维残差网络的脊柱CT图像识别方法，其特征在于，建立基于多维残差神经网络的病态脊柱识别模型；对训练样本设置标签并进行升维处理，使之维度与多维残差神经网络相匹配；使用处理后的训练样本对病态脊柱识别模型进行训练；然后将待识别的脊柱CT图像进行升维，使之维度与多维残差神经网络相匹配；由病态脊柱识别模型输出识别特征。
2.根据权利要求1所述的基于多维残差网络的脊柱CT图像识别方法，其特征在于，多维残差神经网络采用resnet20、resnet34或resnet50。
3.根据权利要求2所述的基于多维残差网络的脊柱CT图像识别方法，其特征在于，病态脊柱识别模型包括依次连接的多个卷积层、压平层及全连接层。
4.根据权利要求2所述的基于多维残差网络的脊柱CT图像识别方法，其特征在于，多维残差神经网络的维度为5～6维。
5.根据权利要求1所述的基于多维残差网络的脊柱CT图像识别方法，其特征在于，对训练样本依次通过reshape函数和concatenate函数实现升维。
6.根据权利要求1所述的基于多维残差网络的脊柱CT图像识别方法，其特征在于，对待识别的脊柱CT图像依次通过reshape函数和concatenate函数实现升维。
7.根据权利要求1所述的基于多维残差网络的脊柱CT图像识别方法，其特征在于，对训练样本设置多个标签。
8.根据权利要求7所述的基于多维残差网络的脊柱CT图像识别方法，其特征在于，病态脊柱识别模型的分类损失函数选择二元分类器；每个输出的标签作为一个独立的伯努利分布，并且单独惩罚每一个输出节点。
9.根据权利要求8所述的基于多维残差网络的脊柱CT图像识别方法，其特征在于，二元分类器采用如下表达式：
Figure FDA0003016381350000011
式中，Lmui表示多标签损失函数；N为样本数量；Ii表示第i个标签的值，当目标图像符合标签特征时，Ii＝1；反之，Ii＝0；P(Ii)是第i个标签特征为真的概率。
10.根据权利要求1所述的基于多维残差网络的脊柱CT图像识别方法，其特征在于，采用VerSe2019数据集作为训练样本集，将数据集中的CT图像由nii格式转换为png格式，并将已生成的图像转化为256×256像素，从CT图像中删除不需要的噪声像素，同时保留CT图像的特征像素，进行多标签标记。
CN202110390203.6A 2021-04-12 2021-04-12 一种基于多维残差网络的脊柱ct图像识别方法 Pending CN113128580A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110390203.6A CN113128580A (zh) 2021-04-12 2021-04-12 一种基于多维残差网络的脊柱ct图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110390203.6A CN113128580A (zh) 2021-04-12 2021-04-12 一种基于多维残差网络的脊柱ct图像识别方法

Publications (1)

Publication Number Publication Date
CN113128580A true CN113128580A (zh) 2021-07-16

Family

ID=76776303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110390203.6A Pending CN113128580A (zh) 2021-04-12 2021-04-12 一种基于多维残差网络的脊柱ct图像识别方法

Country Status (1)

Country Link
CN (1) CN113128580A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023173294A1 (zh) * 2022-03-15 2023-09-21 生物岛实验室 模型训练方法、装置、设备、存储介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348399A (zh) * 2019-07-15 2019-10-18 中国人民解放军国防科技大学 基于原型学习机制和多维残差网络的高光谱智能分类方法
CN110599508A (zh) * 2019-08-01 2019-12-20 平安科技（深圳）有限公司 基于人工智能的脊柱影像处理方法及相关设备
CN110807495A (zh) * 2019-11-08 2020-02-18 腾讯科技（深圳）有限公司 多标签分类方法、装置、电子设备及存储介质
CN111539480A (zh) * 2020-04-27 2020-08-14 上海鹰瞳医疗科技有限公司 多类别医学图像识别方法及设备
CN112052755A (zh) * 2020-08-24 2020-12-08 西安电子科技大学 基于多路注意力机制的语义卷积高光谱图像分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348399A (zh) * 2019-07-15 2019-10-18 中国人民解放军国防科技大学 基于原型学习机制和多维残差网络的高光谱智能分类方法
CN110599508A (zh) * 2019-08-01 2019-12-20 平安科技（深圳）有限公司 基于人工智能的脊柱影像处理方法及相关设备
CN110807495A (zh) * 2019-11-08 2020-02-18 腾讯科技（深圳）有限公司 多标签分类方法、装置、电子设备及存储介质
CN111539480A (zh) * 2020-04-27 2020-08-14 上海鹰瞳医疗科技有限公司 多类别医学图像识别方法及设备
CN112052755A (zh) * 2020-08-24 2020-12-08 西安电子科技大学 基于多路注意力机制的语义卷积高光谱图像分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023173294A1 (zh) * 2022-03-15 2023-09-21 生物岛实验室 模型训练方法、装置、设备、存储介质及程序产品

Similar Documents

Publication Publication Date Title
US8885926B2 (en) Image and data segmentation
Li et al. Automatic lumbar spinal MRI image segmentation with a multi-scale attention network
Peng et al. LCP-Net: A local context-perception deep neural network for medical image segmentation
CN111563897A (zh) 基于弱监督学习的乳腺核磁影像肿瘤分割的方法及装置
Ghose et al. A random forest based classification approach to prostate segmentation in MRI
Nazir et al. Ecsu-net: an embedded clustering sliced u-net coupled with fusing strategy for efficient intervertebral disc segmentation and classification
CN112700461B (zh) 一种肺结节检测和表征类别识别的系统
CN116030325A (zh) 基于深度混合学习框架的肺结节ct图像识别方法
CN113159223A (zh) 一种基于自监督学习的颈动脉超声图像识别方法
An et al. Medical image classification algorithm based on visual attention mechanism-MCNN
Kazemi et al. Classifying tumor brain images using parallel deep learning algorithms
CN110570430B (zh) 基于体配准的眼眶骨组织分割方法
CN113128580A (zh) 一种基于多维残差网络的脊柱ct图像识别方法
Janghel Deep-learning-based classification and diagnosis of Alzheimer's disease
Kareem et al. Skin lesions classification using deep learning techniques
Tian et al. Radiomics and Its Clinical Application: Artificial Intelligence and Medical Big Data
Gopikha et al. Regularised Layerwise Weight Norm Based Skin Lesion Features Extraction and Classification.
CN113762285A (zh) 一种分析和处理医学影像的系统及方法
CN116958705A (zh) 基于图神经网络的医学影像归类系统
Ibrahim et al. Deep learning based Brain Tumour Classification based on Recursive Sigmoid Neural Network based on Multi-Scale Neural Segmentation
Popat et al. Research perspective and review towards brain tumour segmentation and classification using different image modalities
Tao et al. Tooth CT Image Segmentation Method Based on the U-Net Network and Attention Module.
Warjurkar et al. A study on brain tumor and parkinson’s disease diagnosis and detection using deep learning
Wang et al. Optic disc detection based on fully convolutional neural network and structured matrix decomposition
Dai et al. Suggestive annotation of brain MR images with gradient-guided sampling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210716