CN110648317A - 适用于脊柱转移肿瘤骨质的质量分类方法及系统 - Google Patents

适用于脊柱转移肿瘤骨质的质量分类方法及系统 Download PDF

Info

Publication number
CN110648317A
CN110648317A CN201910881871.1A CN201910881871A CN110648317A CN 110648317 A CN110648317 A CN 110648317A CN 201910881871 A CN201910881871 A CN 201910881871A CN 110648317 A CN110648317 A CN 110648317A
Authority
CN
China
Prior art keywords
classification
learning
information
task
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910881871.1A
Other languages
English (en)
Other versions
CN110648317B (zh
Inventor
王延峰
彭诗奇
张娅
赵晖
顾一峰
李跃华
姚光宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910881871.1A priority Critical patent/CN110648317B/zh
Publication of CN110648317A publication Critical patent/CN110648317A/zh
Application granted granted Critical
Publication of CN110648317B publication Critical patent/CN110648317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明提供了一种适用于脊柱转移肿瘤骨质的质量分类方法及系统，所述方法包括：从DICOM文件中获取病人的CT图像数据，根据阈值提取的方法裁剪出脊椎椎体的区域；将骨质质量分类任务建模为成骨分类子任务和溶骨分类子任务，并使用多层感知机将两个子任务的结果进行合并；对于每一张横截面的CT图像，使用多任务学习的方式，同时学习骨质质量分类任务和后外侧受损情况分类任务，并共享不同任务的特征图；使用自步学习的方式，让模型优先学习容易的样本，再逐渐学习较为困难的样本。本发明通过同时学习多个相关的任务并特征共享，以及使用从易到难的自步学习方法，实现了对脊柱转移肿瘤骨质质量的精确分类。

Description

适用于脊柱转移肿瘤骨质的质量分类方法及系统
技术领域
本发明涉及计算机视觉与医学影像分析领域，具体地，涉及一种适用于脊柱转移肿瘤骨质的质量分类方法及系统，尤其是一种基于多任务学习和自步学习的脊柱转移肿瘤骨质质量分类方法。
背景技术
我国肿瘤发病率及死亡率正在逐年升高，从2010年起，肿瘤已经成为首要死亡原因。转移肿瘤是癌症从身体的一部分传播到另一部分，大约三分之二的癌症患者会发生骨转移。脊柱是骨转移最常见的部位，脊柱转移可能会引起疼痛、脊柱不稳定和神经损伤，因此，脊柱转移的早期诊断对于改变患者的预后和改善临床结果至关重要。脊柱不稳定性肿瘤评分系统(SINS)在2017年被提出，用于评估脊柱肿瘤患者，它可以作为外科决策的预后工具。随着深度神经网络在图像处理领域逐渐发展，我们希望使用深度学习的方法让计算机辅助医生进行诊断。在SINS系统的六个组成部分中，骨质质量和椎体后外侧受损情况可以通过横断面诊断，因此，我们采用多任务学习的方式同时解决这两个问题。给定n个学习任务，其中所有或一部分任务是相关但不完全一样的，多任务学习的目标是通过使用这n个任务中包含的知识来帮助提升各个任务的性能。多任务学习有两个基本因素：第一个是任务的相关性，任务的相关性是是基于对不同任务关联方式的理解，这种相关性会被编码进模型的设计中；第二个是任务的定义，不同的学习任务应该对应于不同的学习设置。多任务学习可以被视为归纳转移的一种形式，归纳转移通过引入归纳偏差来帮助改进模型，这会让模型偏好其他的假设并让有更好的泛化效果。在学习分类神经网络时，往往会因为一些困难样本的存在，导致模型收敛困难，泛化性能较差，对此我们采用自步学习方法。自步学习是一种学习方法论，结合科学认知的想法，谨慎地自适应地优先学习简单、可靠的范例，然后逐步过渡到难范例的学习。
专利文献CN108364017A公开了一种图像质量分类方法、系统及终端设备，所述方法包括：获取训练样本集；提取训练样本集中每一张图像的纹理特征值，得到每一张图像的三维特征矢量；将训练样本集中的图像分组，并基于每组中图像的三维特征矢量训练构建的卷积神经网络模型，得到训练后的卷积神经网络模型；根据预设的漏检率和误检率，确定预设的漏检率和误检率对应的分类阈值；根据训练后的卷积神经网络模型和预设的漏检率和误检率对应的分类阈值对待分类图像进行分类。本发明并不能实现对脊柱转移肿瘤骨质质量的精确分类。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种适用于脊柱转移肿瘤骨质的质量分类方法及系统。
根据本发明提供的一种适用于脊柱转移肿瘤骨质的质量分类方法，包括：数据预处理步骤：从原始的DICOM文件中，根据CT图像的HU值，采用阈值提取的方法，裁剪出脊椎的区域，作为训练样本图片，获取训练样本图片信息；特征提取与共享步骤：根据训练样本图片信息，对于训练样本图片，使用三支卷积神经网络，分别提取成骨分类任务、溶骨分类任务和后外侧受损情况分类任务的特征，并将三支网络提取的特征进行共享，得到共享后的新特征，获取共享后新特征信息；任务合并步骤：根据共享后新特征信息，对于成骨分类网络和溶骨分类网络，使用多层感知机将两支网络的特征融合，得到骨质质量分类任务的分类结果，获取待自步学习信息；自步学习步骤：根据待自步学习信息，对于整个端到端的卷积神经网络，使用自步学习的方法，，优先学习损失函数小于设定阈值的样本，再学习损失函数大设定阈值的样本，直至网络收敛，获取学习后网络信息。精确结果获取步骤：根据学习后网络信息，使用学习到的网络，对新样本进行分类预测，得到精确度大于设定阈值的分类结果，获取最终分类结果信息。
优选地，所述数据预处理步骤包括：任务输入数据获取步骤：从原始的DICOM文件提取出每一个横断面的CT图像，计算出HU值大于50的所有像素点的坐标均值，并将其认为是脊椎椎体的中心点，以此为中心裁剪出224x224的只包含脊柱的区域，作为每个任务的输入数据，获取训练样本图片信息。
优选地，所述特征提取与共享步骤包括：基础架构使用步骤：对于骨质质量分类网络和后外侧受损情况分类网络，都采用DenseNet121作为基础架构，在每个卷积块后使用硬共享的方式让不同分支网络的特征图相同，获取共享后新特征信息。对于两个任务A和B，输入的特征图分别为xA和xB，输出的特征图分别为
Figure BDA0002206107740000021
和
Figure BDA0002206107740000022
那么有
Figure BDA0002206107740000023
Figure BDA0002206107740000024
其中f(·)表示特征共享方法，硬共享方式让两支网络的特征图完全相等，即
Figure BDA0002206107740000031
优选地，所述任务合并步骤包括：四分类结果获取步骤：将成骨分类子任务和溶骨分类子任务经过全连接层后的特征进行拼接，然后通过多层感知机对拼接后的特征进行分类，使用tanh激活函数，最后将感知机的输出特征经过一层softmax层，得到最终的四分类结果，获取待自步学习信息。
优选地，所述自步学习步骤包括：学习模型构建步骤：对于训练数据集
Figure BDA0002206107740000032
记f(x，w)为学习模型，其中w为模型参数，对于第i个样本，损失函数为L(yi，f(xi，w))，目标函数为：
Figure BDA0002206107740000034
其中，v＝[v1，v2，...，vn]T为隐变量，λ是控制学习速率的惩罚参数。对于特定的w，全局最优解为：通过交替更新w和v，并将损失函数小于λ的样本会被认为是简单样本，用于更新模型参数，而大于λ的样本会被认为是困难样本，在学习模型的训练中忽略损失函数大于λ的样本，获取自步学习筛选信息；学习后网络信息获取步骤：根据自步学习筛选信息，获取学习后网络信息。
根据本发明提供的一种适用于脊柱转移肿瘤骨质的质量分类系统，包括如下模块：数据预处理模块：从原始的DICOM文件中，根据CT图像的HU值，采用阈值提取的系统，裁剪出脊椎的区域，作为训练样本图片，获取训练样本图片信息；特征提取与共享模块：根据训练样本图片信息，对于训练样本图片，使用三支卷积神经网络，分别提取成骨分类任务、溶骨分类任务和后外侧受损情况分类任务的特征，并将三支网络提取的特征进行共享，得到共享后的新特征，获取共享后新特征信息；任务合并模块：根据共享后新特征信息，对于成骨分类网络和溶骨分类网络，使用多层感知机将两支网络的特征融合，得到骨质质量分类任务的分类结果，获取待自步学习信息；自步学习模块：根据待自步学习信息，对于整个端到端的卷积神经网络，使用自步学习的系统，，优先学习损失函数小于设定阈值的样本，再学习损失函数大设定阈值的样本，直至网络收敛，获取学习后网络信息。精确结果获取模块：根据学习后网络信息，使用学习到的网络，对新样本进行分类预测，得到精确度大于设定阈值的分类结果，获取最终分类结果信息。
优选地，所述数据预处理模块包括：任务输入数据获取模块：从原始的DICOM文件提取出每一个横断面的CT图像，计算出HU值大于50的所有像素点的坐标均值，并将其认为是脊椎椎体的中心点，以此为中心裁剪出224x224的只包含脊柱的区域，作为每个任务的输入数据，获取训练样本图片信息。
优选地，所述特征提取与共享模块包括：基础架构使用模块：对于骨质质量分类网络和后外侧受损情况分类网络，都采用DenseNet121作为基础架构，在每个卷积块后使用硬共享的方式让不同分支网络的特征图相同，获取共享后新特征信息。对于两个任务A和B，输入的特征图分别为xA和xB，输出的特征图分别为
Figure BDA0002206107740000041
和
Figure BDA0002206107740000042
那么有
Figure BDA0002206107740000043
Figure BDA0002206107740000044
其中f(·)表示特征共享系统，硬共享方式让两支网络的特征图完全相等，即
优选地，所述任务合并模块包括：四分类结果获取模块：将成骨分类子任务和溶骨分类子任务经过全连接层后的特征进行拼接，然后通过多层感知机对拼接后的特征进行分类，使用tanh激活函数，最后将感知机的输出特征经过一层softmax层，得到最终的四分类结果，获取待自步学习信息。
优选地，所述自步学习模块包括：学习模型构建模块：对于训练数据集
Figure BDA0002206107740000046
Figure BDA0002206107740000047
记f(x，w)为学习模型，其中w为模型参数，对于第i个样本，损失函数为L(yi，f(xi，w))，目标函数为：
Figure BDA0002206107740000048
其中，v＝[v1，v2，...，vn]T为隐变量，λ是控制学习速率的惩罚参数。对于特定的w，全局最优解
Figure BDA0002206107740000049
为：
Figure BDA00022061077400000410
通过交替更新w和v，并将损失函数小于λ的样本会被认为是简单样本，用于更新模型参数，而大于λ的样本会被认为是困难样本，在学习模型的训练中忽略损失函数大于λ的样本，获取自步学习筛选信息；学习后网络信息获取模块：根据自步学习筛选信息，获取学习后网络信息。
与现有技术相比，本发明具有如下的有益效果：
1、本发明使用阈值提取的方法裁剪出脊椎椎体的区域，能过滤掉无关信息，让模型更好地关注脊椎内部的病变而不被其他器官干扰；
2、本发明将骨质质量分类任务建模为成骨分类子任务和溶骨分类子任务，并使用多层感知机将结果合并分类，能够比直接四分类效果更好，且有更强的可解释性；
3、本发明在不同分支的网络间进行特征共享，让不同的学习任务有更好的泛化性能，达到更好的分类效果；
4、本发明使用自步学习的方法，让模型优先学习容易的样本，再逐渐学习较为困难的样本，从而更快地收敛并达到更好的泛化效果。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的流程示意图。
图2为本发明的框架示意图。
图3为本发明实施例中的方法流程示意图。
图4为本发明实施例中的具体方法细节流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1、图2、图3、图4所示，根据本发明提供的一种适用于脊柱转移肿瘤骨质的质量分类方法，包括：数据预处理步骤：从原始的DICOM文件中，根据CT图像的HU值，采用阈值提取的方法，裁剪出脊椎的区域，作为训练样本图片，获取训练样本图片信息；特征提取与共享步骤：根据训练样本图片信息，对于训练样本图片，使用三支卷积神经网络，分别提取成骨分类任务、溶骨分类任务和后外侧受损情况分类任务的特征，并将三支网络提取的特征进行共享，得到共享后的新特征，获取共享后新特征信息；任务合并步骤：根据共享后新特征信息，对于成骨分类网络和溶骨分类网络，使用多层感知机将两支网络的特征融合，得到骨质质量分类任务的分类结果，获取待自步学习信息；自步学习步骤：根据待自步学习信息，对于整个端到端的卷积神经网络，使用自步学习的方法，，优先学习损失函数小于设定阈值的样本，再学习损失函数大设定阈值的样本，直至网络收敛，获取学习后网络信息。精确结果获取步骤：根据学习后网络信息，使用学习到的网络，对新样本进行分类预测，得到精确度大于设定阈值的分类结果，获取最终分类结果信息。
本发明的目的是使用多任务学习和自步学习的方法实现对脊柱转移肿瘤骨质质量的精确分类。使用多任务学习的方法，同时学习骨质质量分类任务和后外侧受损情况分类任务，并共享任务间的特征图，能让两个任务都达到更好的泛化效果。此外，将骨质质量分类任务建模为成骨分类子任务和溶骨分类子任务，并使用多层感知机将两个子任务的结果合并，能够达到更好的分类效果。使用自步学习的方法，让模型优先学习容易样本，再逐步学习困难样本，能够让模型更快收敛且分类更准确。
优选地，所述数据预处理步骤包括：任务输入数据获取步骤：从原始的DICOM文件提取出每一个横断面的CT图像，计算出HU值大于50的所有像素点的坐标均值，并将其认为是脊椎椎体的中心点，以此为中心裁剪出224x224的只包含脊柱的区域，作为每个任务的输入数据，获取训练样本图片信息。
优选地，所述特征提取与共享步骤包括：基础架构使用步骤：对于骨质质量分类网络和后外侧受损情况分类网络，都采用DenseNet121作为基础架构，在每个卷积块后使用硬共享的方式让不同分支网络的特征图相同，获取共享后新特征信息。对于两个任务A和B，输入的特征图分别为xA和xB，输出的特征图分别为
Figure BDA0002206107740000061
和
Figure BDA0002206107740000062
那么有
Figure BDA0002206107740000063
Figure BDA0002206107740000064
其中f(·)表示特征共享方法，硬共享方式让两支网络的特征图完全相等，即
Figure BDA0002206107740000065
优选地，所述任务合并步骤包括：四分类结果获取步骤：将成骨分类子任务和溶骨分类子任务经过全连接层后的特征进行拼接，然后通过多层感知机对拼接后的特征进行分类，使用tanh激活函数，最后将感知机的输出特征经过一层softmax层，得到最终的四分类结果，获取待自步学习信息。
优选地，所述自步学习步骤包括：学习模型构建步骤：对于训练数据集
Figure BDA0002206107740000067
记f(x，w)为学习模型，其中w为模型参数，对于第i个样本，损失函数为L(yi，f(xi，w))，目标函数为：
Figure BDA0002206107740000068
其中，v＝[v1，v2，...，vn]T为隐变量，λ是控制学习速率的惩罚参数。对于特定的w，全局最优解
Figure BDA0002206107740000069
为：
Figure BDA00022061077400000610
通过交替更新w和v，并将损失函数小于λ的样本会被认为是简单样本，用于更新模型参数，而大于λ的样本会被认为是困难样本，在学习模型的训练中忽略损失函数大于λ的样本，获取自步学习筛选信息；学习后网络信息获取步骤：根据自步学习筛选信息，获取学习后网络信息。
具体地，在一个实施例中，如图3所示，一种基于学习的脊柱转移肿瘤骨质质量分类方法，包括：
数据预处理步骤：从原始的DICOM文件中，根据CT图像的HU值，采用阈值提取的方法，裁剪出脊椎的区域；
特征共享步骤：对于不同任务分支的网络，在每个卷积块之后进行特征共享；
任务合并步骤：对于成骨分类子网络和溶骨分类子网络，使用多层感知机将两支网络的结果合并为所需要的四分类结果；
自步学习步骤：使用自步学习的方式让模型优先学习容易的样本，再学习较为困难的样本，从而更快地收敛并达到更好的泛化效果。
具体地，所述数据预处理步骤中，从原始的DICOM文件提取出每一个横断面的CT图像，计算出HU值大于50的所有像素点的坐标均值，并将其认为是脊椎椎体的中心点，以此为中心裁剪出224x224的只包含脊柱的区域，这样能够减少CT图像中的其他器官对模型的影响。
具体地，所述特征共享步骤中，对于骨质质量分类网络和后外侧受损情况分类网络，在每个卷积块后使用硬共享(hard sharing)的方式让不同分支网络的特征图相同。对于两个任务A和B，输入的特征图分别为xA和xB，输出的特征图分别为
Figure BDA0002206107740000071
和
Figure BDA0002206107740000072
那么有
Figure BDA0002206107740000073
其中f(·)表示特征共享方法。硬共享方式为让两支网络的特征图完全相等，即
Figure BDA0002206107740000074
具体地，所述任务合并步骤中，对于每一张横断面的图片，首先使用两个二分类网络分别判断其是否有成骨型病灶和是否有溶骨型病灶，然后将两支网络经过全连接层后的特征拼接起来，最后通过一个多层感知机进行四分类(正常、成骨型、溶骨型、混合型)。
具体地，所述自步学习步骤中，认为损失函数值小的样本为简单样本，损失函数值大的样本为困难样本，通过控制自步学习的损失函数阈值，只梯度回传损失函数比阈值小的样本，而忽略损失函数比阈值大的样本。
对应于上述方法，本发明还提供的一种基于学习的脊柱转移肿瘤骨质质量分类系统的实施例，包括：
数据预处理模块：从原始的DICOM文件中，根据CT图像的HU值，采用阈值提取的方法，裁剪出脊椎的区域；
特征共享模块：对于不同任务分支的网络，在每个卷积块之后进行特征共享；
任务合并模块：对于成骨分类子网络和溶骨分类子网络，使用多层感知机将两支网络的结果合并为所需要的四分类结果；
自步学习模块：使用自步学习的方式让模型优先学习容易的样本，再学习较为困难的样本，从而更快地收敛并达到更好的泛化效果。
具体地，由数据预处理模块、特征共享模块、任务合并模块和自步学习模块组成的脊柱转移肿瘤骨质质量分类网络框架如图4所示。
如图4所示的网络框架中，图中的特征共享模块，每一支分类网络都采用DenseNet121作为基础架构，各有4个DenseBlock，每个DenseBlock含有的DenseLayer数分别为6、12、24和16，增长率(growth rate)为32，每两个相邻的DenseBlock之间都有一个转换层(transition layer)用于特征图降采样。然后使用硬共享的方式，对每一支网络相同层级的DenseBlock输出的特征图进行特征共享。
如图4所示的网络框架中，图中的任务合并模块，将成骨分类子任务和溶骨分类子任务经过全连接层后的特征进行拼接，然后通过一个两层感知机对拼接后的特征进行分类，使用tanh激活函数，最后将感知机的输出特征经过一层softmax层，得到最终的四分类结果。
如图4所示的网络框架中，图中的自步学习模块，对于训练数据集
Figure BDA0002206107740000081
记f(·，w)为学习模型，其中w为模型参数，对于第i个样本，损失函数为L(yi，f(xi，w))，目标函数为：
Figure BDA0002206107740000082
其中，v＝[v1，v2，...，vn]T为隐变量，λ是控制学习速率的惩罚参数。对于特定的w，全局最优解
Figure BDA0002206107740000083
为：
Figure BDA0002206107740000084
通过交替更新w和v，损失函数小于λ的样本会被认为是简单样本，会被用于更新模型参数，而大于λ的样本会被认为是困难样本，在模型的训练中被忽略。
上述适用于脊柱转移肿瘤骨质的质量分类的系统各个模块实现的技术特征可以与上述适用于脊柱转移肿瘤骨质的质量分类方法中对应步骤实现的技术特征相同。
综上，本发明能够使用多任务学习和自步学习的方法实现对脊柱转移肿瘤骨质质量的精确分类。使用多任务学习的方法，同时学习骨质质量分类任务和后外侧受损情况分类任务，并共享任务间的特征图，能让两个任务都达到更好的泛化效果。此外，将骨质质量分类任务建模为成骨分类子任务和溶骨分类子任务，并使用多层感知机将两个子任务的结果合并，能够达到更好的分类效果。使用自步学习的方法，让模型优先学习容易样本，再逐步学习困难样本，能够让模型更快收敛且分类更准确。
本领域技术人员可以将本发明提供的适用于脊柱转移肿瘤骨质的质量分类方法，理解为本发明提供的适用于脊柱转移肿瘤骨质的质量分类系统的一个实施例。即，所述适用于脊柱转移肿瘤骨质的质量分类系统可以通过执行所述适用于脊柱转移肿瘤骨质的质量分类方法的步骤流程实现。
根据本发明提供的一种适用于脊柱转移肿瘤骨质的质量分类系统，包括如下模块：数据预处理模块：从原始的DICOM文件中，根据CT图像的HU值，采用阈值提取的系统，裁剪出脊椎的区域，作为训练样本图片，获取训练样本图片信息；特征提取与共享模块：根据训练样本图片信息，对于训练样本图片，使用三支卷积神经网络，分别提取成骨分类任务、溶骨分类任务和后外侧受损情况分类任务的特征，并将三支网络提取的特征进行共享，得到共享后的新特征，获取共享后新特征信息；任务合并模块：根据共享后新特征信息，对于成骨分类网络和溶骨分类网络，使用多层感知机将两支网络的特征融合，得到骨质质量分类任务的分类结果，获取待自步学习信息；自步学习模块：根据待自步学习信息，对于整个端到端的卷积神经网络，使用自步学习的系统，，优先学习损失函数小于设定阈值的样本，再学习损失函数大设定阈值的样本，直至网络收敛，获取学习后网络信息。精确结果获取模块：根据学习后网络信息，使用学习到的网络，对新样本进行分类预测，得到精确度大于设定阈值的分类结果，获取最终分类结果信息。
优选地，所述数据预处理模块包括：任务输入数据获取模块：从原始的DICOM文件提取出每一个横断面的CT图像，计算出HU值大于50的所有像素点的坐标均值，并将其认为是脊椎椎体的中心点，以此为中心裁剪出224x224的只包含脊柱的区域，作为每个任务的输入数据，获取训练样本图片信息。
优选地，所述特征提取与共享模块包括：基础架构使用模块：对于骨质质量分类网络和后外侧受损情况分类网络，都采用DenseNet121作为基础架构，在每个卷积块后使用硬共享的方式让不同分支网络的特征图相同，获取共享后新特征信息。对于两个任务A和B，输入的特征图分别为xA和xB，输出的特征图分别为
Figure BDA0002206107740000091
和
Figure BDA0002206107740000092
那么有
Figure BDA0002206107740000094
其中f(·)表示特征共享系统，硬共享方式让两支网络的特征图完全相等，即
Figure BDA0002206107740000095
优选地，所述任务合并模块包括：四分类结果获取模块：将成骨分类子任务和溶骨分类子任务经过全连接层后的特征进行拼接，然后通过多层感知机对拼接后的特征进行分类，使用tanh激活函数，最后将感知机的输出特征经过一层softmax层，得到最终的四分类结果，获取待自步学习信息。
优选地，所述自步学习模块包括：学习模型构建模块：对于训练数据集
Figure BDA0002206107740000096
Figure BDA0002206107740000097
记f(x，w)为学习模型，其中w为模型参数，对于第i个样本，损失函数为L(yi，f(xi，w))，目标函数为：
Figure BDA0002206107740000098
其中，v＝[v1，v2，...，vn]T为隐变量，λ是控制学习速率的惩罚参数。对于特定的w，全局最优解
Figure BDA0002206107740000099
为：
Figure BDA00022061077400000910
通过交替更新w和v，并将损失函数小于λ的样本会被认为是简单样本，用于更新模型参数，而大于λ的样本会被认为是困难样本，在学习模型的训练中忽略损失函数大于λ的样本，获取自步学习筛选信息；学习后网络信息获取模块：根据自步学习筛选信息，获取学习后网络信息。
本发明使用阈值提取的方法裁剪出脊椎椎体的区域，能过滤掉无关信息，让模型更好地关注脊椎内部的病变而不被其他器官干扰；将骨质质量分类任务建模为成骨分类子任务和溶骨分类子任务，并使用多层感知机将结果合并分类，能够比直接四分类效果更好，且有更强的可解释性；在不同分支的网络间进行特征共享，让不同的学习任务有更好的泛化性能，达到更好的分类效果；使用自步学习的方法，让模型优先学习容易的样本，再逐渐学习较为困难的样本，从而更快地收敛并达到更好的泛化效果。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种适用于脊柱转移肿瘤骨质的质量分类方法，其特征在于，包括：
数据预处理步骤：从原始的DICOM文件中，根据CT图像的HU值，裁剪出脊椎的区域，作为训练样本图片，获取训练样本图片信息；
特征提取与共享步骤：根据训练样本图片信息，对于训练样本图片，分别提取成骨分类任务、溶骨分类任务和后外侧受损情况分类任务的特征，并将三支网络提取的特征进行共享，得到共享后的新特征，获取共享后新特征信息；
任务合并步骤：根据共享后新特征信息，对于成骨分类网络和溶骨分类网络，将两支网络的特征融合，得到骨质质量分类任务的分类结果，获取待自步学习信息；
自步学习步骤：根据待自步学习信息，对于整个端到端的卷积神经网络，优先学习损失函数小于设定阈值的样本，再学习损失函数大设定阈值的样本，直至网络收敛，获取学习后网络信息；
精确结果获取步骤：根据学习后网络信息，使用学习到的网络，对新样本进行分类预测，得到精确度大于设定阈值的分类结果，获取最终分类结果信息。
2.根据权利要求1所述的适用于脊柱转移肿瘤骨质的质量分类方法，其特征在于，所述数据预处理步骤包括：
任务输入数据获取步骤：从原始的DICOM文件提取出每一个横断面的CT图像，计算出HU值大于50的所有像素点的坐标均值，并将其认为是脊椎椎体的中心点，以此为中心裁剪出224x224的只包含脊柱的区域，作为每个任务的输入数据，获取训练样本图片信息。
3.根据权利要求1所述的适用于脊柱转移肿瘤骨质的质量分类方法，其特征在于，所述特征提取与共享步骤包括：
基础架构使用步骤：对于骨质质量分类网络和后外侧受损情况分类网络，都采用DenseNet121作为基础架构，在每个卷积块后使用硬共享的方式让不同分支网络的特征图相同，获取共享后新特征信息。
4.根据权利要求1所述的适用于脊柱转移肿瘤骨质的质量分类方法，其特征在于，所述任务合并步骤包括：
四分类结果获取步骤：将成骨分类子任务和溶骨分类子任务经过全连接层后的特征进行拼接，然后通过多层感知机对拼接后的特征进行分类，使用tanh激活函数，最后将感知机的输出特征经过一层softmax层，得到最终的四分类结果，获取待自步学习信息。
5.根据权利要求1所述的适用于脊柱转移肿瘤骨质的质量分类方法，其特征在于，所述自步学习步骤包括：
学习模型构建步骤：对于训练数据集
Figure FDA0002206107730000021
记f(x,w)为学习模型，其中w为模型参数，对于第i个样本，损失函数为L(yi,f(xi,w))，目标函数为：
Figure FDA0002206107730000022
其中，v＝[v1,v2,…,vn]T为隐变量，λ是控制学习速率的惩罚参数，对于特定的w，全局最优解
Figure FDA0002206107730000023
为：
Figure FDA0002206107730000024
通过交替更新w和v，并将损失函数小于λ的样本用于更新模型参数，在学习模型的训练中忽略损失函数大于λ的样本，获取自步学习筛选信息；
学习后网络信息获取步骤：根据自步学习筛选信息，获取学习后网络信息。
6.一种适用于脊柱转移肿瘤骨质的质量分类系统，其特征在于，包括如下模块：
数据预处理模块：从原始的DICOM文件中，根据CT图像的HU值，系统裁剪出脊椎的区域，作为训练样本图片，获取训练样本图片信息；
特征提取与共享模块：根据训练样本图片信息，对于训练样本图片，分别提取成骨分类任务、溶骨分类任务和后外侧受损情况分类任务的特征，并将三支网络提取的特征进行共享，得到共享后的新特征，获取共享后新特征信息；
任务合并模块：根据共享后新特征信息，对于成骨分类网络和溶骨分类网络，将两支网络的特征融合，得到骨质质量分类任务的分类结果，获取待自步学习信息；
自步学习模块：根据待自步学习信息，对于整个端到端的卷积神经网络系统，优先学习损失函数小于设定阈值的样本，再学习损失函数大设定阈值的样本，直至网络收敛，获取学习后网络信息；
精确结果获取模块：根据学习后网络信息，使用学习到的网络，对新样本进行分类预测，得到精确度大于设定阈值的分类结果，获取最终分类结果信息。
7.根据权利要求6所述的适用于脊柱转移肿瘤骨质的质量分类系统，其特征在于，所述数据预处理模块包括：
任务输入数据获取模块：从原始的DICOM文件提取出每一个横断面的CT图像，计算出HU值大于50的所有像素点的坐标均值，并将其认为是脊椎椎体的中心点，以此为中心裁剪出224x224的只包含脊柱的区域，作为每个任务的输入数据，获取训练样本图片信息。
8.根据权利要求6所述的适用于脊柱转移肿瘤骨质的质量分类系统，其特征在于，所述特征提取与共享模块包括：
基础架构使用模块：对于骨质质量分类网络和后外侧受损情况分类网络，都采用DenseNet121作为基础架构，在每个卷积块后使用硬共享的方式让不同分支网络的特征图相同，获取共享后新特征信息。
9.根据权利要求6所述的适用于脊柱转移肿瘤骨质的质量分类系统，其特征在于，所述任务合并模块包括：
四分类结果获取模块：将成骨分类子任务和溶骨分类子任务经过全连接层后的特征进行拼接，然后通过多层感知机对拼接后的特征进行分类，使用tanh激活函数，最后将感知机的输出特征经过一层softmax层，得到最终的四分类结果，获取待自步学习信息。
10.根据权利要求6所述的适用于脊柱转移肿瘤骨质的质量分类系统，其特征在于，所述自步学习模块包括：
学习模型构建模块：对于训练数据集
Figure FDA0002206107730000031
记f(x,w)为学习模型，其中w为模型参数，对于第i个样本，损失函数为L(yi,f(xi,w))，目标函数为：
Figure FDA0002206107730000032
其中，v＝[v1,v2,…,vn]T为隐变量，λ是控制学习速率的惩罚参数。对于特定的w，全局最优解为：
Figure FDA0002206107730000034
通过交替更新w和v，并将损失函数小于λ的样本用于更新模型参数，在学习模型的训练中忽略损失函数大于λ的样本，获取自步学习筛选信息；
学习后网络信息获取模块：根据自步学习筛选信息，获取学习后网络信息。
CN201910881871.1A 2019-09-18 2019-09-18 适用于脊柱转移肿瘤骨质的质量分类方法及系统 Active CN110648317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910881871.1A CN110648317B (zh) 2019-09-18 2019-09-18 适用于脊柱转移肿瘤骨质的质量分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910881871.1A CN110648317B (zh) 2019-09-18 2019-09-18 适用于脊柱转移肿瘤骨质的质量分类方法及系统

Publications (2)

Publication Number Publication Date
CN110648317A true CN110648317A (zh) 2020-01-03
CN110648317B CN110648317B (zh) 2023-06-30

Family

ID=69010792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910881871.1A Active CN110648317B (zh) 2019-09-18 2019-09-18 适用于脊柱转移肿瘤骨质的质量分类方法及系统

Country Status (1)

Country Link
CN (1) CN110648317B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070760A (zh) * 2020-09-17 2020-12-11 安徽大学 一种基于卷积神经网络的骨量检测方法
CN116486090A (zh) * 2023-06-25 2023-07-25 华南理工大学 肺癌脊柱转移图像处理方法、装置、设备、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446927A (zh) * 2016-07-07 2017-02-22 浙江大学 一种自步增强图像分类方法及系统
CN107784647A (zh) * 2017-09-29 2018-03-09 华侨大学 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统
CN108288035A (zh) * 2018-01-11 2018-07-17 华南理工大学 基于深度学习的多通道图像特征融合的人体动作识别方法
CN108629785A (zh) * 2018-05-10 2018-10-09 西安电子科技大学 基于自步学习的三维磁共振胰腺图像分割方法
CN109544518A (zh) * 2018-11-07 2019-03-29 中国科学院深圳先进技术研究院 一种应用于骨骼成熟度评估的方法及其系统
CN110136828A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习实现医学影像多任务辅助诊断的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446927A (zh) * 2016-07-07 2017-02-22 浙江大学 一种自步增强图像分类方法及系统
CN107784647A (zh) * 2017-09-29 2018-03-09 华侨大学 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统
CN108288035A (zh) * 2018-01-11 2018-07-17 华南理工大学 基于深度学习的多通道图像特征融合的人体动作识别方法
CN108629785A (zh) * 2018-05-10 2018-10-09 西安电子科技大学 基于自步学习的三维磁共振胰腺图像分割方法
CN109544518A (zh) * 2018-11-07 2019-03-29 中国科学院深圳先进技术研究院 一种应用于骨骼成熟度评估的方法及其系统
CN110136828A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习实现医学影像多任务辅助诊断的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
叶招明等: "脊柱转移瘤的外科手术策略", 《实用肿瘤杂志》 *
赵记明等: "脊柱骨转移瘤在全身磁共振弥散加权成像中阴性显示原因分析", 《中医临床研究》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070760A (zh) * 2020-09-17 2020-12-11 安徽大学 一种基于卷积神经网络的骨量检测方法
CN112070760B (zh) * 2020-09-17 2022-11-08 安徽大学 一种基于卷积神经网络的骨量检测方法
CN116486090A (zh) * 2023-06-25 2023-07-25 华南理工大学 肺癌脊柱转移图像处理方法、装置、设备、存储介质
CN116486090B (zh) * 2023-06-25 2023-09-05 华南理工大学 肺癌脊柱转移图像处理方法、装置、设备、存储介质

Also Published As

Publication number Publication date
CN110648317B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN110443813B (zh) 血管、眼底图像的分割方法、装置、设备及可读存储介质
US11748889B2 (en) Brain image segmentation method and apparatus, network device, and storage medium
CN109493347B (zh) 在图像中对稀疏分布的对象进行分割的方法和系统
US8938113B2 (en) Adaptive visualization for direct physician use
Tian et al. Multi-path convolutional neural network in fundus segmentation of blood vessels
CN108765369A (zh) 肺结节的检测方法、装置、计算机设备和存储介质
CN113724880A (zh) 一种异常脑连接预测系统、方法、装置及可读存储介质
WO2018081607A2 (en) Methods of systems of generating virtual multi-dimensional models using image analysis
CN112381178B (zh) 一种基于多损失特征学习的医学影像分类方法
CN112037263B (zh) 基于卷积神经网络和长短期记忆网络的手术工具跟踪系统
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN104881683A (zh) 基于组合分类器的白内障眼底图像分类方法及分类装置
CN112037171B (zh) 基于多模态特征融合的多任务mri脑瘤图像分割方法
CN110859624A (zh) 一种基于结构磁共振影像的大脑年龄深度学习预测系统
CN110648317A (zh) 适用于脊柱转移肿瘤骨质的质量分类方法及系统
CN112381164A (zh) 一种基于多分支注意力机制的超声图像分类方法和装置
CN108564582B (zh) 一种基于深度神经网络的mri脑肿瘤图像自动优化方法
CN115953393B (zh) 基于多任务学习的颅内动脉瘤检测系统、设备及存储介质
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
Liu et al. Using simulated training data of voxel-level generative models to improve 3D neuron reconstruction
CN116912253A (zh) 基于多尺度混合神经网络的肺癌病理图像分类方法
Allioui et al. A cooperative approach for 3D image segmentation
Ozimek et al. A space-variant visual pathway model for data efficient deep learning
CN116129184A (zh) 多期相病灶分类方法、装置、设备及可读存储介质
CN115641317A (zh) 面向病理图像的动态知识回溯多示例学习及图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant