CN112635067A - 基于深度学习的核素骨显像中骨转移瘤的诊断方法 - Google Patents
基于深度学习的核素骨显像中骨转移瘤的诊断方法 Download PDFInfo
- Publication number
- CN112635067A CN112635067A CN202011600454.4A CN202011600454A CN112635067A CN 112635067 A CN112635067 A CN 112635067A CN 202011600454 A CN202011600454 A CN 202011600454A CN 112635067 A CN112635067 A CN 112635067A
- Authority
- CN
- China
- Prior art keywords
- bone
- model
- bone metastasis
- tumor
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 165
- 206010027476 Metastases Diseases 0.000 title claims abstract description 110
- 230000009401 metastasis Effects 0.000 title claims abstract description 110
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 58
- 238000003745 diagnosis Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000003384 imaging method Methods 0.000 title claims abstract description 16
- 238000013135 deep learning Methods 0.000 title claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims abstract description 42
- 238000013145 classification model Methods 0.000 claims abstract description 34
- 238000007469 bone scintigraphy Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 9
- 210000004197 pelvis Anatomy 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 210000000614 rib Anatomy 0.000 claims description 7
- 210000001991 scapula Anatomy 0.000 claims description 7
- 210000000689 upper leg Anatomy 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000014461 bone development Effects 0.000 claims description 2
- 230000004807 localization Effects 0.000 claims description 2
- 210000001694 thigh bone Anatomy 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 8
- 206010027452 Metastases to bone Diseases 0.000 description 10
- 201000011510 cancer Diseases 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000009206 nuclear medicine Methods 0.000 description 3
- 206010061728 Bone lesion Diseases 0.000 description 2
- 208000018084 Bone neoplasm Diseases 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000018240 Bone Marrow Failure disease Diseases 0.000 description 1
- 206010065553 Bone marrow failure Diseases 0.000 description 1
- 206010058019 Cancer Pain Diseases 0.000 description 1
- 208000037147 Hypercalcaemia Diseases 0.000 description 1
- 238000012351 Integrated analysis Methods 0.000 description 1
- 206010034156 Pathological fracture Diseases 0.000 description 1
- 206010041549 Spinal cord compression Diseases 0.000 description 1
- 208000005250 Spontaneous Fractures Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004097 bone metabolism Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000002758 humerus Anatomy 0.000 description 1
- 230000000148 hypercalcaemia Effects 0.000 description 1
- 208000030915 hypercalcemia disease Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000008338 local blood flow Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 210000001562 sternum Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供一种基于深度学习的核素骨显像中骨转移瘤的诊断方法。所述方法涉及骨扫描诊断分类模型、骨转移瘤区域分割模型、骨转移瘤负荷评估及自动报告生成模型。采用本发明的方法能够判别骨转移瘤并进行自动区域分割，识别准确率较高，初步实现了从原始图像输入到报告生成的全自动分析。
Description
技术领域
本发明涉及医疗影像处理技术领域，尤其涉及基于深度学习的核素骨显像中 骨转移瘤的诊断方法。
背景技术
骨转移瘤的发生率是骨原发恶性肿瘤的35～40倍。癌症骨转移是癌性疼痛的 主要原因之一，它所造成的病理性骨折、脊髓压迫、高钙血症和骨髓衰竭等并发 症，加速了病情的发展，严重影响了癌症患者的生存质量。近十余年来，许多学 科在骨转移瘤的发生机理、防治方法等方面进行了不懈的努力，但迄今为止尚未 找到有效的根治方法。
目前，骨扫描是骨转移瘤分析和疗效评估最常用的检查手段，所采用的放射 性核素99mTc-MDP通过化学吸附原理显像，局部的异常浓聚能够反映病灶的成 骨活性和局部血流量。单次骨扫描即可显示全身骨质代谢情况，能敏感的检出病 灶，且价格低廉，因此，骨扫描广泛的用于恶性肿瘤患者的临床分期、系统性随 访和治疗反应的监测。临床上治疗有效的患者表现为转移灶核素摄取减低，无效 或进展则表现为核素摄取增高。
目前，全身骨扫描图像分析主要依靠核医学医师的人工阅片，并且根据医师 的个人经验，通过检查全身骨扫描图像寻找异常病变位置进行诊断，医师为此要 做大量重复性工作。由于图像采集复杂程度高、患者之间差异性大、图像质量差， 以及人工阅片存在较大主观因素等影响，使得全身骨扫描图像的分析诊断结果存 在偏差，容易出现误诊、漏诊的情况。此外，在产生最终图像之前，技术人员可 以对原始图像进行亮度和对比度的调整，然而不同的技术人员可能为图像的显示 系统设置不同的参数，这就会使医生在确定细微的骨骼病变时遇到困难。与此同 时，在产生最终图像之前，技术人员可以对原始图像进行亮度和对比度的调整， 然而不同的技术人员可能为图像的显示系统设置不同的参数，这就会使医生在确 定细微的骨骼病变时遇到困难。
发明内容
为了克服上述现有技术的不足，本发明提供一种基于深度学习的核素骨显像 中骨转移瘤的诊断方法，所述方法涉及骨扫描诊断分类模型、骨转移瘤区域分割 模型、骨转移瘤负荷评估及自动报告生成模型。
一种基于深度学习的核素骨显像中骨转移瘤的诊断方法，其特征在于，包括 如下步骤：
1)对原始核素骨显像图进行预处理；
2)建立骨扫描诊断分类模型和骨转移瘤区域分割模型、建立骨转移瘤负荷 评估方法、建立自动报告生成模型；
3)对步骤2)中的骨扫描诊断分类模型、骨转移瘤区域分割模型、自动报 告生成模型进行训练，最终得到训练后的骨扫描诊断分类模型、骨转移瘤区域分 割模型和自动报告生成模型；
4)将待测试原始核素骨显像图进行预处理，输入到训练后的骨扫描诊断分 类模型和骨转移瘤区域分割模型中，获得骨扫描诊断分类结果和骨转移瘤区域分 割结果，进行骨转移瘤负荷评估，根据自动报告生成模型结合骨扫描诊断分类结 果、骨转移瘤区域分割结果和骨转移瘤负荷评估结果生成诊断报告。
步骤1)所述对原始核素骨显像图进行预处理包括：(1)获得不同灰度值下 的前位与后位图像，具体如图2a所示；(2)原始图像尺寸使用双线性差值的方 式将图像尺寸统一到1024×1024。
步骤1)中所述对原始核素骨显像图进行预处理还包括，由专业医师协同诊 断骨转移瘤并使用Labelme在图像中勾勒出骨转移瘤区域及膀胱区域，具体如图 2b所示。
步骤2)中骨扫描诊断分类模型使用256×256的图像作为输入，即各张1024 ×1024的图像分割为256×256的子图像，根据子图像对应标注生成分割标签和 分类标签，其中分割标签中的数值表示子图像相应位置中的像素类别，分类标签 表示相应数据是否包含骨转移瘤和膀胱，将一定比例的256×256图像作为训练 集，其余作为测试集；诊断分类模型结构采用残差神经网络(ResNet32),将第一 层卷积核及最后一层的评价池化卷积核增加到8×8，将最后全连接层的输出尺 寸调整为2以对应于骨转移瘤和膀胱的二分类概率，骨扫描诊断分类模型使用焦 点损失(Focal loss)作为损失函数，γ取1，采用梯度下降法训练，焦点损失公式 如下:LFL＝-y(1-y′)γlogy′-(1-y)(y′)γlog(1-y′)
其中y∈{±1}表示类别标签，y′∈[-1，1]表示模型输出1的概率。
步骤2)中骨扫描诊断分类模型中随机划分80％作为训练集，剩余20％作为 测试集。
步骤2)中骨转移瘤区域分割模型目的在于将骨转移瘤区域和膀胱区以像素 级精确度分割开来，在滑窗得到的数据基础上，分别筛选出包含骨转移瘤和膀胱 的数据训练骨转移瘤及膀胱分割模型。采用随机旋转、缩放和翻转的方式进行数 据增强。
步骤2)中骨转移瘤区域分割模型采用经典unet的编码与解码结构，模型在 初始提取特征时保持特征特征图长和宽不变的情况下，输入和输出通道数置为1， 最大池化不改变通道数，上采样(upsampling)过程中使通道数减半，来自编码 路径的特征图和对应的上采样阶段的特征图拼接在一起加速模型的信息传递和 收敛，最后一层1×1卷积层和Sigmoid函数对应了分割概率，骰子损失(Dice loss) 作为损失函数，利用梯度下降法训练模型，
骰子损失公式如下：
其中X表示标签图，Y表示模型预 测的标签图。
步骤2)中骨转移瘤区域分割模型结构见图3。
步骤2)中采用骨扫描肿瘤负荷系数(Bone scan tumor burden index,BSTBI) 来近似计算骨转移瘤总体肿瘤负荷状态，计算公式为：
其中，L表示骨转移瘤区域的所有像素，R表示骨扫描图像上的所有像素，B表示膀胱区域的所有像素，K表示缩放因子，本文中选为5，pixel value 表示图像像素值，颜色越黑数值越小，对应到公式肿瘤负荷程度越大。 BSBTI∈[0，1]。
步骤2)中计算骨转移瘤总体肿瘤负荷状态时采用一个病人多个子图下 BSTBI值的平均值作为该病人最终BSTBI值。
步骤2)中诊断报告生成模型分为两部分，一是病灶区域定位，二是计算骨 扫描肿瘤负荷值，病灶区域定位确定骨转移瘤在脊椎、骨盆、肩胛骨、肋骨、股 骨及上述部位之外的其他区域的概率。
步骤2)中区域定位模型采用1024*1024*2的大尺寸输入，沿用区域分割模 型中的卷积块结构，增加通道数的同时减少图像大小，将输入尺寸特征抽象到 2*2*1024，后接平均池化、全连接层及Sigmoid函数得到6维度特征向量，分别 对应于脊椎、骨盆、肩胛骨、肋骨、股骨及除上述之外的其他区域患有骨转移瘤 的概率，CE loss作为损失函数，利用梯度下降法训练模型。
步骤2)中区域定位模型结构见图4。
步骤4)中各子模型部分使用人工标注的数据训练完毕之后，将多模型结合 起来，针对测试集数据进行端到端分析。首先将单副原始骨扫描图像以滑动窗口 的形式剪裁成28个子图，将这些子图一次性送入诊断分类模型，得到28*2个概 率值，分别表示该部位是否包含骨转移瘤和膀胱。若一个病人28个子图中有任 何一个子图被判定为包含骨转移瘤区域，则判定该患者存在骨转移瘤。而后将预 测结果中包含骨肿瘤和膀胱的子图分别输入到骨转移瘤分割模型和膀胱分割模 型，子图对应到原始图像会有部分区域重叠，因此预测结果中，对于某一重合区 域，若任何子图将该像素预测为骨转移瘤，那么该像素预测值便为骨转移瘤。若 骨转移瘤与膀胱区域预测结果发生重合，则该像素判定为骨转移瘤。最后将原始 图像以及模型预测的分割图拼接在一起，输入到报告生成模型，得到最后的诊断报告。整个模型预测构架如图5。
步骤4)生成诊断报告时，预先定义好正常报告模板和骨转移瘤异常报告模 板(具体报告模板见表1)，若骨扫描诊断分类模型判断不包含骨转移瘤则直接 调用正常报告模板，若骨扫描诊断分类模型判定包含骨转移瘤，则通过后续模型 判断脊椎、骨盆、肩胛骨、肋骨、股骨及上述部位之外的其他区域是否包含骨转 移瘤，并进行骨转移瘤负荷评估，产生最终诊断报告。
表1报告模板
本发明至少包括以下有益效果：
本发明所述的一种基于深度学习的骨转移瘤自动诊断方法能够判别骨转移 瘤并进行自动区域分割，识别准确率较高，初步实现了从原始图像输入到报告生 成的全自动分析，为审阅核素骨扫描显像提供了新的方式。另外，本发明中提出 的BSTBI有望为将来临床评估骨转移瘤治疗效果提供客观而准确地定量评价方 法。
附图说明：
图1为本发明测试方法的流程图。
图2为肺癌并全身多发骨转移的原始骨扫描图及专业医师标注图，其中a为 原始肺癌并全身多发骨转移的原始骨扫描图，b中由专业医师使用Lambelme在 图像中勾勒出骨转移瘤及膀胱区域。
图3为骨转移瘤区域分割模型网络结构。
图4为诊断报告生成模型结构。
图5为预测模型总体构架。
具体实施方式
下面结合具体的实施例对本发明作进一步地说明，以更好地理解本发明。
1、数据处理
原始数据包含两种不同灰度值下的前位与后位图像，即一条数据对应四副子 图，如图2a所示。由2位专业核医学科医师协同诊断骨转移瘤并使用Labelme 在图像中勾勒出骨转移瘤及膀胱区域，标注结果如图2b所示。原始图像尺寸使 用双线性差值的方式将图像尺寸统一到1024×1024。随机划分80％作为训练集， 剩余20％作为测试集。
2、骨扫描诊断分类模型
2.1数据处理
诊断分类模型使用256×256的图像作为输入，即一副1024×1024尺寸的图 像可以得到28张256×256的子图。根据子图像对应的标注生成分割标签和分类 标签，分割标签和图像尺寸相同，分割图中的数值表示图像相应位置中像素的类 别，分类标签为二维向量，其中两个元素分别表示该条数据中是否包含骨转移瘤 和膀胱。诊断分类模型对得到的子图和对应的分类标签进行训练。
2.2模型结构
诊断分类模型结构采用经典的残差神经网络(ResNet32)。将第一层卷积核 及最后一层的平均池化卷积核增加到8×8，将最后全连接层的输出尺寸调整为 2，对应于骨转移瘤和膀胱的二分类概率。诊断分类模型使用焦点损失(Focal loss) 作为损失函数，γ取1，采用梯度下降法训练，焦点损失公式如下:
LFL＝-y(1-y′)γlogy′-(1-y)(y′)γlog(1-y′)
其中y∈{±1}表示类别标签，y′∈[-1，1]表示模型输出1的概率。
3、骨转移瘤区域分割模型
3.1数据处理
在滑窗得到的数据基础上，分别筛选出包含骨转移瘤和膀胱的数据训练骨转 移瘤及膀胱分割模型。采用随机旋转、缩放和翻转的方式进行数据增强。
3.2模型结构
使用经典unet的编码与解码结构。区域分割模型结构见图2。为了适应单通 道图像输入，模型在初始提取特征时保持特征图长和宽不变的情况下，输入和输 出通道数置为1。最大池化不改变通道数。上采样(upsampling)过程中使通道 数减半。来自编码路径的特征图和对应的上采样阶段的特征图拼接在一起加速模 型的信息传递和收敛。最后一层1×1卷积层和Sigmoid函数对应了分割概率。骰 子损失(Dice loss)作为损失函数，利用梯度下降法训练模型。
骰子损失公式如下：
其中X表示标签图，Y表示模型预测的标签图。
4、骨转移瘤负荷评估
以骨扫描肿瘤负荷系数(Bone scan tumor burden index，BSTBI)来近似计算 骨转移瘤总体肿瘤负荷状态。计算公式为：
其中，L表示骨转移瘤区域的所有像素，R表示骨扫描图像上的所有像素， B表示膀胱区域的所有像素，K表示缩放因子，本文中选为5，pixel υalue 表示图像像素值，颜色越黑数值越小，对应到公式肿瘤负荷程度越大。 BSBTI∈[0，1]。
每个病人包含两种不同的灰度下的前后位两张图像，对于一个病人使用四个 子图下BSTBI值的平均值作为该病人的最终BSTBI值。然后于测试集中，通过 不同患者之间及同一患者治疗前后的BSTBI的对比，简单验证BSTBI是否能反 映骨扫描图像中骨转移瘤的负荷状态，是否可作为客观定量指标纵向评价骨转移 瘤治疗的效果。
5、自动报告生成模型
诊断报告生成模型分为两部分，一是病灶区域定位，二是计算骨扫描肿瘤负 荷值。区域定位部分在于大体定位骨扫描骨转移瘤的部位(面颅骨、脊椎、胸骨、 肋骨、肩胛骨、骨盆、肱骨及股骨等主要发病部位)。最终结合肿瘤定位结果和 骨扫描肿瘤负荷值，通过结果解释器生成诊断报告。
5.1数据处理
诊断报告生成模型区域定位部分将单个患者的整副图像(1024*1024*1)和人 工标注的骨转移瘤(1024*1024*1)分割图拼接在一起作为输入。骨扫描肿瘤负荷计 算也用到了原始图像和分割图。
5.2模型结构
区域定位模型采用1024*1024*2的大尺寸输入，沿用区域分割模型中的卷积 块结构，增加通道数的同时减少图像大小，将输入尺寸特征抽象到2*2*1024，后 接平均池化、全连接层及Sigmoid函数得到6维度特征向量，分别对应于脊椎、 骨盆、肩胛骨、肋骨、股骨及除上述之外的其他区域患有骨转移瘤的概率，模型 结构见图3。鉴于深度学习模型需要数据来驱动，实际数据中大多数病灶都集中 于上述前5个部位，其他部位病灶数据量少，所以在此只判断这5个精确部位和 其他部位是否患病。CE loss作为损失函数，利用梯度下降法训练模型。
5.3报告解释器
报告解释器将模型的预测结果生成通俗的语言描述形式。首先，分析诊断报 告需要包含的信息，由核医学科医师预先定义好两类模板，包括正常报告和骨转 移瘤异常报告。若诊断分类模型判定该数据正常，则直接调用正常报告模板；若 诊断分类模型判定该数据包含骨转移瘤，则通过后续模型判断常见位置是否包含 骨转移瘤，并计算骨转移瘤负荷，填充到异常报告模板中，产生最终诊断报告。 具体报告模板见表1。
5.4综合分析
综合分析即各子模型部分使用人工标注的数据训练完毕之后，将多模型结合 起来，针对测试集数据进行端到端分析。首先将单副原始骨扫描图像以滑动窗口 的形式剪裁成28个子图，将这些子图一次性送入诊断分类模型，得到28*2个概 率值，分别表示该部位是否包含骨转移瘤和膀胱。若一个病人28个子图中有任 何一个子图被判定为包含骨转移瘤区域，则判定该患者存在骨转移瘤。
而后将预测结果中包含骨肿瘤和膀胱的子图分别输入到骨转移瘤分割模型 和膀胱分割模型，子图对应到原始图像会有部分区域重叠，因此预测结果中，对 于某一重合区域，若任何子图将该像素预测为骨转移瘤，那么该像素预测值便为 骨转移瘤。若骨转移瘤与膀胱区域预测结果发生重合，则该像素判定为骨转移瘤。 最后将原始图像以及模型预测的分割图拼接在一起，输入到报告生成模型，得到 最后的诊断报告。整个模型预测构架如图5。
6.实验结果
共纳入621例图像，其中骨转移瘤组图像280例，非骨转移瘤组图像341例。 从两组分别抽取80％作为训练集(498例)，其余20％作为测试集(123例)。利 用深度残差卷积神经网络判断骨扫描图像是否含有骨转移瘤，计算灵敏度、特异 性和准确率作为分类模型的评估指标。接着分割骨转移瘤区域，骰子系数作为评 估肿瘤区域分割效果的指标。然后，计算骨扫描负荷系数(Bone scan tumor burden index,BSTBI)，作为评估骨转移瘤肿瘤负荷的定量指标。采用BSTBI初步对不同 患者间及同一患者前后进行骨转移瘤负荷的定量对比。最后报告生成模型将自动 生成诊断报告，报告的准确性和时效性将作为评价报告生成模型的指标。
123例测试集中，分类模型的灵敏度、特异性及准确率分别是92.59％，85.51％ 和88.62％。分割模型中骨转移瘤区域骰子系数为0.7387，膀胱区域骰子系数为 0.9247。骨扫描图像中BSTBI值受骨转移病灶数目及99Tcm-MDP摄取程度的影 响，初步结果显示它会随着病灶数目的增多、99mTc-MDP摄取程度的增高而增大。 在1080Ti GPU环境下，本研究中的机器学习模型从原始数据输入到最终报告生 成所花费的时间约为0.55±0.07s，相比与人工解读图像(38.00±16.21s)，具有 明显的时效性(F＝118.85,P＝0.000)。
以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并 不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行 的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范 围下所作的均等变换和修改，都应涵盖在本发明的范围内。
Claims (10)
1.一种基于深度学习的核素骨显像中骨转移瘤的诊断方法，其特征在于，包括如下步骤：
1)对原始核素骨显像图进行预处理；
2)建立骨扫描诊断分类模型和骨转移瘤区域分割模型、建立骨转移瘤负荷评估方法、建立自动报告生成模型；
3)对步骤2)中的骨扫描诊断分类模型、骨转移瘤区域分割模型、自动报告生成模型进行训练，最终得到训练后的骨扫描诊断分类模型、骨转移瘤区域分割模型和自动报告生成模型；
4)将待测试原始核素骨显像图进行预处理，输入到训练后的骨扫描诊断分类模型和骨转移瘤区域分割模型中，获得骨扫描诊断分类结果和骨转移瘤区域分割结果，进行骨转移瘤负荷评估，根据自动报告生成模型结合骨扫描诊断分类结果、骨转移瘤区域分割结果和骨转移瘤负荷评估结果生成诊断报告。
2.根据权利要求1所述的一种基于深度学习的核素骨显像中骨转移瘤的诊断方法，其特征在于，步骤1)所述对原始核素骨显像图进行预处理包括：(1)获得不同灰度值下的前位与后位图像；(2)原始图像尺寸使用双线性差值的方式将图像尺寸统一到1024×1024。
3.根据权利要求1所述的一种基于深度学习的核素骨显像中骨转移瘤的诊断方法，其特征在于，步骤2)中骨扫描诊断分类模型使用256×256的图像作为输入，即各张1024×1024的图像分割为256×256的子图像，根据子图像对应标注生成分割标签和分类标签，其中分割标签中的数值表示子图像相应位置中的像素类别，分类标签表示相应数据是否包含骨转移瘤和膀胱，将一定比例的256×256图像作为训练集，其余作为测试集；诊断分类模型结构采用残差神经网络(ResNet32),将第一层卷积核及最后一层的评价池化卷积核增加到8×8，将最后全连接层的输出尺寸调整为2以对应于骨转移瘤和膀胱的二分类概率，骨扫描诊断分类模型使用焦点损失(Focal loss)作为损失函数，γ取1，采用梯度下降法训练，焦点损失公式如下：
LFL＝-y(1-y′)γlogy′-(1-y)(y′)γlog(1-y′)
其中y∈{±1}表示类别标签，y′∈[-1，1]表示模型输出1的概率。
4.根据权利要求3所述的一种基于深度学习的核素骨显像中骨转移瘤的诊断方法，其特征在于，步骤2)中骨扫描诊断分类模型中随机划分80％作为训练集，剩余20％作为测试集。
5.根据权利要求1所述的一种基于深度学习的核素骨显像中骨转移瘤的诊断方法，其特征在于，步骤2)中骨转移瘤区域分割模型采用骨扫描诊断分类模型筛选出的包含骨转移瘤和膀胱的数据进行训练，可选地采用随机旋转、缩放和翻转的方式进行数据增强；骨转移瘤区域分割模型采用经典unet的编码与解码结构，模型在初始提取特征时保持特征图长和宽不变的情况下，输入和输出通道数置为1，最大池化不改变通道数，上采样(upsamp ling)过程中使通道数减半，来自编码路径的特征图和对应的上采样阶段的特征图拼接在一起加速模型的信息传递和收敛，最后一层1×1卷积层和Sigmoid函数对应了分割概率，骰子损失(Dice loss)作为损失函数，利用梯度下降法训练模型，
骰子损失公式如下：
其中X表示标签图，Y表示模型预测的标签图。
6.根据权利要求1所述的一种基于深度学习的核素骨显像中骨转移瘤的诊断方法，其特征在于，步骤2)采用骨扫描肿瘤负荷系数(Bone scan tumor burden index，BSTBI)来进行骨转移瘤负荷评估，计算公式为：
其中，L表示骨转移瘤区域的所有像素，R表示骨扫描图像上的所有像素，B表示膀胱区域的所有像素，K表示缩放因子，本文中选为5，pixel value表示图像像素值，颜色越黑数值越小，对应到公式肿瘤负荷程度越大，BSBTI∈[0，1]。
7.根据权利要求6所述的一种基于深度学习的核素骨显像中骨转移瘤的诊断方法，其特征在于，步骤2)中计算骨转移瘤总体肿瘤负荷状态时采用一个病人多个子图下BSTBI值的平均值作为该病人最终BSTBI值。
8.根据权利要求1所述的一种基于深度学习的核素骨显像中骨转移瘤的诊断方法，其特征在于，步骤2)中诊断报告生成模型分为两部分，一是病灶区域定位，二是计算骨扫描肿瘤负荷值，病灶区域定位确定骨转移瘤在脊椎、骨盆、肩胛骨、肋骨、股骨及上述部位之外的其他区域的概率。
9.根据权利要求8所述的一种基于深度学习的核素骨显像中骨转移瘤的诊断方法，其特征在于，区域定位模型采用1024*1024*2的大尺寸输入，沿用区域分割模型中的卷积块结构，增加通道数的同时减少图像大小，将输入尺寸特征抽象到2*2*1024，后接平均池化、全连接层及Sigmoid函数得到6维度特征向量，分别对应于脊椎、骨盆、肩胛骨、肋骨、股骨及除上述之外的其他区域患有骨转移瘤的概率，CE loss作为损失函数，利用梯度下降法训练模型。
10.根据权利要求1所述的一种基于深度学习的核素骨显像中骨转移瘤的诊断方法，其特征在于：步骤4)生成诊断报告时，预先定义好正常报告模板和骨转移瘤异常报告模板，若骨扫描诊断分类模型判断不包含骨转移瘤则直接调用正常报告模板，若骨扫描诊断分类模型判定包含骨转移瘤，则通过后续模型判断脊椎、骨盆、肩胛骨、肋骨、股骨及上述部位之外的其他区域是否包含骨转移瘤，并进行骨转移瘤负荷评估，产生最终诊断报告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011600454.4A CN112635067A (zh) | 2020-12-29 | 2020-12-29 | 基于深度学习的核素骨显像中骨转移瘤的诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011600454.4A CN112635067A (zh) | 2020-12-29 | 2020-12-29 | 基于深度学习的核素骨显像中骨转移瘤的诊断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112635067A true CN112635067A (zh) | 2021-04-09 |
Family
ID=75286362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011600454.4A Pending CN112635067A (zh) | 2020-12-29 | 2020-12-29 | 基于深度学习的核素骨显像中骨转移瘤的诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112635067A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113255760A (zh) * | 2021-05-20 | 2021-08-13 | 推想医疗科技股份有限公司 | 训练图像处理模型的方法、图像处理的方法及装置 |
| CN114067361A (zh) * | 2021-11-16 | 2022-02-18 | 西北民族大学 | 一种spect成像的非病变热区切分方法与系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101046471A (zh) * | 2006-03-31 | 2007-10-03 | 霍夫曼-拉罗奇有限公司 | 利用绿色荧光蛋白的肿瘤模型 |
| CN108573490A (zh) * | 2018-04-25 | 2018-09-25 | 王成彦 | 一种针对肿瘤影像数据的智能读片系统 |
| CN110867233A (zh) * | 2019-11-19 | 2020-03-06 | 西安邮电大学 | 用于生成电子喉镜医学检测报告的系统和方法 |
| AU2019204380B1 (en) * | 2019-06-21 | 2020-07-23 | Curvebeam Ai Limited | A Method and System for Machine Learning Classification Based on Structure or Material Segmentation in an Image |
| CN111524106A (zh) * | 2020-04-13 | 2020-08-11 | 北京推想科技有限公司 | 颅骨骨折检测和模型训练方法、装置、设备和存储介质 |
| CN111860528A (zh) * | 2020-06-16 | 2020-10-30 | 南京邮电大学 | 基于改进U-Net网络的图像分割模型及训练方法 |
-
2020
- 2020-12-29 CN CN202011600454.4A patent/CN112635067A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101046471A (zh) * | 2006-03-31 | 2007-10-03 | 霍夫曼-拉罗奇有限公司 | 利用绿色荧光蛋白的肿瘤模型 |
| CN108573490A (zh) * | 2018-04-25 | 2018-09-25 | 王成彦 | 一种针对肿瘤影像数据的智能读片系统 |
| AU2019204380B1 (en) * | 2019-06-21 | 2020-07-23 | Curvebeam Ai Limited | A Method and System for Machine Learning Classification Based on Structure or Material Segmentation in an Image |
| CN110867233A (zh) * | 2019-11-19 | 2020-03-06 | 西安邮电大学 | 用于生成电子喉镜医学检测报告的系统和方法 |
| CN111524106A (zh) * | 2020-04-13 | 2020-08-11 | 北京推想科技有限公司 | 颅骨骨折检测和模型训练方法、装置、设备和存储介质 |
| CN111860528A (zh) * | 2020-06-16 | 2020-10-30 | 南京邮电大学 | 基于改进U-Net网络的图像分割模型及训练方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113255760A (zh) * | 2021-05-20 | 2021-08-13 | 推想医疗科技股份有限公司 | 训练图像处理模型的方法、图像处理的方法及装置 |
| CN114067361A (zh) * | 2021-11-16 | 2022-02-18 | 西北民族大学 | 一种spect成像的非病变热区切分方法与系统 |
| CN114067361B (zh) * | 2021-11-16 | 2022-08-23 | 西北民族大学 | 一种spect成像的非病变热区切分方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11615879B2 (en) | System and method for automated labeling and annotating unstructured medical datasets | |
| KR101740464B1 (ko) | 뇌졸중 진단 및 예후 예측 방법 및 시스템 | |
| ES2914387T3 (es) | Estudio inmediato | |
| US11373750B2 (en) | Systems and methods for brain hemorrhage classification in medical images using an artificial intelligence network | |
| US20210142477A1 (en) | Bone Age Assessment And Height Prediction Model, System Thereof And Prediction Method Thereof | |
| CN111563523B (zh) | 利用机器训练的异常检测的copd分类 | |
| CN108369642A (zh) | 根据头部计算机断层摄影解释和量化急症特征 | |
| US11151722B2 (en) | System and method for estimating synthetic quantitative health values from medical images | |
| US11969265B2 (en) | Neural network classification of osteolysis and synovitis near metal implants | |
| CN110991254B (zh) | 超声图像视频分类预测方法及系统 | |
| CN112635067A (zh) | 基于深度学习的核素骨显像中骨转移瘤的诊断方法 | |
| Tang et al. | CNN-based qualitative detection of bone mineral density via diagnostic CT slices for osteoporosis screening | |
| CN114093522A (zh) | 利用人工智能诊断冠状病毒疾病covid-19的方法和系统 | |
| US10169851B2 (en) | Methods for color enhanced detection of bone density from CT images and methods for opportunistic screening using same | |
| KR20210060923A (ko) | 의료용 인공 신경망 기반 대표 영상을 제공하는 의료 영상 판독 지원 장치 및 방법 | |
| Bhat et al. | Identification of intracranial hemorrhage using ResNeXt model | |
| US11704796B2 (en) | Estimating bone mineral density from plain radiograph by assessing bone texture with deep learning | |
| CN113240654A (zh) | 一种多维度特征融合的颅内动脉瘤检测方法 | |
| CN111784652A (zh) | 基于强化学习多尺度神经网络的mri分割方法 | |
| CN115294023A (zh) | 肝脏肿瘤自动分割方法及装置 | |
| CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
| Wang et al. | Semi-automatic segmentation of the fetal brain from magnetic resonance imaging | |
| CN113450306A (zh) | 提供骨折检测工具的方法 | |
| US20230096522A1 (en) | Method and system for annotation of medical images | |
| WO2023164497A1 (en) | Systems, devices, and methods for spine analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210409 |
|
| WD01 | Invention patent application deemed withdrawn after publication |