CN115019049A - 基于深度神经网络的骨显像骨病灶分割方法、系统及设备 - Google Patents
基于深度神经网络的骨显像骨病灶分割方法、系统及设备 Download PDFInfo
- Publication number
- CN115019049A CN115019049A CN202210941269.4A CN202210941269A CN115019049A CN 115019049 A CN115019049 A CN 115019049A CN 202210941269 A CN202210941269 A CN 202210941269A CN 115019049 A CN115019049 A CN 115019049A
- Authority
- CN
- China
- Prior art keywords
- bone
- neural network
- network
- segmentation result
- deep neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 147
- 230000011218 segmentation Effects 0.000 title claims abstract description 125
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 114
- 206010061728 Bone lesion Diseases 0.000 title claims abstract description 84
- 238000003384 imaging method Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012800 visualization Methods 0.000 claims abstract description 37
- 238000007670 refining Methods 0.000 claims abstract description 25
- 230000003902 lesion Effects 0.000 claims abstract description 17
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 24
- 210000002569 neuron Anatomy 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 12
- 230000014461 bone development Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013434 data augmentation Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 claims description 5
- 241000287196 Asthenes Species 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 abstract description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000009206 nuclear medicine Methods 0.000 description 4
- 206010027476 Metastases Diseases 0.000 description 3
- 206010027452 Metastases to bone Diseases 0.000 description 3
- 230000009401 metastasis Effects 0.000 description 3
- 238000002603 single-photon emission computed tomography Methods 0.000 description 3
- 238000007469 bone scintigraphy Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- IUPNVOAUFBLQME-SGNQUONSSA-L dioxidanium;dioxido-oxo-(phosphonatomethyl)-$l^{5}-phosphane;technetium-99(4+) Chemical compound [OH3+].[OH3+].[99Tc+4].[O-]P([O-])(=O)CP([O-])([O-])=O IUPNVOAUFBLQME-SGNQUONSSA-L 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度神经网络的骨显像骨病灶分割方法、系统及设备，其目的在于解决现有技术在分割骨显像中的骨病灶时存在的骨显像本身弥散特性带来的标签噪声大的问题。其通过构建一个包括精炼网络和两个神经网络的级联网络模型，并在精炼网络中通过计算骨病灶第一分割结果、骨病灶第二分割结果的DSC指标，将DSC指标高于阈值的骨病灶分割结果定义为第一阶段的可靠病灶分割结果，并提取在第一神经网络、第二神经网络难以辨别的病灶，输出精炼后的分割结果。本发明通过计算两个神经网络输出的一致性，并将每个病灶分割结果使用DSC作为一致性评价指标，能够有效利用噪声样本中的信息，减少因骨显像本身弥散特性带来的标签噪声带来的影响。
Description
技术领域
本发明涉及图像处理技术领域，涉及一种骨图像病灶的分割处理，更具体的是涉及一种基于神经网络对骨图像进行病灶分割的方法。
背景技术
晚期恶性肿瘤，如乳腺癌、前列腺癌、肺癌，经常发生骨转移。因此，骨转移的早期发现对于选择治疗策略，获得更好的总生存期和改善患者的生活质量具有重要意义。最新的全国调查报告显示，中国每年进行的骨骼扫描超过115万次，这给核医学医生带来了巨大的工作量。
现有技术中，基于99mTc-MDP的骨闪烁显像是诊断癌症患者骨转移最常用的技术之一，因为它具有全身检测和高灵敏度的优点。而对于全身骨显像骨骼的定位，现常采用三种检查：MRI检查、CT检查、SPECT全身骨显像检查。由于SPECT具有良好的敏感性和全面性，其是我国目前在骨转移诊断领域的主要检查手段。这里只谈最常用的SPECT全身骨显像检查，即由专业医师对于每一次检查的图像数据报告骨病灶位置和性质。目前，在部分医疗条件较好的医院，对可能患有癌症的患者，通常的方法是用专业设备采集前、后位两张全身显像图像，在完成全身骨显像图像数据采集后，由专业放射技师对前后位两张图像进行读图定位。
但是，在骨转移的诊断过程中也是困难重重，主要体现在以下方面：第一，骨显像图像的分辨率有限，使得解译工作依赖经验，存在主观性、误差明显、效率不高等缺点；第二，医生需要对骨病灶进行提取、定位、定性，这个过程不仅消耗时间，同时也对操作医师的资质提出了很高的要求，在实际临床场景中，该机械重复的过程是主要的人力消耗。除此之外，由于骨显像本身的成像特点，在长时间机械工作下骨病灶容易出现漏检的问题。
综上，一个能实现自动分割骨病灶的算法对骨转移检测的临床工作来说十分有必要，只需要将骨显像输入算法中即可识别，自动分割骨显像中的骨病灶，从而帮助医生更快更好地进行诊断。另外，骨图像（即骨显像）作为核医学图像之一，其重要特点在于显像成像本身弥散的特性，很难勾画出很好的分割标签，这就造成训练数据中标签含噪声成分较大，对后续的利用算法进行自动分割骨显像中的骨病灶的精度、效果构成影响。
发明内容
本发明的目的在于：为了解决现有技术在分割骨显像中的骨病灶时存在的因骨显像本身弥散特性带来的标签噪声大的问题，本发明提供一种基于深度神经网络的骨显像骨病灶分割方法。
本发明为了实现上述目的具体采用以下技术方案：
一种基于深度神经网络的骨显像骨病灶分割方法，包括：
步骤S1，获取骨显像图像，并对骨显像图像进行标注处理；
步骤S2，构建基于深度神经网络的级联网络模型；
构建包括第一神经网络、第二神经网络以及精炼网络的基于深度神经网络的级联网络模型；第一神经网络、第二神经网络为并列设置的、独立的、不存在共享权重的神经网络，骨显像图像作为第一神经网络的输入，并输出骨病灶第一分割结果；骨显像图像作为第二神经网络的输入，并输出骨病灶第二分割结果；骨显像图像、骨病灶第一分割结果、骨病灶第二分割结果作为精炼网络的输入，输出精炼后的分割结果；
精炼网络中，计算骨病灶第一分割结果、骨病灶第二分割结果的DSC指标，将DSC指标高于阈值的骨病灶分割结果定义为第一阶段的可靠病灶分割结果；基于输入的第一阶段的可靠病灶分割结果和骨显像图像，提取在第一神经网络、第二神经网络难以辨别的病灶，输出精炼后的分割结果；
DSC指标计算公式为：
其中，
与
分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目；
步骤S3，训练基于深度神经网络的级联网络模型；
利用步骤S1获取的骨显像图像、标注后的骨显像图像对步骤S2构建的基于深度神经网络的级联网络模型进行训练；
步骤S4，骨病灶分割；
利用训练好的基于深度神经网络的级联网络模型对待测对象的骨显像中的股病灶进行分割，得到骨病灶分割结果。
在步骤S1中，对获取的骨显像图像进行数据增广处理，数据增广处理方式包括随机翻转、平移、旋转；
数据增广后的骨显像图像以及标注后的骨显像图像按照4:1分为训练集和测试集。
在步骤S3中，基于深度神经网络的级联网络模型的训练包括：
步骤S31，前向计算；
对一个
层的前馈神经网络，设其训练样本集合为
，其中，
为单个样本的维度，
表示训练样本的个数，那么，第
个样本可表示为
；设第
层的第
个神经元到
层的第
个神经元连接权值记为
，那么，第
层到
层的连接权值矩阵
，设第
层上神经元的激活函数为
，从输入层到输出层，不断进行前向计算，其过程为：
其中，
表示第
层神经元的激活值，那么，网络输出层神经元的激活值为：
最后一层的网络输出为设计性能函数
，设计性能函数:
步骤 S32，权值更新；
神经网络采用交叉熵作为分类或分割任务的目标函数，其定义如下：
其中，
与
分别代表网络最后一层的输出与标签；神经网络通过求目标函数J对于权值的梯度，并迭代采用梯度下降算法，即可不断减小目标函数的值，从而找到一组合适的权值；梯度下降算法如下：
其中α代表的是学习率常数；
步骤 S33：模型测试：在深度神经网络模型训练完成之后，评价指标定量地评价模型在测试集上的识别效果，评价指标包括TPVF、PPV、DSC、JSC，其定义如下：
其中VS与VG 分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目。
在步骤S33中，评价指标还包括sensitivity、F-1 score、precision，其定义如下：
其中
、
、
、
分别代表真阳数，假阳数，假阴数，真阴数。
在步骤S3中，训练基于深度神经网络的级联网络模型时，损失函数为：
其中M是用于过滤掉低置信度噪声标签的蒙版，
是用来平衡比例的超参数，
；L1、L2分别是第一神经网络、第二神经网络的交叉熵损失函数，Lr是精炼网络的交叉熵损失函数，且该交叉熵损失函数定义为：
其中，
是样本数，
是类别数量，
是标签，
是网络输出的预测概率。
一种基于深度神经网络的骨显像骨病灶分割系统，包括：
图像获取与标注模块，用于获取骨显像图像，并对骨显像图像进行标注处理；
网络模型构建模块，用于构建基于深度神经网络的级联网络模型；
构建包括第一神经网络、第二神经网络以及精炼网络的基于深度神经网络的级联网络模型；第一神经网络、第二神经网络为并列设置的、独立的、不存在共享权重的神经网络，骨显像图像作为第一神经网络的输入，并输出骨病灶第一分割结果；骨显像图像作为第二神经网络的输入，并输出骨病灶第二分割结果；骨显像图像、骨病灶第一分割结果、骨病灶第二分割结果作为精炼网络的输入，输出精炼后的分割结果；
精炼网络中，计算骨病灶第一分割结果、骨病灶第二分割结果的DSC指标，将DSC指标高于阈值的骨病灶分割结果定义为第一阶段的可靠病灶分割结果；基于输入的第一阶段的可靠病灶分割结果和骨显像图像，提取在第一神经网络、第二神经网络难以辨别的病灶，输出精炼后的分割结果；
DSC指标计算公式为：
其中，
与
分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目；
网络模型训练模块，用于训练基于深度神经网络的级联网络模型；
利用网络模型构建模块获取的骨显像图像、标注后的骨显像图像对网络模型构建模块构建的基于深度神经网络的级联网络模型进行训练；
病灶分割模块，用于骨病灶分割；
利用训练好的基于深度神经网络的级联网络模型对待测对象的骨显像中的股病灶进行分割，得到骨病灶分割结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述的一种基于深度神经网络的骨显像骨病灶分割方法的步骤。
本发明的有益效果如下：
1、本发明提供了一种基于深度神经网络的级联网络模型，通过对该网络模型进行训练，训练完成后的网络模型能够实现骨病灶的自动分割，即通过输入全身骨显像图像即可获得骨病灶分割结果，无需医生对股病灶进行提取、定位以及定性，人为参与度更低，更加人工智能，大大提高了从骨显像中分割骨病灶时的分割效率，提高了分割效果。
2、本发明中，采用双路径架构，即采用两个独立的并不存在共享权重的神经网络，将两个神经网络并行输出的分割结果替代单次分割结果，可一次增强网络模型的稳定性；采用级联的训练方式替换原有的通过投票的方式直接合并并得到结果的方式，将两个神经网络并行的输出以及原始输入在通道上合并输入到精炼网络中，得到精炼后的分割结果，由此可解决因骨显像本身弥散特性带来的标签噪声大的问题。
3、基于骨显像本身的弥散特性，因而神经网络的输入为高噪声输入，而基于该高噪声输入得到的输出对网络模型进行训练时是存在不利的，而这些数据舍弃也将会造成浪费（毕竟这些医学影像的收集、标注都花费了大量的时间）；为此，本方案中需要计算两个神经网络输出的一致性，对于输出的每个病灶分割结果使用DSC作为一致性评价指标，通过这种方式对噪声样本进行加权，只使用高置信度的部分进行训练，能够有效利用噪声样本中的信息，减少因骨显像本身弥散特性带来的标签噪声带来的影响。
附图说明
图1是本发明的结构示意图。
具体实施方式
实施例1
本实施例提供一种基于深度神经网络的骨显像骨病灶分割方法，其通过搭建一个网络模型，并对该网络模型进行训练，训练完成后的网络模型即可实现对骨病灶的自动分割。如图1所示，该分割方法具体包括以下步骤：
步骤S1，获取骨显像图像，并对骨显像图像进行标注处理；
网络模型需要对大量的数据以及数据标签进行学习，才能构建出一个从全身骨显像到骨病灶分割结果的可靠映射。
骨显像图像的获取，直接从医院系统获取由专业核医学技师操作并成像的全身骨显像图像；
骨显像图像的标注，由低年资医生通过3DSlicer对于骨病灶区域进行勾画后，再由高年资医生对结果进行审核并纠正、产生；
针对获取到的骨显像图像，还需进行数据处理，该处理方式主要为数据增广，即对输入的骨显像图像根据窗宽窗位进行归一化操作，并进行随机翻转、平移、旋转，扩充训练样本的多样性，从而使模型学习到具有更强鲁棒性的特征，缓解模型的过拟合现象；
为了训练和测试神经网络，将经过处理后的数据集按照4:1分为训练集和测试集。
步骤S2，构建基于深度神经网络的级联网络模型；
本申请的处理对象是核医学图像，即骨显像，基于骨显像本身的弥散特性，很难勾画出很好的分割标签，训练数据含噪声成分较大。为此，本申请创新性提出并构建了一种基于双路径、级联架构基于深度神经网络的级联网络模型；
该基于深度神经网络的级联网络模型包括第一神经网络、第二神经网络以及精炼网络，本网络模型关键点不在于第一神经网络、第二神经网络以及精炼网络的特征提取能力，即采用现有的任何先进的分割网络模型作为骨架进行特征提取即可，比如第一神经网络、第二神经网络以及精炼网络的均可以采用Unet网络模型进行全身骨显像病灶的分割；第一神经网络、第二神经网络为并列设置的、独立的、不存在共享权重的神经网络，骨显像图像同时作为两个神经网络的输入，即骨显像图像作为第一神经网络的输入，并输出骨病灶第一分割结果；骨显像图像作为第二神经网络的输入，并输出骨病灶第二分割结果；骨显像图像、骨病灶第一分割结果、骨病灶第二分割结果作为精炼网络的输入，三者在通道上合并输入到精炼网络中，最后输出精炼后的分割结果；
在该精炼网络中，计算骨病灶第一分割结果、骨病灶第二分割结果的DSC指标，将DSC指标高于阈值的骨病灶分割结果定义为第一阶段的可靠病灶分割结果；基于输入的第一阶段的可靠病灶分割结果和骨显像图像，提取在第一神经网络、第二神经网络难以辨别的病灶，输出精炼后的分割结果；
在精炼网络中，对于第一神经网络、第二神经网络输出的每一个骨病灶分割结果使用DSC作为一致性的评价指标，DSC值高于阈值的将被保留，低于阈值的被舍弃；通过这种方式，对噪声样本计算的loss进行加权，只使用高置信度部分进行训练，这样能够有效地利用噪声样本中的信息。
该DSC指标计算公式为：
其中，
与
分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目。
步骤S3，训练基于深度神经网络的级联网络模型；
利用步骤S1获取的骨显像图像、标注后的骨显像图像对步骤S2构建的基于深度神经网络的级联网络模型进行训练；
在训练级联网络模型时，训练包括：
步骤S31，前向计算；
对一个
层的前馈神经网络，设其训练样本集合为
，其中，
为单个样本的维度，
表示训练样本的个数，那么，第
个样本可表示为
；设第
层的第
个神经元到
层的第
个神经元连接权值记为
，那么，第
层到
层的连接权值矩阵
，设第
层上神经元的激活函数为
，从输入层到输出层，不断进行前向计算，其过程为：
其中，
表示第
层神经元的激活值，那么，网络输出层神经元的激活值为：
最后一层的网络输出为设计性能函数
，设计性能函数:
步骤 S32，权值更新；
神经网络采用交叉熵作为分类或分割任务的目标函数，其定义如下：
其中，
与
分别代表网络最后一层的输出与标签；神经网络通过求目标函数J对于权值的梯度，并迭代采用梯度下降算法，即可不断减小目标函数的值，从而找到一组合适的权值；梯度下降算法如下：
其中α代表的是学习率常数；
步骤 S33：模型测试：在深度神经网络模型训练完成之后，评价指标定量地评价模型在测试集上的识别效果，评价指标包括TPVF、PPV、DSC、JSC，其定义如下：
其中VS与VG 分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目；
在步骤S33中，评价指标还包括sensitivity、F-1 score、precision，其定义如下：
其中
、
、
、
分别代表真阳数，假阳数，假阴数，真阴数。
在步骤S3中，训练基于深度神经网络的级联网络模型时，其损失函数为：
其中M是用于过滤掉低置信度噪声标签的蒙版，
是用来平衡比例的超参数，
；L1、L2分别是第一神经网络、第二神经网络的交叉熵损失函数，Lr是精炼网络的交叉熵损失函数，且该交叉熵损失函数定义为：
其中，
是样本数，
是类别数量，
是标签，
是网络输出的预测概率。
步骤S4，骨病灶分割；
利用训练好的基于深度神经网络的级联网络模型对待测对象的骨显像中的股病灶进行分割，得到骨病灶分割结果。
实施例2
本实施例提供一种基于深度神经网络的骨显像骨病灶分割系统，其通过搭建一个网络模型，并对该网络模型进行训练，训练完成后的网络模型即可实现对骨病灶的自动分割。该分割系统包括：
图像获取与标注模块，用于获取骨显像图像，并对骨显像图像进行标注处理；
网络模型构建模块，用于构建基于深度神经网络的级联网络模型；
构建包括第一神经网络、第二神经网络以及精炼网络的基于深度神经网络的级联网络模型；第一神经网络、第二神经网络为并列设置的、独立的、不存在共享权重的神经网络，骨显像图像作为第一神经网络的输入，并输出骨病灶第一分割结果；骨显像图像作为第二神经网络的输入，并输出骨病灶第二分割结果；骨显像图像、骨病灶第一分割结果、骨病灶第二分割结果作为精炼网络的输入，输出精炼后的分割结果；
精炼网络中，计算骨病灶第一分割结果、骨病灶第二分割结果的DSC指标，将DSC指标高于阈值的骨病灶分割结果定义为第一阶段的可靠病灶分割结果；基于输入的第一阶段的可靠病灶分割结果和骨显像图像，提取在第一神经网络、第二神经网络难以辨别的病灶，输出精炼后的分割结果；
DSC指标计算公式为：
其中，
与
分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目；
网络模型训练模块，用于训练基于深度神经网络的级联网络模型；
利用网络模型构建模块获取的骨显像图像、标注后的骨显像图像对网络模型构建模块构建的基于深度神经网络的级联网络模型进行训练；
病灶分割模块，用于骨病灶分割；
利用训练好的基于深度神经网络的级联网络模型对待测对象的骨显像中的股病灶进行分割，得到骨病灶分割结果。
实施例3
本实施例提供一种计算机设备，其包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现实施例1所述的一种基于深度神经网络的骨显像骨病灶分割方法的步骤。
实施例4
本实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的一种基于深度神经网络的骨显像骨病灶分割方法的步骤。
Claims (7)
1.一种基于深度神经网络的骨显像骨病灶分割方法，其特征在于，包括：
步骤S1，获取骨显像图像，并对骨显像图像进行标注处理；
步骤S2，构建基于深度神经网络的级联网络模型；
构建包括第一神经网络、第二神经网络以及精炼网络的基于深度神经网络的级联网络模型；第一神经网络、第二神经网络为并列设置的、独立的、不存在共享权重的神经网络，骨显像图像作为第一神经网络的输入，并输出骨病灶第一分割结果；骨显像图像作为第二神经网络的输入，并输出骨病灶第二分割结果；骨显像图像、骨病灶第一分割结果、骨病灶第二分割结果作为精炼网络的输入，输出精炼后的分割结果；
精炼网络中，计算骨病灶第一分割结果、骨病灶第二分割结果的DSC指标，将DSC指标高于阈值的骨病灶分割结果定义为第一阶段的可靠病灶分割结果；基于输入的第一阶段的可靠病灶分割结果和骨显像图像，提取在第一神经网络、第二神经网络难以辨别的病灶，输出精炼后的分割结果；
DSC指标计算公式为：
其中，
与
分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目；
步骤S3，训练基于深度神经网络的级联网络模型；
利用步骤S1获取的骨显像图像、标注后的骨显像图像对步骤S2构建的基于深度神经网络的级联网络模型进行训练；
步骤S4，骨病灶分割；
利用训练好的基于深度神经网络的级联网络模型对待测对象的骨显像中的股病灶进行分割，得到骨病灶分割结果。
2.如权利要求1所述的一种基于深度神经网络的骨显像骨病灶分割方法，其特征在于：步骤S1中，对获取的骨显像图像进行数据增广处理，数据增广处理方式包括随机翻转、平移、旋转；
数据增广后的骨显像图像以及标注后的骨显像图像按照4:1分为训练集和测试集。
3.如权利要求1所述的一种基于深度神经网络的骨显像骨病灶分割方法，其特征在于，步骤S3中，基于深度神经网络的级联网络模型的训练包括：
步骤S31，前向计算；
对一个
层的前馈神经网络，设其训练样本集合为
，其中，
为单个样本的维度，
表示训练样本的个数，那么，第
个样本可表示为
；设第
层的第
个神经元到
层的第
个神经元连接权值记为
，那么，第
层到
层的连接权值矩阵
，设第
层上神经元的激活函数为
，从输入层到输出层，不断进行前向计算，其过程为：
其中，
表示第
层神经元的激活值，那么，网络输出层神经元的激活值为：
最后一层的网络输出为设计性能函数
，设计性能函数:
步骤S32，权值更新；
神经网络采用交叉熵作为分类或分割任务的目标函数，其定义如下：
其中，
与
分别代表网络最后一层的输出与标签；神经网络通过求目标函数J对于权值的梯度，并迭代采用梯度下降算法，即可不断减小目标函数的值，从而找到一组合适的权值；梯度下降算法如下：
其中α代表的是学习率常数；
步骤S33：模型测试：在深度神经网络模型训练完成之后，评价指标定量地评价模型在测试集上的识别效果，评价指标包括TPVF、PPV、DSC、JSC，其定义如下：
其中VS与VG 分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目。
4.如权利要求3所述的一种基于深度神经网络的骨显像骨病灶分割方法，其特征在于，步骤S33中，评价指标还包括sensitivity、F-1 score、precision，其定义如下：
其中
、
、
、
分别代表真阳数，假阳数，假阴数，真阴数。
5.如权利要求1所述的一种基于深度神经网络的骨显像骨病灶分割方法，其特征在于，步骤S3中，训练基于深度神经网络的级联网络模型时，损失函数为：
其中M是用于过滤掉低置信度噪声标签的蒙版，
是用来平衡比例的超参数，
；L1、L2分别是第一神经网络、第二神经网络的交叉熵损失函数，Lr是精炼网络的交叉熵损失函数，且该交叉熵损失函数定义为：
其中，
是样本数，
是类别数量，
是标签，
是网络输出的预测概率。
6.一种基于深度神经网络的骨显像骨病灶分割系统，其特征在于，包括：
图像获取与标注模块，用于获取骨显像图像，并对骨显像图像进行标注处理；
网络模型构建模块，用于构建基于深度神经网络的级联网络模型；
构建包括第一神经网络、第二神经网络以及精炼网络的基于深度神经网络的级联网络模型；第一神经网络、第二神经网络为并列设置的、独立的、不存在共享权重的神经网络，骨显像图像作为第一神经网络的输入，并输出骨病灶第一分割结果；骨显像图像作为第二神经网络的输入，并输出骨病灶第二分割结果；骨显像图像、骨病灶第一分割结果、骨病灶第二分割结果作为精炼网络的输入，输出精炼后的分割结果；
精炼网络中，计算骨病灶第一分割结果、骨病灶第二分割结果的DSC指标，将DSC指标高于阈值的骨病灶分割结果定义为第一阶段的可靠病灶分割结果；基于输入的第一阶段的可靠病灶分割结果和骨显像图像，提取在第一神经网络、第二神经网络难以辨别的病灶，输出精炼后的分割结果；
DSC指标计算公式为：
其中，
与
分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目；
网络模型训练模块，用于训练基于深度神经网络的级联网络模型；
利用网络模型构建模块获取的骨显像图像、标注后的骨显像图像对网络模型构建模块构建的基于深度神经网络的级联网络模型进行训练；
病灶分割模块，用于骨病灶分割；
利用训练好的基于深度神经网络的级联网络模型对待测对象的骨显像中的股病灶进行分割，得到骨病灶分割结果。
7.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的一种基于深度神经网络的骨显像骨病灶分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210941269.4A CN115019049B (zh) | 2022-08-08 | 2022-08-08 | 基于深度神经网络的骨显像骨病灶分割方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210941269.4A CN115019049B (zh) | 2022-08-08 | 2022-08-08 | 基于深度神经网络的骨显像骨病灶分割方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115019049A true CN115019049A (zh) | 2022-09-06 |
| CN115019049B CN115019049B (zh) | 2022-12-16 |
Family
ID=83066074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210941269.4A Active CN115019049B (zh) | 2022-08-08 | 2022-08-08 | 基于深度神经网络的骨显像骨病灶分割方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115019049B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115261963A (zh) * | 2022-09-27 | 2022-11-01 | 南通如东依航电子研发有限公司 | 一种用于pcb板深镀能力提高的方法 |
| CN116188469A (zh) * | 2023-04-28 | 2023-05-30 | 之江实验室 | 一种病灶检测方法、装置、可读存储介质及电子设备 |
| CN117036376A (zh) * | 2023-10-10 | 2023-11-10 | 四川大学 | 基于人工智能的病变图像分割方法、装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035263A (zh) * | 2018-08-14 | 2018-12-18 | 电子科技大学 | 基于卷积神经网络的脑肿瘤图像自动分割方法 |
| US20190236394A1 (en) * | 2015-11-18 | 2019-08-01 | Adobe Inc. | Utilizing interactive deep learning to select objects in digital visual media |
| CN110555856A (zh) * | 2019-09-09 | 2019-12-10 | 成都智能迭迦科技合伙企业(有限合伙) | 一种基于深度神经网络的黄斑水肿病变区域分割方法 |
| CN112102339A (zh) * | 2020-09-21 | 2020-12-18 | 四川大学 | 一种基于图集配准的全身骨显像骨骼分割方法 |
| CN112308853A (zh) * | 2020-10-20 | 2021-02-02 | 平安科技（深圳）有限公司 | 电子设备、医学图像指标生成方法、装置及存储介质 |
| CN114037072A (zh) * | 2021-10-11 | 2022-02-11 | 浙江大华技术股份有限公司 | 一种神经网络优化的方法及设备 |
-
2022
- 2022-08-08 CN CN202210941269.4A patent/CN115019049B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190236394A1 (en) * | 2015-11-18 | 2019-08-01 | Adobe Inc. | Utilizing interactive deep learning to select objects in digital visual media |
| CN109035263A (zh) * | 2018-08-14 | 2018-12-18 | 电子科技大学 | 基于卷积神经网络的脑肿瘤图像自动分割方法 |
| CN110555856A (zh) * | 2019-09-09 | 2019-12-10 | 成都智能迭迦科技合伙企业(有限合伙) | 一种基于深度神经网络的黄斑水肿病变区域分割方法 |
| CN112102339A (zh) * | 2020-09-21 | 2020-12-18 | 四川大学 | 一种基于图集配准的全身骨显像骨骼分割方法 |
| CN112308853A (zh) * | 2020-10-20 | 2021-02-02 | 平安科技（深圳）有限公司 | 电子设备、医学图像指标生成方法、装置及存储介质 |
| CN114037072A (zh) * | 2021-10-11 | 2022-02-11 | 浙江大华技术股份有限公司 | 一种神经网络优化的方法及设备 |
Non-Patent Citations (6)
| Title |
|---|
| HUANCHEN等: "Harnessing 2D Networks and 3D Features for Automated Pancreas Segmentation from Volumetric CT Images", 《MEDICAL IMAGE COMPUTING AND COMPUTER ASSISTED INTERVENTION – MICCAI 2019》 * |
| 张战胜: "基于高斯混合模型低对比度SPECT图像分割算法的研究", 《中国医学工程》 * |
| 张雪芹等: "基于判别关键域和深度学习的植物图像分类", 《计算机工程与设计》 * |
| 彭超: "基于深度学习的图像语义分割研究与应用", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
| 陈彤: "基于改进深度学习的乳腺癌医学影像检测方法", 《现代计算机》 * |
| 鲁宁等: "一种高精度、低开销的单包溯源方法", 《软件学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115261963A (zh) * | 2022-09-27 | 2022-11-01 | 南通如东依航电子研发有限公司 | 一种用于pcb板深镀能力提高的方法 |
| CN116188469A (zh) * | 2023-04-28 | 2023-05-30 | 之江实验室 | 一种病灶检测方法、装置、可读存储介质及电子设备 |
| CN117036376A (zh) * | 2023-10-10 | 2023-11-10 | 四川大学 | 基于人工智能的病变图像分割方法、装置及存储介质 |
| CN117036376B (zh) * | 2023-10-10 | 2024-01-30 | 四川大学 | 基于人工智能的病变图像分割方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115019049B (zh) | 2022-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115019049B (zh) | 基于深度神经网络的骨显像骨病灶分割方法、系统及设备 | |
| CN108898595B (zh) | 一种胸部图像中病灶区域的定位模型的构建方法及应用 | |
| CN110288597B (zh) | 基于注意力机制的无线胶囊内窥镜视频显著性检测方法 | |
| CN108464840B (zh) | 一种乳腺肿块自动检测方法及系统 | |
| CN112529894B (zh) | 一种基于深度学习网络的甲状腺结节的诊断方法 | |
| CN118674677A (zh) | 一种胃癌图像识别模型的构建方法及其应用 | |
| CN109523535B (zh) | 一种病变图像的预处理方法 | |
| CN106033540B (zh) | 一种阴道微生态形态学自动分析方法和系统 | |
| CN113516210B (zh) | 一种基于pet/ct的肺腺癌鳞癌诊断模型训练方法及装置 | |
| CN115345819A (zh) | 一种胃癌图像识别系统、装置及其应用 | |
| CN112102256A (zh) | 面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统 | |
| CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
| CN113284149B (zh) | Covid-19胸部ct图像识别方法、装置及电子设备 | |
| Mei et al. | YOLO-lung: A practical detector based on imporved YOLOv4 for Pulmonary Nodule Detection | |
| CN112419246B (zh) | 量化食管粘膜IPCLs血管形态分布的深度检测网络 | |
| CN114757942A (zh) | 一种基于深度学习的多层螺旋ct对活动性肺结核的检测方法 | |
| Sun et al. | Liver tumor segmentation and subsequent risk prediction based on Deeplabv3+ | |
| Vasconcelos et al. | A new risk assessment methodology for dermoscopic skin lesion images | |
| Li et al. | MVDI25K: A large-scale dataset of microscopic vaginal discharge images | |
| Tang et al. | CNN-based automatic detection of bone conditions via diagnostic CT images for osteoporosis screening | |
| Xiong et al. | Deep Ensemble Learning Network for Kidney Lesion Detection | |
| Wan et al. | Recognition of Cheating Behavior in Examination Room Based on Deep Learning | |
| Saglam et al. | COVID-19 Detection from X-ray Images Using a New CNN Approach | |
| Zhang et al. | A deep learning approach for basal cell carcinomas and Bowen’s disease recognition in dermatopathology image | |
| Shetty et al. | Self-Sequential Attention Layer based DenseNet for Thoracic Diseases Detection. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |