CN115019049B - 基于深度神经网络的骨显像骨病灶分割方法、系统及设备 - Google Patents

基于深度神经网络的骨显像骨病灶分割方法、系统及设备 Download PDF

Info

Publication number
CN115019049B
CN115019049B CN202210941269.4A CN202210941269A CN115019049B CN 115019049 B CN115019049 B CN 115019049B CN 202210941269 A CN202210941269 A CN 202210941269A CN 115019049 B CN115019049 B CN 115019049B
Authority
CN
China
Prior art keywords
bone
neural network
network
segmentation result
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210941269.4A
Other languages
English (en)
Other versions
CN115019049A (zh
Inventor
章毅
李林
皮勇
蔡华伟
魏建安
赵祯
蒋丽莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202210941269.4A priority Critical patent/CN115019049B/zh
Publication of CN115019049A publication Critical patent/CN115019049A/zh
Application granted granted Critical
Publication of CN115019049B publication Critical patent/CN115019049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度神经网络的骨显像骨病灶分割方法、系统及设备，其目的在于解决现有技术在分割骨显像中的骨病灶时存在的骨显像本身弥散特性带来的标签噪声大的问题。其通过构建一个包括精炼网络和两个神经网络的级联网络模型，并在精炼网络中通过计算骨病灶第一分割结果、骨病灶第二分割结果的DSC指标，将DSC指标高于阈值的骨病灶分割结果定义为第一阶段的可靠病灶分割结果，并提取在第一神经网络、第二神经网络难以辨别的病灶，输出精炼后的分割结果。本发明通过计算两个神经网络输出的一致性，并将每个病灶分割结果使用DSC作为一致性评价指标，能够有效利用噪声样本中的信息，减少因骨显像本身弥散特性带来的标签噪声带来的影响。

Description

基于深度神经网络的骨显像骨病灶分割方法、系统及设备
技术领域
本发明涉及图像处理技术领域，涉及一种骨图像病灶的分割处理，更具体的是涉及一种基于神经网络对骨图像进行病灶分割的方法。
背景技术
晚期恶性肿瘤，如乳腺癌、前列腺癌、肺癌，经常发生骨转移。因此，骨转移的早期发现对于选择治疗策略，获得更好的总生存期和改善患者的生活质量具有重要意义。最新的全国调查报告显示，中国每年进行的骨骼扫描超过115万次，这给核医学医生带来了巨大的工作量。
现有技术中，基于99mTc-MDP的骨闪烁显像是诊断癌症患者骨转移最常用的技术之一，因为它具有全身检测和高灵敏度的优点。而对于全身骨显像骨骼的定位，现常采用三种检查：MRI检查、CT检查、SPECT全身骨显像检查。由于SPECT具有良好的敏感性和全面性，其是我国目前在骨转移诊断领域的主要检查手段。这里只谈最常用的SPECT全身骨显像检查，即由专业医师对于每一次检查的图像数据报告骨病灶位置和性质。目前，在部分医疗条件较好的医院，对可能患有癌症的患者，通常的方法是用专业设备采集前、后位两张全身显像图像，在完成全身骨显像图像数据采集后，由专业放射技师对前后位两张图像进行读图定位。
但是，在骨转移的诊断过程中也是困难重重，主要体现在以下方面：第一，骨显像图像的分辨率有限，使得解译工作依赖经验，存在主观性、误差明显、效率不高等缺点；第二，医生需要对骨病灶进行提取、定位、定性，这个过程不仅消耗时间，同时也对操作医师的资质提出了很高的要求，在实际临床场景中，该机械重复的过程是主要的人力消耗。除此之外，由于骨显像本身的成像特点，在长时间机械工作下骨病灶容易出现漏检的问题。
综上，一个能实现自动分割骨病灶的算法对骨转移检测的临床工作来说十分有必要，只需要将骨显像输入算法中即可识别，自动分割骨显像中的骨病灶，从而帮助医生更快更好地进行诊断。另外，骨图像（即骨显像）作为核医学图像之一，其重要特点在于显像成像本身弥散的特性，很难勾画出很好的分割标签，这就造成训练数据中标签含噪声成分较大，对后续的利用算法进行自动分割骨显像中的骨病灶的精度、效果构成影响。
发明内容
本发明的目的在于：为了解决现有技术在分割骨显像中的骨病灶时存在的因骨显像本身弥散特性带来的标签噪声大的问题，本发明提供一种基于深度神经网络的骨显像骨病灶分割方法。
本发明为了实现上述目的具体采用以下技术方案：
一种基于深度神经网络的骨显像骨病灶分割方法，包括：
步骤S1，获取骨显像图像，并对骨显像图像进行标注处理；
步骤S2，构建基于深度神经网络的级联网络模型；
构建包括第一神经网络、第二神经网络以及精炼网络的基于深度神经网络的级联网络模型；第一神经网络、第二神经网络为并列设置的、独立的、不存在共享权重的神经网络，骨显像图像作为第一神经网络的输入，并输出骨病灶第一分割结果；骨显像图像作为第二神经网络的输入，并输出骨病灶第二分割结果；骨显像图像、骨病灶第一分割结果、骨病灶第二分割结果作为精炼网络的输入，输出精炼后的分割结果；
精炼网络中，计算骨病灶第一分割结果、骨病灶第二分割结果的DSC指标，将DSC指标高于阈值的骨病灶分割结果定义为第一阶段的可靠病灶分割结果；基于输入的第一阶段的可靠病灶分割结果和骨显像图像，提取在第一神经网络、第二神经网络难以辨别的病灶，输出精炼后的分割结果；
DSC指标计算公式为：
Figure 499920DEST_PATH_IMAGE001
其中，
Figure 948219DEST_PATH_IMAGE002
与
Figure 9847DEST_PATH_IMAGE003
分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目；
步骤S3，训练基于深度神经网络的级联网络模型；
利用步骤S1获取的骨显像图像、标注后的骨显像图像对步骤S2构建的基于深度神经网络的级联网络模型进行训练；
步骤S4，骨病灶分割；
利用训练好的基于深度神经网络的级联网络模型对待测对象的骨显像中的股病灶进行分割，得到骨病灶分割结果。
在步骤S1中，对获取的骨显像图像进行数据增广处理，数据增广处理方式包括随机翻转、平移、旋转；
数据增广后的骨显像图像以及标注后的骨显像图像按照4:1分为训练集和测试集。
在步骤S3中，基于深度神经网络的级联网络模型的训练包括：
步骤S31，前向计算；
对一个
Figure 732952DEST_PATH_IMAGE004
层的前馈神经网络，设其训练样本集合为
Figure 812904DEST_PATH_IMAGE005
，其中，
Figure 212530DEST_PATH_IMAGE006
为单个样本的维度，
Figure 10722DEST_PATH_IMAGE007
表示训练样本的个数，那么，第
Figure 22671DEST_PATH_IMAGE008
个样本可表示为
Figure 222708DEST_PATH_IMAGE009
；设第
Figure 950493DEST_PATH_IMAGE010
层的第
Figure 235981DEST_PATH_IMAGE011
个神经元到
Figure 504151DEST_PATH_IMAGE012
层的第
Figure 604700DEST_PATH_IMAGE013
个神经元连接权值记为
Figure 300124DEST_PATH_IMAGE014
，那么，第
Figure 354798DEST_PATH_IMAGE015
层到
Figure 161080DEST_PATH_IMAGE012
层的连接权值矩阵
Figure 335710DEST_PATH_IMAGE016
，设第
Figure 202035DEST_PATH_IMAGE010
层上神经元的激活函数为
Figure 976961DEST_PATH_IMAGE017
，从输入层到输出层，不断进行前向计算，其过程为：
Figure 586934DEST_PATH_IMAGE018
其中，
Figure 616070DEST_PATH_IMAGE019
表示第
Figure 918876DEST_PATH_IMAGE010
层神经元的激活值，那么，网络输出层神经元的激活值为：
Figure 151405DEST_PATH_IMAGE020
；
最后一层的网络输出为设计性能函数
Figure 299489DEST_PATH_IMAGE021
，设计性能函数:
Figure 979870DEST_PATH_IMAGE022
；
步骤 S32，权值更新；
神经网络采用交叉熵作为分类或分割任务的目标函数，其定义如下：
Figure 437265DEST_PATH_IMAGE023
其中，
Figure 203095DEST_PATH_IMAGE024
与
Figure 154871DEST_PATH_IMAGE025
分别代表网络最后一层的输出与标签；神经网络通过求目标函数J对于权值的梯度，并迭代采用梯度下降算法，即可不断减小目标函数的值，从而找到一组合适的权值；梯度下降算法如下：
Figure 909331DEST_PATH_IMAGE026
其中α代表的是学习率常数；
步骤 S33：模型测试：在深度神经网络模型训练完成之后，评价指标定量地评价模型在测试集上的识别效果，评价指标包括TPVF、PPV、DSC、JSC，其定义如下：
Figure 553939DEST_PATH_IMAGE027
其中VS与VG 分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目。
在步骤 S33中，评价指标还包括sensitivity、F-1 score、precision，其定义如下：
Figure 10328DEST_PATH_IMAGE028
其中
Figure 969057DEST_PATH_IMAGE029
、
Figure 607718DEST_PATH_IMAGE030
、
Figure 954385DEST_PATH_IMAGE031
、
Figure 179962DEST_PATH_IMAGE032
分别代表真阳数，假阳数，假阴数，真阴数。
在步骤S3中，训练基于深度神经网络的级联网络模型时，损失函数为：
Figure 739119DEST_PATH_IMAGE033
其中M是用于过滤掉低置信度噪声标签的蒙版，
Figure 451860DEST_PATH_IMAGE034
是用来平衡比例的超参数，
Figure 375954DEST_PATH_IMAGE035
；L1、L2分别是第一神经网络、第二神经网络的交叉熵损失函数，Lr是精炼网络的交叉熵损失函数，且该交叉熵损失函数定义为：
Figure 806935DEST_PATH_IMAGE036
其中，
Figure 153471DEST_PATH_IMAGE037
是样本数，
Figure 986298DEST_PATH_IMAGE038
是类别数量，
Figure 143610DEST_PATH_IMAGE039
是标签，
Figure 61888DEST_PATH_IMAGE040
是网络输出的预测概率。
一种基于深度神经网络的骨显像骨病灶分割系统，包括：
图像获取与标注模块，用于获取骨显像图像，并对骨显像图像进行标注处理；
网络模型构建模块，用于构建基于深度神经网络的级联网络模型；
构建包括第一神经网络、第二神经网络以及精炼网络的基于深度神经网络的级联网络模型；第一神经网络、第二神经网络为并列设置的、独立的、不存在共享权重的神经网络，骨显像图像作为第一神经网络的输入，并输出骨病灶第一分割结果；骨显像图像作为第二神经网络的输入，并输出骨病灶第二分割结果；骨显像图像、骨病灶第一分割结果、骨病灶第二分割结果作为精炼网络的输入，输出精炼后的分割结果；
精炼网络中，计算骨病灶第一分割结果、骨病灶第二分割结果的DSC指标，将DSC指标高于阈值的骨病灶分割结果定义为第一阶段的可靠病灶分割结果；基于输入的第一阶段的可靠病灶分割结果和骨显像图像，提取在第一神经网络、第二神经网络难以辨别的病灶，输出精炼后的分割结果；
DSC指标计算公式为：
Figure 713580DEST_PATH_IMAGE001
其中，
Figure 869755DEST_PATH_IMAGE002
与
Figure 994706DEST_PATH_IMAGE003
分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目；
网络模型训练模块，用于训练基于深度神经网络的级联网络模型；
利用网络模型构建模块获取的骨显像图像、标注后的骨显像图像对网络模型构建模块构建的基于深度神经网络的级联网络模型进行训练；
病灶分割模块，用于骨病灶分割；
利用训练好的基于深度神经网络的级联网络模型对待测对象的骨显像中的股病灶进行分割，得到骨病灶分割结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述的一种基于深度神经网络的骨显像骨病灶分割方法的步骤。
本发明的有益效果如下：
1、本发明提供了一种基于深度神经网络的级联网络模型，通过对该网络模型进行训练，训练完成后的网络模型能够实现骨病灶的自动分割，即通过输入全身骨显像图像即可获得骨病灶分割结果，无需医生对股病灶进行提取、定位以及定性，人为参与度更低，更加人工智能，大大提高了从骨显像中分割骨病灶时的分割效率，提高了分割效果。
2、本发明中，采用双路径架构，即采用两个独立的并不存在共享权重的神经网络，将两个神经网络并行输出的分割结果替代单次分割结果，可一次增强网络模型的稳定性；采用级联的训练方式替换原有的通过投票的方式直接合并并得到结果的方式，将两个神经网络并行的输出以及原始输入在通道上合并输入到精炼网络中，得到精炼后的分割结果，由此可解决因骨显像本身弥散特性带来的标签噪声大的问题。
3、基于骨显像本身的弥散特性，因而神经网络的输入为高噪声输入，而基于该高噪声输入得到的输出对网络模型进行训练时是存在不利的，而这些数据舍弃也将会造成浪费（毕竟这些医学影像的收集、标注都花费了大量的时间）；为此，本方案中需要计算两个神经网络输出的一致性，对于输出的每个病灶分割结果使用DSC作为一致性评价指标，通过这种方式对噪声样本进行加权，只使用高置信度的部分进行训练，能够有效利用噪声样本中的信息，减少因骨显像本身弥散特性带来的标签噪声带来的影响。
附图说明
图1是本发明的结构示意图。
具体实施方式
实施例1
本实施例提供一种基于深度神经网络的骨显像骨病灶分割方法，其通过搭建一个网络模型，并对该网络模型进行训练，训练完成后的网络模型即可实现对骨病灶的自动分割。如图1所示，该分割方法具体包括以下步骤：
步骤S1，获取骨显像图像，并对骨显像图像进行标注处理；
网络模型需要对大量的数据以及数据标签进行学习，才能构建出一个从全身骨显像到骨病灶分割结果的可靠映射。
骨显像图像的获取，直接从医院系统获取由专业核医学技师操作并成像的全身骨显像图像；
骨显像图像的标注，由低年资医生通过3DSlicer对于骨病灶区域进行勾画后，再由高年资医生对结果进行审核并纠正、产生；
针对获取到的骨显像图像，还需进行数据处理，该处理方式主要为数据增广，即对输入的骨显像图像根据窗宽窗位进行归一化操作，并进行随机翻转、平移、旋转，扩充训练样本的多样性，从而使模型学习到具有更强鲁棒性的特征，缓解模型的过拟合现象；
为了训练和测试神经网络，将经过处理后的数据集按照4:1分为训练集和测试集。
步骤S2，构建基于深度神经网络的级联网络模型；
本申请的处理对象是核医学图像，即骨显像，基于骨显像本身的弥散特性，很难勾画出很好的分割标签，训练数据含噪声成分较大。为此，本申请创新性提出并构建了一种基于双路径、级联架构基于深度神经网络的级联网络模型；
该基于深度神经网络的级联网络模型包括第一神经网络、第二神经网络以及精炼网络，本网络模型关键点不在于第一神经网络、第二神经网络以及精炼网络的特征提取能力，即采用现有的任何先进的分割网络模型作为骨架进行特征提取即可，比如第一神经网络、第二神经网络以及精炼网络的均可以采用Unet网络模型进行全身骨显像病灶的分割；第一神经网络、第二神经网络为并列设置的、独立的、不存在共享权重的神经网络，骨显像图像同时作为两个神经网络的输入，即骨显像图像作为第一神经网络的输入，并输出骨病灶第一分割结果；骨显像图像作为第二神经网络的输入，并输出骨病灶第二分割结果；骨显像图像、骨病灶第一分割结果、骨病灶第二分割结果作为精炼网络的输入，三者在通道上合并输入到精炼网络中，最后输出精炼后的分割结果；
在该精炼网络中，计算骨病灶第一分割结果、骨病灶第二分割结果的DSC指标，将DSC指标高于阈值的骨病灶分割结果定义为第一阶段的可靠病灶分割结果；基于输入的第一阶段的可靠病灶分割结果和骨显像图像，提取在第一神经网络、第二神经网络难以辨别的病灶，输出精炼后的分割结果；
在精炼网络中，对于第一神经网络、第二神经网络输出的每一个骨病灶分割结果使用DSC作为一致性的评价指标，DSC值高于阈值的将被保留，低于阈值的被舍弃；通过这种方式，对噪声样本计算的loss进行加权，只使用高置信度部分进行训练，这样能够有效地利用噪声样本中的信息。
该DSC指标计算公式为：
Figure 383967DEST_PATH_IMAGE001
其中，
Figure 823039DEST_PATH_IMAGE002
与
Figure 161617DEST_PATH_IMAGE003
分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目。
步骤S3，训练基于深度神经网络的级联网络模型；
利用步骤S1获取的骨显像图像、标注后的骨显像图像对步骤S2构建的基于深度神经网络的级联网络模型进行训练；
在训练级联网络模型时，训练包括：
步骤S31，前向计算；
对一个
Figure 411463DEST_PATH_IMAGE004
层的前馈神经网络，设其训练样本集合为
Figure 242016DEST_PATH_IMAGE005
，其中，
Figure 484779DEST_PATH_IMAGE006
为单个样本的维度，
Figure 881125DEST_PATH_IMAGE007
表示训练样本的个数，那么，第
Figure 551141DEST_PATH_IMAGE008
个样本可表示为
Figure 938432DEST_PATH_IMAGE009
；设第
Figure 516044DEST_PATH_IMAGE010
层的第
Figure 766897DEST_PATH_IMAGE011
个神经元到
Figure 889705DEST_PATH_IMAGE012
层的第
Figure 491587DEST_PATH_IMAGE013
个神经元连接权值记为
Figure 341732DEST_PATH_IMAGE014
，那么，第
Figure 961938DEST_PATH_IMAGE015
层到
Figure 973756DEST_PATH_IMAGE012
层的连接权值矩阵
Figure 797356DEST_PATH_IMAGE016
，设第
Figure 185612DEST_PATH_IMAGE010
层上神经元的激活函数为
Figure 161789DEST_PATH_IMAGE017
，从输入层到输出层，不断进行前向计算，其过程为：
Figure 547771DEST_PATH_IMAGE018
其中，
Figure 124246DEST_PATH_IMAGE019
表示第
Figure 50614DEST_PATH_IMAGE010
层神经元的激活值，那么，网络输出层神经元的激活值为：
Figure 130565DEST_PATH_IMAGE020
；
最后一层的网络输出为设计性能函数
Figure 795771DEST_PATH_IMAGE021
，设计性能函数:
Figure 328383DEST_PATH_IMAGE022
；
步骤 S32，权值更新；
神经网络采用交叉熵作为分类或分割任务的目标函数，其定义如下：
Figure 605912DEST_PATH_IMAGE041
其中，
Figure 540370DEST_PATH_IMAGE024
与
Figure 330471DEST_PATH_IMAGE025
分别代表网络最后一层的输出与标签；神经网络通过求目标函数J对于权值的梯度，并迭代采用梯度下降算法，即可不断减小目标函数的值，从而找到一组合适的权值；梯度下降算法如下：
Figure 819221DEST_PATH_IMAGE026
其中α代表的是学习率常数；
步骤 S33：模型测试：在深度神经网络模型训练完成之后，评价指标定量地评价模型在测试集上的识别效果，评价指标包括TPVF、PPV、DSC、JSC，其定义如下：
Figure 87392DEST_PATH_IMAGE027
其中VS与VG 分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目；
在步骤 S33中，评价指标还包括sensitivity、F-1 score、precision，其定义如下：
Figure 391203DEST_PATH_IMAGE028
其中
Figure 352206DEST_PATH_IMAGE029
、
Figure 656148DEST_PATH_IMAGE030
、
Figure 478742DEST_PATH_IMAGE031
、
Figure 856633DEST_PATH_IMAGE032
分别代表真阳数，假阳数，假阴数，真阴数。
在步骤S3中，训练基于深度神经网络的级联网络模型时，其损失函数为：
Figure 722958DEST_PATH_IMAGE042
其中M是用于过滤掉低置信度噪声标签的蒙版，
Figure 983038DEST_PATH_IMAGE034
是用来平衡比例的超参数，
Figure 858590DEST_PATH_IMAGE035
；L1、L2分别是第一神经网络、第二神经网络的交叉熵损失函数，Lr是精炼网络的交叉熵损失函数，且该交叉熵损失函数定义为：
Figure 136994DEST_PATH_IMAGE036
其中，
Figure 174220DEST_PATH_IMAGE037
是样本数，
Figure 921596DEST_PATH_IMAGE038
是类别数量，
Figure 335260DEST_PATH_IMAGE039
是标签，
Figure 422165DEST_PATH_IMAGE040
是网络输出的预测概率。
步骤S4，骨病灶分割；
利用训练好的基于深度神经网络的级联网络模型对待测对象的骨显像中的股病灶进行分割，得到骨病灶分割结果。
实施例2
本实施例提供一种基于深度神经网络的骨显像骨病灶分割系统，其通过搭建一个网络模型，并对该网络模型进行训练，训练完成后的网络模型即可实现对骨病灶的自动分割。该分割系统包括：
图像获取与标注模块，用于获取骨显像图像，并对骨显像图像进行标注处理；
网络模型构建模块，用于构建基于深度神经网络的级联网络模型；
构建包括第一神经网络、第二神经网络以及精炼网络的基于深度神经网络的级联网络模型；第一神经网络、第二神经网络为并列设置的、独立的、不存在共享权重的神经网络，骨显像图像作为第一神经网络的输入，并输出骨病灶第一分割结果；骨显像图像作为第二神经网络的输入，并输出骨病灶第二分割结果；骨显像图像、骨病灶第一分割结果、骨病灶第二分割结果作为精炼网络的输入，输出精炼后的分割结果；
精炼网络中，计算骨病灶第一分割结果、骨病灶第二分割结果的DSC指标，将DSC指标高于阈值的骨病灶分割结果定义为第一阶段的可靠病灶分割结果；基于输入的第一阶段的可靠病灶分割结果和骨显像图像，提取在第一神经网络、第二神经网络难以辨别的病灶，输出精炼后的分割结果；
DSC指标计算公式为：
Figure 646604DEST_PATH_IMAGE001
其中，
Figure 615697DEST_PATH_IMAGE002
与
Figure 567472DEST_PATH_IMAGE003
分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目；
网络模型训练模块，用于训练基于深度神经网络的级联网络模型；
利用网络模型构建模块获取的骨显像图像、标注后的骨显像图像对网络模型构建模块构建的基于深度神经网络的级联网络模型进行训练；
病灶分割模块，用于骨病灶分割；
利用训练好的基于深度神经网络的级联网络模型对待测对象的骨显像中的股病灶进行分割，得到骨病灶分割结果。
实施例3
本实施例提供一种计算机设备，其包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现实施例1所述的一种基于深度神经网络的骨显像骨病灶分割方法的步骤。
实施例4
本实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的一种基于深度神经网络的骨显像骨病灶分割方法的步骤。

Claims (7)

1.一种基于深度神经网络的骨显像骨病灶分割方法，其特征在于，包括：
步骤S1，获取骨显像图像，并对骨显像图像进行标注处理；
步骤S2，构建基于深度神经网络的级联网络模型；
构建包括第一神经网络、第二神经网络以及精炼网络的基于深度神经网络的级联网络模型；第一神经网络、第二神经网络为并列设置的、独立的、不存在共享权重的神经网络，骨显像图像作为第一神经网络的输入，并输出骨病灶第一分割结果；骨显像图像作为第二神经网络的输入，并输出骨病灶第二分割结果；骨显像图像、骨病灶第一分割结果、骨病灶第二分割结果作为精炼网络的输入，输出精炼后的分割结果；
精炼网络中，计算骨病灶第一分割结果、骨病灶第二分割结果的DSC指标，将DSC指标高于阈值的骨病灶分割结果定义为第一阶段的可靠病灶分割结果；基于输入的第一阶段的可靠病灶分割结果和骨显像图像，提取在第一神经网络、第二神经网络难以辨别的病灶，输出精炼后的分割结果；
DSC指标计算公式为：
Figure 636109DEST_PATH_IMAGE001
其中，
Figure 525568DEST_PATH_IMAGE002
与
Figure 732558DEST_PATH_IMAGE003
分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目；
步骤S3，训练基于深度神经网络的级联网络模型；
利用步骤S1获取的骨显像图像、标注后的骨显像图像对步骤S2构建的基于深度神经网络的级联网络模型进行训练；
步骤S4，骨病灶分割；
利用训练好的基于深度神经网络的级联网络模型对待测对象的骨显像中的股病灶进行分割，得到骨病灶分割结果。
2.如权利要求1所述的一种基于深度神经网络的骨显像骨病灶分割方法，其特征在于：步骤S1中，对获取的骨显像图像进行数据增广处理，数据增广处理方式包括随机翻转、平移、旋转；
数据增广后的骨显像图像以及标注后的骨显像图像按照4:1分为训练集和测试集。
3.如权利要求1所述的一种基于深度神经网络的骨显像骨病灶分割方法，其特征在于，步骤S3中，基于深度神经网络的级联网络模型的训练包括：
步骤S31，前向计算；
对一个
Figure 49270DEST_PATH_IMAGE004
层的前馈神经网络，设其训练样本集合为
Figure 708921DEST_PATH_IMAGE005
，其中，
Figure 402071DEST_PATH_IMAGE006
为单个样本的维度，
Figure 932409DEST_PATH_IMAGE007
表示训练样本的个数，那么，第
Figure 685602DEST_PATH_IMAGE008
个样本可表示为
Figure 566970DEST_PATH_IMAGE009
；设第
Figure 55022DEST_PATH_IMAGE010
层的第
Figure 705446DEST_PATH_IMAGE011
个神经元到
Figure 363960DEST_PATH_IMAGE012
层的第
Figure 732625DEST_PATH_IMAGE013
个神经元连接权值记为
Figure 767577DEST_PATH_IMAGE014
，那么，第
Figure 803666DEST_PATH_IMAGE015
层到
Figure 633082DEST_PATH_IMAGE012
层的连接权值矩阵
Figure 223463DEST_PATH_IMAGE016
，设第
Figure 327685DEST_PATH_IMAGE010
层上神经元的激活函数为
Figure 687122DEST_PATH_IMAGE017
，从输入层到输出层，不断进行前向计算，其过程为：
Figure 953019DEST_PATH_IMAGE018
其中，
Figure 765117DEST_PATH_IMAGE019
表示第
Figure 407451DEST_PATH_IMAGE010
层神经元的激活值，那么，网络输出层神经元的激活值为：
Figure 886974DEST_PATH_IMAGE020
；
最后一层的网络输出为设计性能函数
Figure 323771DEST_PATH_IMAGE021
，设计性能函数:
Figure 888745DEST_PATH_IMAGE022
；
步骤 S32，权值更新；
神经网络采用交叉熵作为分类或分割任务的目标函数，其定义如下：
Figure 66261DEST_PATH_IMAGE023
其中，
Figure 400290DEST_PATH_IMAGE024
与
Figure 273568DEST_PATH_IMAGE025
分别代表网络最后一层的输出与标签；神经网络通过求目标函数J对于权值的梯度，并迭代采用梯度下降算法，即可不断减小目标函数的值，从而找到一组合适的权值；梯度下降算法如下：
Figure 325838DEST_PATH_IMAGE026
其中α代表的是学习率常数；
步骤 S33：模型测试：在深度神经网络模型训练完成之后，评价指标定量地评价模型在测试集上的识别效果，评价指标包括TPVF、PPV、DSC、JSC，其定义如下：
Figure 44395DEST_PATH_IMAGE027
其中VS与VG 分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目。
4.如权利要求3所述的一种基于深度神经网络的骨显像骨病灶分割方法，其特征在于，步骤 S33中，评价指标还包括sensitivity、F-1 score、precision，其定义如下：
Figure 498510DEST_PATH_IMAGE028
其中
Figure 277110DEST_PATH_IMAGE029
、
Figure 816676DEST_PATH_IMAGE030
、
Figure 338924DEST_PATH_IMAGE031
、
Figure 647546DEST_PATH_IMAGE032
分别代表真阳数，假阳数，假阴数，真阴数。
5.如权利要求1所述的一种基于深度神经网络的骨显像骨病灶分割方法，其特征在于，步骤S3中，训练基于深度神经网络的级联网络模型时，损失函数为：
Figure 597047DEST_PATH_IMAGE033
其中M是用于过滤掉低置信度噪声标签的蒙版，
Figure 358330DEST_PATH_IMAGE034
是用来平衡比例的超参数，
Figure 684269DEST_PATH_IMAGE035
；L1、L2分别是第一神经网络、第二神经网络的交叉熵损失函数，Lr是精炼网络的交叉熵损失函数，且该交叉熵损失函数定义为：
Figure 847397DEST_PATH_IMAGE036
其中，
Figure 967800DEST_PATH_IMAGE037
是样本数，
Figure 481958DEST_PATH_IMAGE038
是类别数量，
Figure 348938DEST_PATH_IMAGE039
是标签，
Figure 366573DEST_PATH_IMAGE040
是网络输出的预测概率。
6.一种基于深度神经网络的骨显像骨病灶分割系统，其特征在于，包括：
图像获取与标注模块，用于获取骨显像图像，并对骨显像图像进行标注处理；
网络模型构建模块，用于构建基于深度神经网络的级联网络模型；
构建包括第一神经网络、第二神经网络以及精炼网络的基于深度神经网络的级联网络模型；第一神经网络、第二神经网络为并列设置的、独立的、不存在共享权重的神经网络，骨显像图像作为第一神经网络的输入，并输出骨病灶第一分割结果；骨显像图像作为第二神经网络的输入，并输出骨病灶第二分割结果；骨显像图像、骨病灶第一分割结果、骨病灶第二分割结果作为精炼网络的输入，输出精炼后的分割结果；
精炼网络中，计算骨病灶第一分割结果、骨病灶第二分割结果的DSC指标，将DSC指标高于阈值的骨病灶分割结果定义为第一阶段的可靠病灶分割结果；基于输入的第一阶段的可靠病灶分割结果和骨显像图像，提取在第一神经网络、第二神经网络难以辨别的病灶，输出精炼后的分割结果；
DSC指标计算公式为：
Figure 923456DEST_PATH_IMAGE001
其中，
Figure 659331DEST_PATH_IMAGE002
与
Figure 327073DEST_PATH_IMAGE003
分别代表基于深度神经网络的级联网络模型预测的正样本像素数目与真实正样本像素数目；
网络模型训练模块，用于训练基于深度神经网络的级联网络模型；
利用网络模型构建模块获取的骨显像图像、标注后的骨显像图像对网络模型构建模块构建的基于深度神经网络的级联网络模型进行训练；
病灶分割模块，用于骨病灶分割；
利用训练好的基于深度神经网络的级联网络模型对待测对象的骨显像中的股病灶进行分割，得到骨病灶分割结果。
7.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的一种基于深度神经网络的骨显像骨病灶分割方法的步骤。
CN202210941269.4A 2022-08-08 2022-08-08 基于深度神经网络的骨显像骨病灶分割方法、系统及设备 Active CN115019049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210941269.4A CN115019049B (zh) 2022-08-08 2022-08-08 基于深度神经网络的骨显像骨病灶分割方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210941269.4A CN115019049B (zh) 2022-08-08 2022-08-08 基于深度神经网络的骨显像骨病灶分割方法、系统及设备

Publications (2)

Publication Number Publication Date
CN115019049A CN115019049A (zh) 2022-09-06
CN115019049B true CN115019049B (zh) 2022-12-16

Family

ID=83066074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210941269.4A Active CN115019049B (zh) 2022-08-08 2022-08-08 基于深度神经网络的骨显像骨病灶分割方法、系统及设备

Country Status (1)

Country Link
CN (1) CN115019049B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115261963A (zh) * 2022-09-27 2022-11-01 南通如东依航电子研发有限公司 一种用于pcb板深镀能力提高的方法
CN116188469A (zh) * 2023-04-28 2023-05-30 之江实验室 一种病灶检测方法、装置、可读存储介质及电子设备
CN117036376B (zh) * 2023-10-10 2024-01-30 四川大学 基于人工智能的病变图像分割方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035263A (zh) * 2018-08-14 2018-12-18 电子科技大学 基于卷积神经网络的脑肿瘤图像自动分割方法
CN110555856A (zh) * 2019-09-09 2019-12-10 成都智能迭迦科技合伙企业(有限合伙) 一种基于深度神经网络的黄斑水肿病变区域分割方法
CN112102339A (zh) * 2020-09-21 2020-12-18 四川大学 一种基于图集配准的全身骨显像骨骼分割方法
CN112308853A (zh) * 2020-10-20 2021-02-02 平安科技（深圳）有限公司 电子设备、医学图像指标生成方法、装置及存储介质
CN114037072A (zh) * 2021-10-11 2022-02-11 浙江大华技术股份有限公司 一种神经网络优化的方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11568627B2 (en) * 2015-11-18 2023-01-31 Adobe Inc. Utilizing interactive deep learning to select objects in digital visual media

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035263A (zh) * 2018-08-14 2018-12-18 电子科技大学 基于卷积神经网络的脑肿瘤图像自动分割方法
CN110555856A (zh) * 2019-09-09 2019-12-10 成都智能迭迦科技合伙企业(有限合伙) 一种基于深度神经网络的黄斑水肿病变区域分割方法
CN112102339A (zh) * 2020-09-21 2020-12-18 四川大学 一种基于图集配准的全身骨显像骨骼分割方法
CN112308853A (zh) * 2020-10-20 2021-02-02 平安科技（深圳）有限公司 电子设备、医学图像指标生成方法、装置及存储介质
CN114037072A (zh) * 2021-10-11 2022-02-11 浙江大华技术股份有限公司 一种神经网络优化的方法及设备

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Harnessing 2D Networks and 3D Features for Automated Pancreas Segmentation from Volumetric CT Images;huanchen等;《Medical Image Computing and Computer Assisted Intervention – MICCAI 2019》;20191010;339–347 *
一种高精度、低开销的单包溯源方法;鲁宁等;《软件学报》;20171015(第10期);217-236 *
基于判别关键域和深度学习的植物图像分类;张雪芹等;《计算机工程与设计》;20200316(第03期);150-156 *
基于改进深度学习的乳腺癌医学影像检测方法;陈彤;《现代计算机》;20200515(第14期);36-40+45 *
基于深度学习的图像语义分割研究与应用;彭超;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20190215(第2期);I138-1556 *
基于高斯混合模型低对比度SPECT图像分割算法的研究;张战胜;《中国医学工程》;20211125;第29卷(第11期);9-12 *

Also Published As

Publication number Publication date
CN115019049A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN115019049B (zh) 基于深度神经网络的骨显像骨病灶分割方法、系统及设备
US20200303062A1 (en) Medical image aided diagnosis method and system combining image recognition and report editing
CN108898595B (zh) 一种胸部图像中病灶区域的定位模型的构建方法及应用
CN108464840B (zh) 一种乳腺肿块自动检测方法及系统
CN109544526B (zh) 一种慢性萎缩性胃炎图像识别系统、装置和方法
CN110288597B (zh) 基于注意力机制的无线胶囊内窥镜视频显著性检测方法
CN109523535B (zh) 一种病变图像的预处理方法
CN109858540B (zh) 一种基于多模态融合的医学图像识别系统及方法
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN113781439B (zh) 超声视频病灶分割方法及装置
CN112101451A (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN115345819A (zh) 一种胃癌图像识别系统、装置及其应用
CN113284149B (zh) Covid-19胸部ct图像识别方法、装置及电子设备
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
CN112508884A (zh) 一种癌变区域综合检测装置及方法
Radha Analysis of COVID-19 and pneumonia detection in chest X-ray images using deep learning
CN114757942A (zh) 一种基于深度学习的多层螺旋ct对活动性肺结核的检测方法
CN112419246B (zh) 量化食管粘膜IPCLs血管形态分布的深度检测网络
CN110782441A (zh) 一种基于深度学习的dr影像肺结核智能分割与检测方法
Cao et al. X-ray classification of tuberculosis based on convolutional networks
Vasconcelos et al. A new risk assessment methodology for dermoscopic skin lesion images
Tang et al. CNN-based automatic detection of bone conditions via diagnostic CT images for osteoporosis screening
CN110827275A (zh) 基于树莓派和深度学习的肝脏核磁动脉期影像质量分级方法
Li et al. MVDI25K: A large-scale dataset of microscopic vaginal discharge images
Saglam et al. COVID-19 Detection from X-ray Images Using a New CNN Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant