CN115810139A - 一种spect图像的目标区域识别方法及系统 - Google Patents
一种spect图像的目标区域识别方法及系统 Download PDFInfo
- Publication number
- CN115810139A CN115810139A CN202211624729.7A CN202211624729A CN115810139A CN 115810139 A CN115810139 A CN 115810139A CN 202211624729 A CN202211624729 A CN 202211624729A CN 115810139 A CN115810139 A CN 115810139A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- super
- data set
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000002603 single-photon emission computed tomography Methods 0.000 title claims abstract description 36
- 230000011218 segmentation Effects 0.000 claims abstract description 41
- 238000003709 image segmentation Methods 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 28
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 230000002503 metabolic effect Effects 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 210000000038 chest Anatomy 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 206010027476 Metastases Diseases 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 230000009401 metastasis Effects 0.000 description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 8
- 230000010339 dilation Effects 0.000 description 5
- 201000011510 cancer Diseases 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 206010060862 Prostate cancer Diseases 0.000 description 2
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 208000037147 Hypercalcaemia Diseases 0.000 description 1
- 206010034156 Pathological fracture Diseases 0.000 description 1
- 206010041549 Spinal cord compression Diseases 0.000 description 1
- 208000005250 Spontaneous Fractures Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000148 hypercalcaemia Effects 0.000 description 1
- 208000030915 hypercalcemia disease Diseases 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种SPECT图像的目标区域识别方法及系统，属于医学影像处理领域，识别方法包括：获取数据集；数据集为全身骨骼形态和代谢显像；对数据集进行解析，得到数据矩阵；构建超分辨率重建网络；采用数据集对超分辨率重建网络进行训练；将数据矩阵输入至训练好的超分辨率重建网络得到超分辨率重建后的图像；构建图像分割网络；采用数据集对图像分割网络进行训练；将数据矩阵输入至训练好的图像分割网络，得到分割结果；将分割结果进行上采样；将上采样后的分割结果赋予到超分辨率重建后的图像上，得到目标区域。本发明中的上述方法能够提高图像的分辨率及精度，快速识别目标区域。
Description
技术领域
本发明涉及医学影像处理领域，特别是涉及一种SPECT图像的目标区域识别方法及系统。
背景技术
临床研究表明，骨转移是常见的癌症并发症之一，频发于乳腺癌、肺癌和前列腺癌等恶性肿瘤。恶性肿瘤骨转移可引起一系列并发症，如高钙血症、病理性骨折、脊髓压迫等，严重影响患者的生存质量。因此，恶性肿瘤骨转移的早期诊断对疾病的分期、预后、治疗及提高患者生活质量具有重要临床意义。
目前，单电子发射计算机断层显像技术(SPECT)是临床常用的快速筛查、诊断乳腺癌、前列腺癌和肺癌等多种原发性肿瘤转移的工具，相比于正电子发射断层扫描(PET)，它更方便、更经济，其原理是借助单光子核素标记药物(99mTc-MDP)，使用单头成像装置(GESPECTMillenniumMPR)获取全身显像，通常转移灶在SPECT图像上表现为放射性核素的浓聚，呈现团点状的亮点。
临床上主要通过人工阅片的方式诊断骨转移疾病，并且放射性核素显像的有限分辨率使得医师诊断工作耗时且依赖经验，并且具有主观性、错误明显和效率低的缺点，因此提高图像分辨率和采用自动识别技术是非常有必要的，通过提高重建图像的对比度和自动识别目标点位置可缓解这一现象。
深度神经网络利用多隐层结构的非线性运算单元，可实现图像层级特征的自动提取。特别是，卷积神经网络能够以端到端的方式实现特征的自动提取和图像的重建、分割，因此，本发明基于深度学习方法提出一种SPECT图像的目标区域识别方法及系统，以提高图像的分辨率及分割精度。
发明内容
本发明的目的是提供一种SPECT图像的目标区域识别方法及系统，提高图像的分辨率及精度，快速识别目标区域。
为实现上述目的，本发明提供了如下方案：
第一方面，本发明提供一种SPECT图像的目标区域识别方法，所述识别方法包括：
获取数据集；所述数据集为全身骨骼形态和代谢显像；
对所述数据集进行解析，得到数据矩阵；
构建超分辨率重建网络；
采用所述数据集对所述超分辨率重建网络进行训练；
将所述数据矩阵输入至训练好的超分辨率重建网络得到超分辨率重建后的图像；
构建图像分割网络；
采用所述数据集对所述图像分割网络进行训练；
将所述数据矩阵输入至训练好的图像分割网络，得到分割结果；
将所述分割结果进行上采样；
将上采样后的分割结果赋予到所述超分辨率重建后的图像上，得到目标区域。
可选的，所述识别方法在“对所述数据集进行解析，得到数据矩阵”之后，“构建超分辨率重建网络”之前还包括：
对所述数据矩阵进行预处理，具体为：
提取图像的胸腔区域，获得256×256大小的图像块，并选取260条同时包含前、后位图的数据进行预处理操作。
可选的，所述超分辨率重建网络包括：
第一特征提取部分和图像重建部分；
所述特征提取部分包括：第一通道、第二通道以及第三通道；所述第一通道、第二通道以及第三通道均包括：第一卷积层、交叉递归残差网络以及第二卷积层，所述第一卷积层、交叉递归残差网络以及第二卷积层依次连接；
所述图像重建部分包括：第一上采样层、第二上采样层、第三上采样层、第三卷积层以及第四卷积层；
所述第一上采样层、第二上采样层以及第三上采样层分别连接所述第一通道、第二通道以及第三通道中的第二卷积层；
所述第三卷积层与所述第一上采样层、第二上采样层以及第三上采样层的输出融合结果连接，所述第三卷积层还与所述第四卷积层连接。
可选的，所述图像重建部分具体包括以下步骤：
对输入图像进行步长补零：在像素之间插入零，得到步长补零结果；
对所述步长补零结果进行整体补零：在步长补零结果的外周整体补零；
对所述整体补零后的结果进行卷积操作。
可选的，所述图像分割网络包括：
第二特征提取部分和像素级分类部分；
其中，所述第二特征提取部分包括：编码阶段和解码阶段；
所述像素级分类部分采用Focal Loss和Dice Loss组合的损失函数，表达式如下：
Ltotal＝βLfocal+(1-β)Ldice；
其中，
β＝0.8、α＝0.4、γ＝4，y是真实样本的标签，为0或1；yˊ是经过Sigmoid激活函数后的输出值∈(0,1)之间。
可选的，采用所述数据集对所述超分辨率重建网络进行训练采用的损失函数为：
Ls＝L1+LSSIM
其中，H、W是重建后图片的高和宽；f1(x,y)是高分辨率图像、f2(x,y)是重建后图像；x、y分别表示当前像素点在图像矩阵中的行号和列号；μx、μy分别是f1(x,y)、f2(x,y)的平均值；σx 2、σy 2为f1(x,y)、f2(x,y)的方差；σxy是f1(x,y)和f2(x,y)的协方差；C1＝0.0001、C2＝0.0009。
可选的，所述将所述分割结果进行上采样具体采用以下公式：
srcX＝dstX*(srcWidth/dstWidth)
srcY＝dstY*(srcHeight/dstHeight)
其中，dstX与dstY为目标图像的某个像素的横纵坐标，dstWidth与dstHeight为目标图像的长与宽；srcWidth与srcHeight为原图像的宽度与高度，srcX，srcY为目标图像在该点(dstX，dstY)对应的原图像的坐标。
第二方面，基于本发明中的上述方法本发明另外提供一种SPECT图像的目标区域识别系统，所述识别系统包括：
数据集获取模块，用于获取数据集；所述数据集为全身骨骼形态和代谢显像；
解析模块，用于对所述数据集进行解析，得到数据矩阵；
超分辨率重建网络构建模块，用于构建超分辨率重建网络；
第一训练模块，用于采用所述数据集对所述超分辨率重建网络进行训练；
图像重建模块，用于将所述数据矩阵输入至训练好的超分辨率重建网络得到超分辨率重建后的图像；
图像分割网络构建模块，用于构建图像分割网络；
第二训练模块，用于采用所述数据集对所述图像分割网络进行训练；
分割模块，用于将所述数据矩阵输入至训练好的图像分割网络，得到分割结果；
上采样模块，用于将所述分割结果进行上采样；
目标区域确定模块，用于将上采样后的分割结果赋予到所述超分辨率重建后的图像上，得到目标区域。
第三方面，本发明提供一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的SPECT图像的目标区域识别方法。
第四方面，本发明提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的SPECT图像的目标区域识别方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种超分辨率重建SPECT图像的骨转移病灶分割方法与系统，通过设计超分辨率重建网络将低分辨率的核医学图像重建成为高分辨率的图像、通过设计图像分割网络自动识别核医学图像中高亮区域。最后将识别后的结果呈现在重建后的高分辨率图像上使标识区更清晰。
首先，从DICOM文件中解析出患者的全身核素显像数据，并对其进行预处理得到实验样本，以便开展后续实验；然后，构建超分辨率重建网络。由于SPECT骨显像具有分辨率低的特性，严重影响了人工阅片的正确性。因此，本发明提出超分辨率重建网络将低分辨率的SPECT图像重建为高分辨率图像，以解决低分辨率图像造成的病灶与边界模糊等缺点；接着，构建图像分割网络，通过分割网络自动识别高亮区域，并对其进行标识来提高人工阅片的效率，由于SPECT骨显像具有病灶与背景像素比极低的严重类不均衡特性，本发明采用组合形式的损失函数βFocal Loss+(1-β)Dice Loss对模型进行训练。继而，对分割网络的预测结果进行上采样来提高图像分辨率，本发明的目的是在高分辨率图像上清晰的判断模型识别结果，但重建网络输出无法匹配分割网络输出，为了实现像素点一一对应，对分割网络的输出结果进行上采样，使得两个网络的输出大小一致。最后，将分割结果赋予到重建后的图像上。分割网络的输出结果为0和1，0代表背景、1代表高亮区。仅仅通过二值化是无法判断出病灶点的位置及准确性，结合等高线将分割结果赋予到重建图上，通过分析不规则的红圈，即可判断该区域是否为病灶。
综上所述，一种超分辨率重建SPECT图像的骨转移病灶分割方法与系统，相比于单一的图像分割技术，本专利提出的结合超分辨率图像重建的骨转移病灶分割技术能够实现低分辨率图像的重建并标识出高亮区，在临床应用中为疾病诊断准确度和效率的提升提供技术支撑。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例SPECT图像的目标区域识别方法流程框图；
图2为本发明实施例超分辨率重建网络结构示意图；
图3为本发明实施例交叉递归残差网络结构示意图；
图4为本发明实施例递归网络块和残差块结构示意图；
图5为本发明实施例转置卷积示例示意图；
图6为本发明实施例超分辨率重建网络测试结果示意图；
图7为本发明实施例分割网络框架示意图；
图8为本发明实施例注意门和残差结构示意图；
图9为本发明实施例分割网络测试结果的二值化示意图；
图10为本发明实施例上采样示例图；
图11为本发明实施例可视化结果示意图；
图12为本发明实施例一种SPECT图像的目标区域识别系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种SPECT图像的目标区域识别方法及系统，提高图像的分辨率及精度，快速识别目标区域。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例SPECT图像的目标区域识别方法流程框图，如图1所示，本发明中的方法包括：
步骤1：获取数据集；所述数据集为全身骨骼形态和代谢显像。
步骤2：对所述数据集进行解析，得到数据矩阵。
步骤3：对所述数据矩阵进行预处理。
具体的，SPECT成像设备借助单光子核素标记药物(99mTc-MDP)实现全身骨骼形态和代谢显像，得到前、后体位的DICOM格式文件，通过对DICOM文件进行解析，输出256×1024的数据矩阵。
SPECT全身骨显像大小为256×1024，为了提升模型的运行效率，本发明先提取图像的胸腔区域，获得256×256大小的图像块，然后选取260条同时包含前、后位图的数据进行预处理操作，构建了最终实验样本。
步骤4：构建超分辨率重建网络。
图像的超分辨率(Super Resolution,SR)是从低分辨率(Low Resolution,LR)图像中恢复高分辨率(High Resolution,HR)图像的过程，即网络的输入是LR图像，输出是HR图像。对低分辨率图像的获取主要是通过2倍的双三次下采样(BicubicDownsampling)得到。
超分辨率重建网络主要包括特征提取和图像重建两部分，其网络结构如图2所示。特征提取部分包括3个通道，每个通道由2个卷积层，1个交叉递归残差网络组成。图像重建部分包括3个上采样层和2个卷积层，上采样层使用转置卷积以实现图像重建。
其中，特征提取具体介绍如下：
在特征提取阶段，输入图像经过3个大小为3×3，通道数为64的卷积层，将其结果输入到交叉递归残差网络中进行非线性学习。交叉递归残差网络结构如图3所示，主要利用递归网络的思想，每个通道内的4个递归网络块由编号为1的递归网络块进行4次递归处理形成，通过复用递归网络块减少网络运算量，提高网络训练效率；网络包含多条通道，以获取更丰富的特征信息，提高对细节信息的重建能力；在多通道网络中加入交叉学习机制，更好地融合多通道特征信息，提高网络性能。
其中，每个通道内的递归网络块由4个残差块串联实现，如图4中的A部分所示；残差块由残差映射和恒等映射组成，如图4中的B部分所示。残差映射含有2个3×3大小、膨胀率为2的膨胀卷积，膨胀卷积在不损失分辨率的情况下系统地聚合多尺度上下文信息；恒等映射可将输入结果映射到输出用于缓解梯度消失和爆炸问题，每个残差块中的采样特征维度均为64。在非线性学习过程中，利用交叉学习机制将各个通道间独立的特征信息充分融合，融合后的特征信息分别与各个通道的最后输出进行叠加后输入到下一层，能够提高网络对细节信息的学习能力。
图像重建的介绍如下：
在图像重建阶段，首先，对前一部分每个通道内提取的特征用转置卷积进行上采样来提高图像分辨率；转置卷积的大小为2×2、步长是2、采样特征维度为64；其次，对上采样后的特征图进行了数据融合和特征提取操作；最后，把提取的特征通过1个大小为1×1，通道数为1的卷积输出。图5是一个输入大小为3×3的图像经过转置卷积后变为6×6的示例，主要的操作步骤如下：
1)对输入图像进行步长补零，在像素之间插入(步长–1)个零。
2)对1)所得结果进行外周整体补零，具体补0位置及个数计算如下所示。此时的stride大小变为1×1；in_height、in_width为输入图像的高、宽；out_height、out_width为输出图像的高、宽；filter_height、filter_width为卷积的高、宽。
①pad_height＝max((out_height-1)×stride_height+filter_height–in_height,0)；
②pad_width＝max((out_width-1)×stride_width+filter_width–in_width,0)；
③pad_top＝pad_height/2，pad_bottom＝pad_height–pad_top；
④pad_left＝pad_width/2，pad_right＝pad_width–pad_left；
⑤将得到的补零位置要上下左右各自颠倒一下；
3)对填充后的图像进行大小为2×2、步长为1的卷积操作。
4)输出卷积操作后的特征图。
经上述操作处理，我们采用步骤1中获取的数据集，即260幅图像以7:3的比例随机划分为训练子集和测试子集来训练和测试模型，在随机划分数据集时前位图以及对应的后位图应在同一个子集中。网络模型训练过程中，采用L1范数和LSSIM组合的损失函数，见公式1–3所示。L1范数损失函数对数据的波动比较敏感，可以有效指导模型参数的更新并防止梯度的变化。LSSIM损失函数考虑人类视觉系统对图像结构信息的敏感程度，从结构s、对比度c、亮度l三方面衡量原始图像与重建图像之间相似程度的度量方法，可以抵消L1无法衡量图像结构相似性的缺陷。
Ls＝L1+LSSIM (1)
其中，H、W是重建后图片的高和宽；f1(x,y)是高分辨率图像、f2(x,y)是重建后图像；x、y分别表示当前像素点在图像矩阵中的行号和列号。μx、μy分别是f1(x,y)、f2(x,y)的平均值；σx 2、σy 2为f1(x,y)、f2(x,y)的方差；σxy是f1(x,y)和f2(x,y)的协方差；C1＝0.0001、C2＝0.0009。
网络共迭代训练200次，学习率为0.0001，batchsize大小是4，优化方法采用Adam，网络的训练时间为20h，测试时间为3min，测试后的结果如图6所示。
步骤5：采用所述数据集对所述超分辨率重建网络进行训练。
步骤6：将所述数据矩阵输入至训练好的超分辨率重建网络得到超分辨率重建后的图像。
步骤7：构建图像分割网络。
图像分割网络主要包括特征提取和像素级分类两部分，其网络结构如图7所示。特征提取部分是基于AttentionU-Net网络构建的Attention RUNet，用残差模块替换AttentionU-Net网络中的普通卷积；特征分类则使用组合损失函数Dice Loss和FocalLoss。接下来对每一部分做详细的解释。
特征提取：分割网络采用“编码–解码”结构，如图7中的B部分所示。在编码阶段，网络重复使用由两个残差块(如图8中的A部分所示)构成的复合模块，在复合模块之间使用大小为2×2的最大池化进行下采样。特征图大小由最初的256×256变成了16×16，通道数由64变为1024。在解码阶段，同样重复使用由两个残差块构成的复合模块，在复合模块之间使用2×2大小的转置卷积进行上采样来恢复图像分辨率同时降低通道数，并将上采样结果与注意门结构(如图8中的B部分所示)的输出结果进行通道数拼接。网络的最后一层是1×1卷积层，将通道数由64转换为类别数。
图8中的A部分是由残差映射和恒等映射组成的残差模块，与标准残差模块所不同的是我们在结构中同时使用了两种卷积，即残差映射含有2个3×3大小、膨胀率为2的膨胀卷积。膨胀卷积在不丢失分辨率的情况下扩大了感受野，同时具有捕获多尺度上下文信息作用；恒等映射包含了一个3×3大小的普通卷积，其主要用于缓解梯度消失和梯度爆炸。最终将两种不同卷积提取的特征进行融合。
在图8中的B部分中，x表示编码阶段对应层的输出特征图，g表示上采样后的输出特征图。x、g分别经过大小为1×1的卷积后进行加法融合操作，融合后的特征经ReLU和Sigmoid激活生成一个权重图α∈(0,1)，α倾向于在目标区域取得较大的值，在背景区域取得较小的值，即突出显著的图像区域和抑制任务无关的特征响应。最终α和输入特征图进行乘法操作实现感兴趣区域的提取。
像素级分类：在像素级分类阶段本发明使用Focal Loss和Dice Loss组合的损失函数，见公式4–6所示。Focal loss是在二分类交叉熵损失函数基础上增加了一个控制正负样本的权重系数α和控制容易分类和难分类样本权重的γ系数。使得模型能够平衡正负样本数量比例不均问题和关注难分的样本；Dice Loss是一种集合相似度度量函数，用于计算两个样本的相似度，可以弥补Focal Loss无法衡量图像结构相似性的缺陷。
经实验验证，我们取β＝0.8、α＝0.4、γ＝4，y是真实样本的标签(0或1)，yˊ是经过Sigmoid激活函数后的输出值∈(0,1)之间。
本发明用步骤1的数据集，即260幅图像以7：3的比例随机划分为训练子集和测试子集来训练和测试模型，在随机划分数据集时前位图以及对应的后位图应在同一个子集中。网络共迭代训练150次，学习率为0.0001，batchsize大小是4，优化方法采用Adam，网络的训练时间为15h，测试时间为2.7min，测试结果的二值化如图9所示。
步骤8：采用所述数据集对所述图像分割网络进行训练。
步骤9：将所述数据矩阵输入至训练好的图像分割网络，得到分割结果。
步骤10：将所述分割结果进行上采样。
步骤11：将上采样后的分割结果赋予到所述超分辨率重建后的图像上，得到目标区域。
核医学SPECT图像具有分辨率低的特点。为了清晰的判断模型分割结果的准确性，本发明采用超分辨率重建网络来提高图像分辨率，并且需要将分割后的结果呈现在重建后的图像上。而双路径网络在输出大小方面存在不一致现象，为了实现图像匹配，本发明对分割结果图进行上采样，所用方法为最近邻插值法，即令变换后像素的灰度值等于距它最近的输入像素的灰度值，其坐标变换计算公式如下所示：
srcX＝dstX*(srcWidth/dstWidth) (7)
srcY＝dstY*(srcHeight/dstHeight) (8)
其中，dstX与dstY为目标图像的某个像素的横纵坐标，dstWidth与dstHeight为目标图像的长与宽；srcWidth与srcHeight为原图像的宽度与高度。srcX，srcY为目标图像在该点(dstX，dstY)对应的原图像的坐标。图10是输入大小为3×3的图像进行上采样的示例，经上采样后的图像大小为6×6。
分割网络的输出结果为0和1，0代表背景、1代表高亮区。单独的分割结果无法判断出标识区的位置及准确性，为了便于直接观察，我们用等高线的形式将上采样后的分割结果赋予到重建后的图像上，不规则的圈为标识区，如图11所示。
基于本发明中的上述方法，本发明另外提供一种SPECT图像的目标区域识别系统，如图12所示，所述识别系统包括：
数据集获取模块201，用于获取数据集；所述数据集为全身骨骼形态和代谢显像。
解析模块202，用于对所述数据集进行解析，得到数据矩阵。
超分辨率重建网络构建模块203，用于构建超分辨率重建网络。
第一训练模块204，用于采用所述数据集对所述超分辨率重建网络进行训练。
图像重建模块205，用于将所述数据矩阵输入至训练好的超分辨率重建网络得到超分辨率重建后的图像。
图像分割网络构建模块206，用于构建图像分割网络。
第二训练模块207，用于采用所述数据集对所述图像分割网络进行训练。
分割模块208，用于将所述数据矩阵输入至训练好的图像分割网络，得到分割结果。
上采样模块209，用于将所述分割结果进行上采样。
目标区域确定模块210，用于将上采样后的分割结果赋予到所述超分辨率重建后的图像上，得到目标区域。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种SPECT图像的目标区域识别方法，其特征在于，所述识别方法包括：
获取数据集；所述数据集为全身骨骼形态和代谢显像；
对所述数据集进行解析，得到数据矩阵；
构建超分辨率重建网络；
采用所述数据集对所述超分辨率重建网络进行训练；
将所述数据矩阵输入至训练好的超分辨率重建网络得到超分辨率重建后的图像；
构建图像分割网络；
采用所述数据集对所述图像分割网络进行训练；
将所述数据矩阵输入至训练好的图像分割网络，得到分割结果；
将所述分割结果进行上采样；
将上采样后的分割结果赋予到所述超分辨率重建后的图像上，得到目标区域。
2.根据权利要求1所述的SPECT图像的目标区域识别方法，其特征在于，所述识别方法在“对所述数据集进行解析，得到数据矩阵”之后，“构建超分辨率重建网络”之前还包括：
对所述数据矩阵进行预处理，具体为：
提取图像的胸腔区域，获得256×256大小的图像块，并选取260条同时包含前、后位图的数据进行预处理操作。
3.根据权利要求1所述的SPECT图像的目标区域识别方法，其特征在于，所述超分辨率重建网络包括：
第一特征提取部分和图像重建部分；
所述特征提取部分包括：第一通道、第二通道以及第三通道；所述第一通道、第二通道以及第三通道均包括：第一卷积层、交叉递归残差网络以及第二卷积层，所述第一卷积层、交叉递归残差网络以及第二卷积层依次连接；
所述图像重建部分包括：第一上采样层、第二上采样层、第三上采样层、第三卷积层以及第四卷积层；
所述第一上采样层、第二上采样层以及第三上采样层分别连接所述第一通道、第二通道以及第三通道中的第二卷积层；
所述第三卷积层与所述第一上采样层、第二上采样层以及第三上采样层的输出融合结果连接，所述第三卷积层还与所述第四卷积层连接。
4.根据权利要求3所述的SPECT图像的目标区域识别方法，其特征在于，所述图像重建部分具体包括以下步骤：
对输入图像进行步长补零：在像素之间插入零，得到步长补零结果；
对所述步长补零结果进行整体补零：在步长补零结果的外周整体补零；
对所述整体补零后的结果进行卷积操作。
5.根据权利要求1所述的SPECT图像的目标区域识别方法，其特征在于，所述图像分割网络包括：
第二特征提取部分和像素级分类部分；
其中，所述第二特征提取部分包括：编码阶段和解码阶段；
所述像素级分类部分采用Focal Loss和Dice Loss组合的损失函数，表达式如下：
Ltotal＝βLfocal+(1-β)Ldice；
其中，
β＝0.8、α＝0.4、γ＝4，y是真实样本的标签，为0或1；yˊ是经过Sigmoid激活函数后的输出值∈(0,1)之间。
6.根据权利要求1所述的SPECT图像的目标区域识别方法，其特征在于，采用所述数据集对所述超分辨率重建网络进行训练采用的损失函数为：
Ls＝L1+LSSIM
其中，H、W是重建后图片的高和宽；f1(x,y)是高分辨率图像、f2(x,y)是重建后图像；x、y分别表示当前像素点在图像矩阵中的行号和列号；μx、μy分别是f1(x,y)、f2(x,y)的平均值；σx 2、σy 2为f1(x,y)、f2(x,y)的方差；σxy是f1(x,y)和f2(x,y)的协方差；C1＝0.0001、C2＝0.0009。
7.根据权利要求1所述的SPECT图像的目标区域识别方法，其特征在于，所述将所述分割结果进行上采样具体采用以下公式：
srcX＝dstX*(srcWidth/dstWidth)
srcY＝dstY*(srcHeight/dstHeight)
其中，dstX与dstY为目标图像的某个像素的横纵坐标，dstWidth与dstHeight为目标图像的长与宽；srcWidth与srcHeight为原图像的宽度与高度，srcX，srcY为目标图像在该点(dstX，dstY)对应的原图像的坐标。
8.一种SPECT图像的目标区域识别系统，其特征在于，所述识别系统包括：
数据集获取模块，用于获取数据集；所述数据集为全身骨骼形态和代谢显像；
解析模块，用于对所述数据集进行解析，得到数据矩阵；
超分辨率重建网络构建模块，用于构建超分辨率重建网络；
第一训练模块，用于采用所述数据集对所述超分辨率重建网络进行训练；
图像重建模块，用于将所述数据矩阵输入至训练好的超分辨率重建网络得到超分辨率重建后的图像；
图像分割网络构建模块，用于构建图像分割网络；
第二训练模块，用于采用所述数据集对所述图像分割网络进行训练；
分割模块，用于将所述数据矩阵输入至训练好的图像分割网络，得到分割结果；
上采样模块，用于将所述分割结果进行上采样；
目标区域确定模块，用于将上采样后的分割结果赋予到所述超分辨率重建后的图像上，得到目标区域。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行如权利要求1-7中任一项所述的SPECT图像的目标区域识别方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的SPECT图像的目标区域识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211624729.7A CN115810139B (zh) | 2022-12-16 | 2022-12-16 | 一种spect图像的目标区域识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211624729.7A CN115810139B (zh) | 2022-12-16 | 2022-12-16 | 一种spect图像的目标区域识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115810139A true CN115810139A (zh) | 2023-03-17 |
| CN115810139B CN115810139B (zh) | 2023-09-01 |
Family
ID=85486067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211624729.7A Active CN115810139B (zh) | 2022-12-16 | 2022-12-16 | 一种spect图像的目标区域识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115810139B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170293825A1 (en) * | 2016-04-08 | 2017-10-12 | Wuhan University | Method and system for reconstructing super-resolution image |
| KR20190040586A (ko) * | 2017-10-11 | 2019-04-19 | 인하대학교 산학협력단 | 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템 |
| CN110060234A (zh) * | 2019-03-21 | 2019-07-26 | 山西医科大学第一医院 | 基于spect断层图像计算肾脏gfr值的方法和装置 |
| US20190287761A1 (en) * | 2017-12-18 | 2019-09-19 | Fei Company | Method, device and system for remote deep learning for microscopic image reconstruction and segmentation |
| CN112163994A (zh) * | 2020-09-01 | 2021-01-01 | 重庆邮电大学 | 一种基于卷积神经网络的多尺度医学图像融合方法 |
| CN112950595A (zh) * | 2021-03-10 | 2021-06-11 | 西北民族大学 | 一种基于spect成像的人体部位切分方法及系统 |
| CN113469052A (zh) * | 2021-07-02 | 2021-10-01 | 重庆市地理信息和遥感应用中心 | 基于多尺度特征反卷积的超分辨率建筑物精细识别方法 |
| CN113657388A (zh) * | 2021-07-09 | 2021-11-16 | 北京科技大学 | 一种融合图像超分辨率重建的图像语义分割方法 |
| CN114092330A (zh) * | 2021-11-19 | 2022-02-25 | 长春理工大学 | 一种轻量化多尺度的红外图像超分辨率重建方法 |
| CN114841860A (zh) * | 2022-05-12 | 2022-08-02 | 西南民族大学 | 一种基于拉普拉斯金字塔网络的高光谱遥感图像超分辨率方法 |
| CN114881914A (zh) * | 2022-02-11 | 2022-08-09 | 山东省肿瘤医院 | 基于医学影像确定三维功能肝段的系统及方法 |
| CN114972759A (zh) * | 2022-06-15 | 2022-08-30 | 西安电子科技大学 | 基于分级轮廓代价函数的遥感图像语义分割方法 |
| EP4071706A1 (en) * | 2021-04-07 | 2022-10-12 | Canon Medical Systems Corporation | Medical data processing method, model generation method, medical data processing apparatus, and computer-readable non-transitory storage medium storing medical data processing program |
| CN115239564A (zh) * | 2022-08-18 | 2022-10-25 | 中国矿业大学 | 一种结合语义信息的矿井图像超分辨率重建方法 |
-
2022
- 2022-12-16 CN CN202211624729.7A patent/CN115810139B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170293825A1 (en) * | 2016-04-08 | 2017-10-12 | Wuhan University | Method and system for reconstructing super-resolution image |
| KR20190040586A (ko) * | 2017-10-11 | 2019-04-19 | 인하대학교 산학협력단 | 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템 |
| US20190287761A1 (en) * | 2017-12-18 | 2019-09-19 | Fei Company | Method, device and system for remote deep learning for microscopic image reconstruction and segmentation |
| CN110060234A (zh) * | 2019-03-21 | 2019-07-26 | 山西医科大学第一医院 | 基于spect断层图像计算肾脏gfr值的方法和装置 |
| CN112163994A (zh) * | 2020-09-01 | 2021-01-01 | 重庆邮电大学 | 一种基于卷积神经网络的多尺度医学图像融合方法 |
| CN112950595A (zh) * | 2021-03-10 | 2021-06-11 | 西北民族大学 | 一种基于spect成像的人体部位切分方法及系统 |
| EP4071706A1 (en) * | 2021-04-07 | 2022-10-12 | Canon Medical Systems Corporation | Medical data processing method, model generation method, medical data processing apparatus, and computer-readable non-transitory storage medium storing medical data processing program |
| CN113469052A (zh) * | 2021-07-02 | 2021-10-01 | 重庆市地理信息和遥感应用中心 | 基于多尺度特征反卷积的超分辨率建筑物精细识别方法 |
| CN113657388A (zh) * | 2021-07-09 | 2021-11-16 | 北京科技大学 | 一种融合图像超分辨率重建的图像语义分割方法 |
| CN114092330A (zh) * | 2021-11-19 | 2022-02-25 | 长春理工大学 | 一种轻量化多尺度的红外图像超分辨率重建方法 |
| CN114881914A (zh) * | 2022-02-11 | 2022-08-09 | 山东省肿瘤医院 | 基于医学影像确定三维功能肝段的系统及方法 |
| CN114841860A (zh) * | 2022-05-12 | 2022-08-02 | 西南民族大学 | 一种基于拉普拉斯金字塔网络的高光谱遥感图像超分辨率方法 |
| CN114972759A (zh) * | 2022-06-15 | 2022-08-30 | 西安电子科技大学 | 基于分级轮廓代价函数的遥感图像语义分割方法 |
| CN115239564A (zh) * | 2022-08-18 | 2022-10-25 | 中国矿业大学 | 一种结合语义信息的矿井图像超分辨率重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHAO XIANG等: "Crack detection algorithm for concrete structures based on super-resolution reconstruction and segmentation network", 《AUTOMATION IN CONSTRUCTION》, pages 1 - 14 * |
| 傅天宇;金柳颀;雷震;李子青;: "基于关键点逐层重建的人脸图像超分辨率方法", 信号处理, no. 07, pages 81 - 88 * |
| 王保茎;秦全波;毛怡盛;孔玲;丁丹卉;张国富;: "基于深度协作表达的CT图像特征关联定位算法", 生物医学工程研究, no. 04, pages 50 - 52 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115810139B (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7179757B2 (ja) | ディープ畳み込みニューラルネットワークを使用した医用画像化のための線量低減 | |
| Miki et al. | Classification of teeth in cone-beam CT using deep convolutional neural network | |
| US12008759B2 (en) | Method and system for identifying pathological changes in follow-up medical images | |
| Boussion et al. | A multiresolution image based approach for correction of partial volume effects in emission tomography | |
| US10997475B2 (en) | COPD classification with machine-trained abnormality detection | |
| EP2238571B1 (en) | System for image processing using principal component analysis | |
| RU2667879C1 (ru) | Обработка и анализ данных на изображениях компьютерной томографии | |
| Han et al. | Automated pathogenesis-based diagnosis of lumbar neural foraminal stenosis via deep multiscale multitask learning | |
| WO2021121415A1 (en) | Systems and methods for image-based nerve fiber extraction | |
| Lyra et al. | Matlab as a tool in nuclear medicine image processing | |
| CN111179366A (zh) | 基于解剖结构差异先验的低剂量图像重建方法和系统 | |
| McAlpine et al. | Is it real or not? Toward artificial intelligence-based realistic synthetic cytology image generation to augment teaching and quality assurance in pathology | |
| CN114881914A (zh) | 基于医学影像确定三维功能肝段的系统及方法 | |
| CN116758087B (zh) | 一种腰椎ct骨窗侧隐窝间隙检测方法及装置 | |
| CN114066798B (zh) | 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法 | |
| Zhang et al. | Automatic segmentation of pulmonary lobes on low-dose computed tomography using deep learning | |
| Raniga et al. | Automated 11C-PiB standardized uptake value ratio | |
| CN115810139B (zh) | 一种spect图像的目标区域识别方法及系统 | |
| Yin et al. | Super resolution reconstruction of CT images based on multi-scale attention mechanism | |
| US10062185B2 (en) | Method and apparatus for reducing variability of representations of regions of interest on reconstructions of medical imaging data | |
| Calvini et al. | Fusion of the MR image to SPECT with possible correction for partial volume effects | |
| Brusokas et al. | Analysis of deep neural network architectures and similarity metrics for low-dose CT Reconstruction | |
| CN118196588A (zh) | 一种骨扫描图像标注方法、装置、介质及产品 | |
| Thanh et al. | Convolution-mix-Transformer Generator model to synthesize PET images from CT scans | |
| Abbott et al. | OrthoFusion: A Super-Resolution Algorithm to Fuse Orthogonal CT Volumes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |