CN117238489A - 多模态核医学影像中头颈肿瘤远处转移的预测方法及系统 - Google Patents
多模态核医学影像中头颈肿瘤远处转移的预测方法及系统 Download PDFInfo
- Publication number
- CN117238489A CN117238489A CN202311530041.7A CN202311530041A CN117238489A CN 117238489 A CN117238489 A CN 117238489A CN 202311530041 A CN202311530041 A CN 202311530041A CN 117238489 A CN117238489 A CN 117238489A
- Authority
- CN
- China
- Prior art keywords
- image
- prediction
- pet
- nuclear medicine
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010027476 Metastases Diseases 0.000 title claims abstract description 42
- 230000009401 metastasis Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000009206 nuclear medicine Methods 0.000 title claims abstract description 34
- 208000014829 head and neck neoplasm Diseases 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 230000007704 transition Effects 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012216 screening Methods 0.000 claims abstract description 8
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 238000005457 optimization Methods 0.000 claims abstract description 7
- 206010028980 Neoplasm Diseases 0.000 claims description 24
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 15
- 230000005489 elastic deformation Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000002759 z-score normalization Methods 0.000 claims description 8
- 238000002679 ablation Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000004083 survival effect Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000009966 trimming Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims 1
- 238000001959 radiotherapy Methods 0.000 abstract description 6
- 210000003128 head Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000003339 best practice Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000007475 c-index Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000000867 larynx Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000003695 paranasal sinus Anatomy 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及多模态核医学影像中头颈肿瘤远处转移的预测方法及系统，预测方法包括步骤：A.医学影像预处理：对PET和CT的影像进行预处理；B.多模态输入优化选择：确定输入预测模型的影像类型；C.预测模型训练：对测试数据集进行训练和验证；D.多时间节点的结果输出：提取PET和CT的影像特征；根据关注的时间节点个数构建解码器，实现对每个关注时间节点的远处转移发生概率预测；E.预测结果评估：量化不同训练集的各预测结果与实际观察结果的差异，筛选出最佳的预测模型。本发明可以深度挖掘出个体化多模态核医学影像信息，并能够在所关注的各个临床时间节点给出相应预测判断，极大提升了头颈肿瘤放疗后远处转移的预测准确性。
Description
技术领域
本发明涉及医学图像处理方法和系统，具体是多模态核医学影像中头颈肿瘤远处转移的预测方法及系统。
背景技术
头颈肿瘤是一组异质性恶性肿瘤，存在于口腔、鼻旁窦、咽部或喉部的粘膜表面，通常采用以放疗为主的综合方案治疗。然而，由于头颈肿瘤远处转移（DM）的发生，头颈肿瘤患者的长期生存率可能低至50％。因此，治疗前的准确预后判断及高危患者区分将更有利于实施个体化精准治疗。
目前，对于头颈肿瘤远处转移预测主要依托活检及各模态医学影像提示的肿瘤TNM分期开展（TNM：T:Tumor(Topography),代表原发肿瘤的范围; N:Lymph Node, 代表区域淋巴结转移的存在与否及范围;M:Metastasis代表远处转移的存在与否）。如果仅凭人为对医学影响进行主观判断，由于没有深度挖掘医学影像中的数据信息，极易受到肿瘤异质性和患者个体差异影响，因此会导致了预后效果不佳。如果采用目前对医学影像预测的现有方案进行数据挖掘，现有方案中都仅关注了肿瘤远处转移的二分类预测，无法实现在各个时间节点对临床事件做出预判。因此需要一种能够对各个临床时间节点给出相应预测判断的远处转移预测方案。
发明内容
本发明提供了一种多模态核医学影像中头颈肿瘤远处转移的预测方法及系统，通过深度挖掘个体化多模态核医学影像信息，形成最优模态预测方案，并在所关注的各个临床时间节点给出相应预测判断，提升头颈肿瘤放疗后远处转移的预测准确性。
本发明多模态核医学影像中头颈肿瘤远处转移的预测方法，包括步骤：
A.医学影像预处理：通过对多模态核医学的PET影像和CT影像进行图像配准、网格插值、归一化处理、基于肿瘤目标的自适应裁剪、旋转平移和弹性形变的数据处理，实现多模态核医学影像对预测模型的输入数据统一和数据扩增；
B.多模态输入优化选择：通过组合消融测试，确定输入预测模型的影像类型；
C.预测模型训练：通过三折交叉验证方式对测试数据集进行训练和验证，所述测试数据集中包括完整头颈扫描的PET影像和CT影像；
D.多时间节点的结果输出：预测模型中采用残差网络模型构建编码器，通过编码器从所述残差网络模型中逐层提取PET影像和CT影像中的影像特征；根据所关注的时间节点个数构建解码器，通过解码器将所述编码器提取的影像特征转化为对预测目标的判断，实现对每个关注的时间节点的远处转移发生概率预测；
E.预测结果评估：基于生存期Harrell一致性指数，对不同训练集对应的步骤D预测结果，量化各预测结果与实际观察结果的差异，评估对应的各预测模型的预测性能，筛选出最佳的预测模型。
本发明可以深度挖掘出个体化多模态核医学影像信息，最终形成最优模态预测方案，并能够在所关注的各个临床时间节点给出相应预测判断，极大提升了头颈肿瘤放疗后远处转移的预测准确性。
具体的，步骤A所述图像配准，是根据PET影像和CT影像的原始图像数组、配准后的图像数组和刚性变换矩阵，通过刚性配准算法对PET影像和CT影像进行图像配准。
具体的，步骤A进行归一化处理时，对CT影像的像素值进行过滤窗处理，选择适合进行预测的像素值后，再进行z-score归一化操作；对PET影像的所有像素点进行灰度值排序，选择灰度值排位的第2个百分位和第98个百分位为过滤窗通过范围，对PET影像进行过滤窗操作后，再进行z-score归一化操作。
具体的，步骤A所述基于肿瘤目标的自适应裁剪，是先根据勾画的肿瘤区轮廓生成相应的二值掩码图像，该二值掩码图像与原始的PET影像或CT影像具有相同像素尺寸，然后以二值掩码图像的质心为肿瘤区的几何中心O，以所述几何中心O为中心，分别修剪PET影像、CT影像和二值掩码图像至预设的大小。
具体的，步骤A所述旋转平移，是以PET影像或CT影像的横断面中心为参考点，分别在0°到360°的范围内随机旋转PET影像或CT影像，以及随机平移影像PET影像或CT影像，用以增加训练数据的多样性和改进预测模型的鲁棒性。
具体的，步骤A所述弹性形变，是对PET影像或CT影像的每一个横断面的影像数组进行弹性形变，并根据肿瘤追踪结果优化弹性形变的发生概率系数，获得最优的弹性形变区间范围。
进一步的，步骤D中，所述残差网络模型为5层，第1层为输入层，具备两个通道，分别输入预处理后的PET影像和CT影像；第2层到第4层都由基本残差单元的残差块结构串联构成，所述残差块结构包括1*1卷积核、reLU激活层、3*3 卷积核、reLU激活层和1*1 卷积核，所述第2层到第4层对应的残差块数目分别为3、4、3；
在解码器中，先通过池化将编码器提取的影像特征降维，再对降维后的影像特征扁平化处理，然后根据预设的阙值对扁平化处理后的影像特征进行过滤筛选，仅保留值大于该阙值的影像特征，其余影像特征置0，再根据所关注的时间节点数量，设置解码器的残差网络模型最后一层的影像特征个数，并将过滤筛选后的影像特征与最后一层的影像特征做全连接操作，最后通过sigmoid 激活函数处理最后一层的影像特征，获得最终预测结果。
在此基础上，在解码器中，设置解码器的残差网络模型最后一层的神经元数量为n，每一个神经元代表了远处转移在每个时间节点发生的条件概率；
预测在各个时间节点上远处转移发生概率的损失函数S为：
，
其中s为第一n维向量，表示未发生远处转移的时间间隔，f为第二n维向量，表示发生远处转移的时间间隔，o为第三n维向量，表示解码器的残差网络模型最后一层神经元在各时间节点所预测的患者未达到远处转移的条件概率。
本发明还提供了一种用于上述预测方法的多模态核医学影像中头颈肿瘤远处转移的预测系统，包括：
医学影像预处理模块：对多模态核医学PET影像和CT影像进行数据统一和数据扩增；
多模态输入优化选择模块：对预处理模块的输出数据进行组合消融测试，确定输入预测模型的影像类型；
预测模型训练模块：对测试数据集进行训练和验证，所述测试数据集中包括完整头颈扫描的PET影像和CT影像；
多时间节点的结果输出模块：通过编码器提取PET影像和CT影像中的影像特征；根据所关注的时间节点个数构建解码器，通过解码器实现对每个关注的时间节点的远处转移发生概率预测；
预测结果评估模块：对不同训练集对应的预测结果，评估对应的各预测模型的预测性能，筛选出最佳的预测模型。
进一步的，在多时间节点的结果输出模块中，编码器由残差网络模型构成，所述残差网络模型为5层，第1层为输入层，具备两个通道，分别用于输入预处理后的PET影像和CT影像；第2层到第4层都由基本残差单元的残差块结构串联构成，所述残差块结构包括1*1卷积核、reLU激活层、3*3 卷积核、reLU激活层和1*1 卷积核，所述第2层到第4层对应的残差块数目分别为3、4、3。
本发明的有益效果包括：
1、能够深度挖掘个体化多模态核医学影像信息，形成最优模态预测方案。
2、能够在关注的各个临床时间节点给出相应预测判断，极大提升了头颈肿瘤放疗后远处转移（DM）的预测准确性。
附图说明
图1为本发明多模态核医学影像中头颈肿瘤远处转移的预测方法的流程图。
图2为本发明多模态核医学影像中头颈肿瘤远处转移的预测系统的框图。
图3为两个患者在多个时间节点预测的远处转移（DM）未发生概率的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，本发明多模态核医学影像中头颈肿瘤远处转移的预测方法，包括步骤：
A.医学影像预处理：通过对多模态核医学的PET影像和CT影像进行图像配准、网格插值、归一化处理、基于肿瘤目标的自适应裁剪、旋转平移和弹性形变的数据处理，实现多模态核医学影像对预测模型的输入数据统一和数据扩增。
其中，所述图像配准，是根据PET影像和CT影像的原始图像数组、配准后的图像数组和刚性变换矩阵，通过刚性配准算法对PET影像和CT影像进行图像配准。计算公式为：
Y=TX，其中X为原始图像数组，即PET影像或CT影像的图像数组，Y为图像配准后的图像数组，T为刚性变换矩阵。以二维刚性配准为例，假设原始图像数组X需要经过θ角度旋转及d =(x, y)的平移后才能完成刚性配准，则刚性变换矩阵T为：
其中x和y分别为PET影像或CT影像在横、纵方向的像素值。
网格插值是基于线性插值对配准后的PET影像和CT影像（图像数组）进行插值，使得PET影像和CT影像的横断面（xy平面）的像素值为1mm*1 mm，头脚方向（z轴）的像素值为2mm。该像素值选择是在考虑了服务器计算能力和实际预测模型准确性后的选择结果。对于横断面，为了确保深度学习网络能够挖掘肿瘤信息，尝试像素值为3mm*3mm、2mm*2mm、1mm*1mm，最终选择预测能力最佳的1mm*1mm。对于头脚方向像素值，考虑到PET/CT的扫描范围可能较大，为了节约计算成本，尝试像素值数值为4mm、3mm、2mm，最终选择预测能力最好的2mm。所述线性插值的计算公式为：
；
其中y(r)为待插值获得的图像在空间网格点r处的像素值，y(r 0 )和y(r 1 )分别为已知的图像在空间网格点r 0 和r 1 处的像素值。
在进行归一化处理时，由于通过实验获知传统的z-score归一化方案不能获得较好的预测结果。因此，本发明的归一化方式为：对CT影像的像素值进行过滤窗处理，尝试多种组合后，选择（-300HU，300 HU）对其进行过滤操作（HU为CT图像值的单位，用来表示CT图像上组织结构的相对密度），即CT影像中小于-300的像素值定义为-300 HU；大于300 HU的定义为300 HU，然后再对CT影像进行z-score归一化操作。
对于PET影像，实验获知选择PET影像的所有像素点进行灰度值排序，选择灰度值排位的第2个百分位和第98个百分位为过滤窗通过范围，对PET影像进行过滤窗（windowing）操作，可以获得更好的预测效果，因此对PET影像进行所述过滤窗操作后，再进行z-score归一化操作。所述windowing操作是针对于医学图像预处理的一种方法，是处理医学影像图像灰度分量的过程，处理后将改变图片的外观以突出显示特定的结构。
所述z-score归一化公式为：
Norm(X)=X-mean(X) / std(X)；
其中，Norm是归一化后的数据集，X是原始数据集，mean是原始数据的均值，std是原始数据集的标准差。
所述基于肿瘤目标的自适应裁剪，是为了将数据挖掘集中在肿瘤区（GTV）及其周边组织，因此需要对原始影像进行相应裁剪。先根据勾画的肿瘤区轮廓生成相应的二值掩码图像，该二值掩码图像与原始的PET影像或CT影像具有相同像素尺寸，二值掩码图像中在肿瘤区内部的像素值为1，肿瘤区外部的像素值为0。然后以二值掩码图像的质心为肿瘤区的几何中心O，以所述几何中心O为中心，分别沿x和y的方向修剪PET影像、CT影像和二值掩码图像至2mm*128pixels大小（像素点间隔为2mm，共128个像素点），沿z方向修剪PET影像、CT影像和二值掩码图像至2mm*64pixels像素大小。该裁剪范围的选择由实验结果确定，再该组合下可以获得较好的深度学习预测结果。
在进行所述旋转平移，是以PET影像或CT影像的横断面中心为参考点，分别在0°到360°的范围内随机旋转PET影像或CT影像，以及随机平移影像PET影像或CT影像，用以增加训练数据的多样性和改进预测模型的鲁棒性。实验后知，当平移量选择为原始图像的0-10%时，可以获得较好的预测性能。
对原始影像进行弹性形变，同样可以增加训练数据的多样性。所述弹性形变，是按照文献：Best Practices for Convolutional Neural Networks Applied to VisualDocument Analysis的方式，对PET影像或CT影像的每一个横断面的影像数组进行弹性形变，并根据肿瘤追踪结果优化弹性形变的发生概率系数，获得最优的弹性形变区间范围。最终确定在0-10%的范围内实施弹性形变将获得较好的肿瘤追踪结果。
B.多模态输入优化选择：为了确定哪一种图像（PET影像、CT影像、二值掩码图像）的输入方式可以获得最佳的预测性能，通过组合消融测试来确定输入预测模型的影像类型。组合消融测试的方式为：（1）仅PET影像为输入；（2）仅CT影像为输入；（3）PET影像+二值掩码图像为输入；（4）CT影像+二值掩码图像为输入；（5）PET影像+CT影像+二值掩码图像为输入。
测试结果：仅PET影像为输入获得了最佳模型预测性能，因此选择独立PET影像影像为最终的预测模型输入方式。该方案的另一优势是不会引入额外的靶区勾画误差，避免了组间组外差异造成的影响。
C.预测模型训练：先进行数据选择，从4家合作机构收集到293例包含完整头颈扫描的PET影像和CT影像的病例。对于深度学习而言，数据量越大，训练效果越好。同时多中心的数据入组可以确保模型的广泛性和鲁棒性。
然后对上述病例数据进行分组，通过三折交叉验证方式对测试数据集进行训练和验证。将293个病例随机分为3组，本实施例中每组的数据量为97、98、98，并依次作为每一折训练的验证集（训练集即为剩余的2组病例）。该方式可以有效避免过拟合和选择偏差问题，比单一训练集和单一验证集更有优势。
D.多时间节点的结果输出：预测模型中采用残差网络模型构建编码器，所述残差网络模型为5层，第1层为输入层，具备两个通道，分别输入预处理后的PET影像和CT影像；第2层到第4层都由基本残差单元的残差块（bottleneck）结构串联构成，所述残差块结构包括1*1卷积核、reLU激活层（reLU为神经网络中的线性整流函数）、3*3 卷积核、reLU激活层和1*1 卷积核，所述第2层到第4层对应的残差块数目分别为3、4、3。通过编码器从所述残差网络模型中逐层提取PET影像和CT影像中的影像特征。根据所关注的时间节点个数构建解码器，通过解码器将所述编码器提取的影像特征转化为对预测目标的判断，实现对每个关注的时间节点的远处转移发生概率预测。
为了将编码器获取的影像特征转化为对预测目标的判断，采用如下方案构造解码器：先通过池化将编码器提取的影像特征降维，由（512通道，16*16*16）降低为（128通道，4*4*4），再对降维后的影像特征扁平化处理，将影像特征的维数转化为8192*1。然后根据预设的阙值0.5对扁平化处理后的影像特征进行过滤筛选，仅保留值大于该阙值的影像特征，其余影像特征置0，再根据所关注的时间节点数量，设置解码器的残差网络模型最后一层的影像特征个数，例如所关注的时间节点个数为10，则残差网络模型的最后一层输出向量数为10*1。残差网络模型中每一个神经元代表了远处转移在每个时间节点发生的条件概率，当设置解码器的残差网络模型最后一层的神经元数量为n时，预测在各个时间节点上远处转移发生概率的损失函数S为：
，
其中s为第一n维向量，表示未发生远处转移的时间间隔，例如，如果远处转移发生在第i个间隔，则s的第1至第i-1个元素为1，其余元素为0；f为第二n维向量，表示发生远处转移的时间间隔，例如，如果远处转移发生在第i个时间节点，则f的第i个元素为1，其余元素为0；o为第三n维向量，表示解码器的残差网络模型最后一层神经元在各时间节点所预测的患者未达到远处转移的条件概率，如图3表示出了两个患者在多个时间节点预测的远处转移（DM）未发生概率的示意图。图3中的上下两条折线各代表一个患者在多个时间点（年度）未发生远处转移的概率。上方的折线为针对一个实际未发生远处转移的患者，预测其不会发生远处转移的预测结果；下方的折线为针对一个实际发生了远处转移的患者，预测其不会发生远处转移的预测结果。
将过滤筛选后的影像特征与最后一层的影像特征做全连接操作，最后通过sigmoid 激活函数处理最后一层的影像特征，获得最终预测结果。
E.预测结果评估：基于生存期Harrell一致性指数（Harrell' concordanceindex，也称为harrell c指数或C-index），对不同训练集对应的步骤D预测结果，量化各预测结果与实际观察结果的差异，评估对应的各预测模型的预测性能，筛选出最佳的预测模型。该步骤可以采用常规的对预测模型结果评价方案实现，具体步骤不再详述。
本发明还提供了一种用于上述预测方法的多模态核医学影像中头颈肿瘤远处转移的预测系统，如图2所示，结构包括：
医学影像预处理模块：对多模态核医学PET影像和CT影像进行数据统一和数据扩增；
多模态输入优化选择模块：对预处理模块的输出数据进行组合消融测试，确定输入预测模型的影像类型；
预测模型训练模块：对测试数据集进行训练和验证，所述测试数据集中包括完整头颈扫描的PET影像和CT影像；
多时间节点的结果输出模块：通过编码器提取PET影像和CT影像中的影像特征。所述编码器由残差网络模型构成，所述残差网络模型为5层，第1层为输入层，具备两个通道，分别用于输入预处理后的PET影像和CT影像；第2层到第4层都由基本残差单元的残差块结构串联构成，所述残差块结构包括1*1卷积核、reLU激活层、3*3 卷积核、reLU激活层和1*1卷积核，所述第2层到第4层对应的残差块数目分别为3、4、3。根据所关注的时间节点个数构建解码器，通过解码器实现对每个关注的时间节点的远处转移发生概率预测；
预测结果评估模块：对不同训练集对应的预测结果，评估对应的各预测模型的预测性能，筛选出最佳的预测模型。
本发明可以深度挖掘出个体化多模态核医学影像信息，最终形成最优模态预测方案，并能够在所关注的各个临床时间节点给出相应预测判断，极大提升了头颈肿瘤放疗后远处转移的预测准确性。
以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做相关的变形和改进，这些都属于本申请的保护范围。
Claims (10)
1.多模态核医学影像中头颈肿瘤远处转移的预测方法，其特征为：包括步骤：
A.医学影像预处理：通过对多模态核医学的PET影像和CT影像进行图像配准、网格插值、归一化处理、基于肿瘤目标的自适应裁剪、旋转平移和弹性形变的数据处理，实现多模态核医学影像对预测模型的输入数据统一和数据扩增；
B.多模态输入优化选择：通过组合消融测试，确定输入预测模型的影像类型；
C.预测模型训练：通过三折交叉验证方式对测试数据集进行训练和验证，所述测试数据集中包括完整头颈扫描的PET影像和CT影像；
D.多时间节点的结果输出：预测模型中采用残差网络模型构建编码器，通过编码器从所述残差网络模型中逐层提取PET影像和CT影像中的影像特征；根据所关注的时间节点个数构建解码器，通过解码器将所述编码器提取的影像特征转化为对预测目标的判断，实现对每个关注的时间节点的远处转移发生概率预测；
E.预测结果评估：基于生存期Harrell一致性指数，对不同训练集对应的步骤D预测结果，量化各预测结果与实际观察结果的差异，评估对应的各预测模型的预测性能，筛选出最佳的预测模型。
2.如权利要求1所述多模态核医学影像中头颈肿瘤远处转移的预测方法，其特征为：步骤A所述图像配准，是根据PET影像和CT影像的原始图像数组、配准后的图像数组和刚性变换矩阵，通过刚性配准算法对PET影像和CT影像进行图像配准。
3.如权利要求1所述多模态核医学影像中头颈肿瘤远处转移的预测方法，其特征为：步骤A进行归一化处理时，对CT影像的像素值进行过滤窗处理，选择适合进行预测的像素值后，再进行z-score归一化操作；对PET影像的所有像素点进行灰度值排序，选择灰度值排位的第2个百分位和第98个百分位为过滤窗通过范围，对PET影像进行过滤窗操作后，再进行z-score归一化操作。
4.如权利要求1所述多模态核医学影像中头颈肿瘤远处转移的预测方法，其特征为：步骤A所述基于肿瘤目标的自适应裁剪，是先根据勾画的肿瘤区轮廓生成相应的二值掩码图像，该二值掩码图像与原始的PET影像或CT影像具有相同像素尺寸，然后以二值掩码图像的质心为肿瘤区的几何中心O，以所述几何中心O为中心，分别修剪PET影像、CT影像和二值掩码图像至预设的大小。
5.如权利要求1所述多模态核医学影像中头颈肿瘤远处转移的预测方法，其特征为：步骤A所述旋转平移，是以PET影像或CT影像的横断面中心为参考点，分别在0°到360°的范围内随机旋转PET影像或CT影像，以及随机平移影像PET影像或CT影像，用以增加训练数据的多样性和改进预测模型的鲁棒性。
6.如权利要求1所述多模态核医学影像中头颈肿瘤远处转移的预测方法，其特征为：步骤A所述弹性形变，是对PET影像或CT影像的每一个横断面的影像数组进行弹性形变，并根据肿瘤追踪结果优化弹性形变的发生概率系数，获得最优的弹性形变区间范围。
7.如权利要求1所述多模态核医学影像中头颈肿瘤远处转移的预测方法，其特征为：步骤D中，所述残差网络模型为5层，第1层为输入层，具备两个通道，分别输入预处理后的PET影像和CT影像；第2层到第4层都由基本残差单元的残差块结构串联构成，所述残差块结构包括1*1卷积核、reLU激活层、3*3 卷积核、reLU激活层和1*1 卷积核，所述第2层到第4层对应的残差块数目分别为3、4、3；
在解码器中，先通过池化将编码器提取的影像特征降维，再对降维后的影像特征扁平化处理，然后根据预设的阙值对扁平化处理后的影像特征进行过滤筛选，仅保留值大于该阙值的影像特征，其余影像特征置0，再根据所关注的时间节点数量，设置解码器的残差网络模型最后一层的影像特征个数，并将过滤筛选后的影像特征与最后一层的影像特征做全连接操作，最后通过sigmoid 激活函数处理最后一层的影像特征，获得最终预测结果。
8.如权利要求7所述多模态核医学影像中头颈肿瘤远处转移的预测方法，其特征为：在解码器中，设置解码器的残差网络模型最后一层的神经元数量为n，每一个神经元代表了远处转移在每个时间节点发生的条件概率；
预测在各个时间节点上远处转移发生概率的损失函数S为：
，
其中s为第一n维向量，表示未发生远处转移的时间间隔，f为第二n维向量，表示发生远处转移的时间间隔，o为第三n维向量，表示解码器的残差网络模型最后一层神经元在各时间节点所预测的患者未达到远处转移的条件概率。
9.用于权利要求1至8任一项所述预测方法的多模态核医学影像中头颈肿瘤远处转移的预测系统，其特征包括：
医学影像预处理模块：对多模态核医学PET影像和CT影像进行数据统一和数据扩增；
多模态输入优化选择模块：对预处理模块的输出数据进行组合消融测试，确定输入预测模型的影像类型；
预测模型训练模块：对测试数据集进行训练和验证，所述测试数据集中包括完整头颈扫描的PET影像和CT影像；
多时间节点的结果输出模块：通过编码器提取PET影像和CT影像中的影像特征；根据所关注的时间节点个数构建解码器，通过解码器实现对每个关注的时间节点的远处转移发生概率预测；
预测结果评估模块：对不同训练集对应的预测结果，评估对应的各预测模型的预测性能，筛选出最佳的预测模型。
10.如权利要求9所述多模态核医学影像中头颈肿瘤远处转移的预测系统，其特征为：在多时间节点的结果输出模块中，编码器由残差网络模型构成，所述残差网络模型为5层，第1层为输入层，具备两个通道，分别用于输入预处理后的PET影像和CT影像；第2层到第4层都由基本残差单元的残差块结构串联构成，所述残差块结构包括1*1卷积核、reLU激活层、3*3 卷积核、reLU激活层和1*1 卷积核，所述第2层到第4层对应的残差块数目分别为3、4、3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311530041.7A CN117238489A (zh) | 2023-11-16 | 2023-11-16 | 多模态核医学影像中头颈肿瘤远处转移的预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311530041.7A CN117238489A (zh) | 2023-11-16 | 2023-11-16 | 多模态核医学影像中头颈肿瘤远处转移的预测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117238489A true CN117238489A (zh) | 2023-12-15 |
Family
ID=89084841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311530041.7A Pending CN117238489A (zh) | 2023-11-16 | 2023-11-16 | 多模态核医学影像中头颈肿瘤远处转移的预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117238489A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117744026A (zh) * | 2024-02-18 | 2024-03-22 | 四川省肿瘤医院 | 基于多模态的信息融合方法和肿瘤恶性概率识别系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114795123A (zh) * | 2022-04-25 | 2022-07-29 | 四川省肿瘤医院 | 放疗患者皮肤辐射损伤预测系统及方法 |
| CN115670430A (zh) * | 2022-11-18 | 2023-02-03 | 四川省肿瘤医院 | 一种适用于运动器官核磁共振成像的检测装置 |
| CN116258735A (zh) * | 2023-05-16 | 2023-06-13 | 四川省肿瘤医院 | 一种宫颈癌组织间插植针重建系统 |
-
2023
- 2023-11-16 CN CN202311530041.7A patent/CN117238489A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114795123A (zh) * | 2022-04-25 | 2022-07-29 | 四川省肿瘤医院 | 放疗患者皮肤辐射损伤预测系统及方法 |
| CN115670430A (zh) * | 2022-11-18 | 2023-02-03 | 四川省肿瘤医院 | 一种适用于运动器官核磁共振成像的检测装置 |
| CN116258735A (zh) * | 2023-05-16 | 2023-06-13 | 四川省肿瘤医院 | 一种宫颈癌组织间插植针重建系统 |
Non-Patent Citations (2)
| Title |
|---|
| YILING WANG 等: ""Deep learning based time-to-event analysis with PET, CT and joint PET/CT for head and neck cancer prognosis"", 《COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE》, pages 1 - 8 * |
| YILING WANG 等: ""Head and Neck Cancer Localization with Retina Unet for Automated Segmentation and Time-To-Event Prognosis from PET/CT Images"", 《HEAD AND NECK CANCER LOCALIZATION WITH RETINA》, pages 202 - 211 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117744026A (zh) * | 2024-02-18 | 2024-03-22 | 四川省肿瘤医院 | 基于多模态的信息融合方法和肿瘤恶性概率识别系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112292691B (zh) | 用于使用深度学习提高癌症检测的方法与系统 | |
| Biffi et al. | Explainable anatomical shape analysis through deep hierarchical generative models | |
| CN111488914A (zh) | 一种基于多任务学习的阿尔茨海默症分类及预测系统 | |
| Ypsilantis et al. | Recurrent convolutional networks for pulmonary nodule detection in CT imaging | |
| WO2021186592A1 (ja) | 診断支援装置及びモデル生成装置 | |
| CN113693563B (zh) | 一种基于超图注意力网络的脑功能网络分类方法 | |
| CN113113130A (zh) | 一种肿瘤个体化诊疗方案推荐方法 | |
| CN111539491B (zh) | 基于深度学习与注意力机制的多发性结节分类系统和方法 | |
| CN117238489A (zh) | 多模态核医学影像中头颈肿瘤远处转移的预测方法及系统 | |
| Mienye et al. | Improved predictive sparse decomposition method with densenet for prediction of lung cancer | |
| Ramamurthy et al. | Deep learning based genome analysis and NGS-RNA LL identification with a novel hybrid model | |
| CN112820399A (zh) | 自动诊断甲状腺结节良恶性的方法及装置 | |
| CN112598613A (zh) | 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法 | |
| CN117218453B (zh) | 一种不完备多模态医学影像学习方法 | |
| CN116030325A (zh) | 基于深度混合学习框架的肺结节ct图像识别方法 | |
| Ghosal et al. | Lung Nodule Classification Using Convolutional Autoencoder and Clustering Augmented Learning Method (CALM). | |
| Kareem et al. | Skin lesions classification using deep learning techniques | |
| CN117079801B (zh) | 一种结直肠癌的预后风险预测系统 | |
| Kamli et al. | Synthetic medical image generator for data augmentation and anonymisation based on generative adversarial network for glioblastoma tumors growth prediction | |
| CN117152179A (zh) | 基于U-Net和SENet实现直肠癌CT图像的分割与分类方法 | |
| CN116797817A (zh) | 基于自监督图卷积模型的自闭症疾病预测技术 | |
| CN114612478B (zh) | 一种基于深度学习的女性盆腔mri自动勾画系统 | |
| CN114445426B (zh) | 内窥镜图像中息肉区域的分割方法、装置及相关组件 | |
| CN115526898A (zh) | 一种医学影像分割方法 | |
| CN115937083A (zh) | 一种融合先验信息的前列腺磁共振图像区域分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |