CN117830209A - 一种基于18f-fdg pet/ct的帕金森病预测方法及装置 - Google Patents
一种基于18f-fdg pet/ct的帕金森病预测方法及装置 Download PDFInfo
- Publication number
- CN117830209A CN117830209A CN202311479163.8A CN202311479163A CN117830209A CN 117830209 A CN117830209 A CN 117830209A CN 202311479163 A CN202311479163 A CN 202311479163A CN 117830209 A CN117830209 A CN 117830209A
- Authority
- CN
- China
- Prior art keywords
- feature vector
- image
- prediction
- parkinsonism
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000027089 Parkinsonian disease Diseases 0.000 title claims abstract description 77
- 206010034010 Parkinsonism Diseases 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 151
- 208000018737 Parkinson disease Diseases 0.000 claims abstract description 33
- 210000004556 brain Anatomy 0.000 claims abstract description 19
- 238000003745 diagnosis Methods 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 165
- 238000012545 processing Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 101100189913 Caenorhabditis elegans pept-1 gene Proteins 0.000 claims description 4
- 101100243399 Caenorhabditis elegans pept-2 gene Proteins 0.000 claims description 4
- 239000000203 mixture Substances 0.000 abstract description 5
- 239000003814 drug Substances 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 abstract 1
- 210000001519 tissue Anatomy 0.000 description 63
- 238000012636 positron electron tomography Methods 0.000 description 48
- 230000006870 function Effects 0.000 description 5
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 239000008103 glucose Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000002247 constant time method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- AOYNUTHNTBLRMT-SLPGGIOYSA-N 2-deoxy-2-fluoro-aldehydo-D-glucose Chemical compound OC[C@@H](O)[C@@H](O)[C@H](O)[C@@H](F)C=O AOYNUTHNTBLRMT-SLPGGIOYSA-N 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000004165 myocardium Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- ZCXUVYAZINUVJD-AHXZWLDOSA-N 2-deoxy-2-((18)F)fluoro-alpha-D-glucose Chemical compound OC[C@H]1O[C@H](O)[C@H]([18F])[C@@H](O)[C@@H]1O ZCXUVYAZINUVJD-AHXZWLDOSA-N 0.000 description 1
- 206010006100 Bradykinesia Diseases 0.000 description 1
- 208000006083 Hypokinesia Diseases 0.000 description 1
- 206010052904 Musculoskeletal stiffness Diseases 0.000 description 1
- 238000012879 PET imaging Methods 0.000 description 1
- 208000032023 Signs and Symptoms Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004153 glucose metabolism Effects 0.000 description 1
- 239000012216 imaging agent Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010253 intravenous injection Methods 0.000 description 1
- 230000007102 metabolic function Effects 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004770 neurodegeneration Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Neurology (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Neurosurgery (AREA)
- Quality & Reliability (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Developmental Disabilities (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Physiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及帕金森病研究技术领域，具体公开了一种基于18F‑FDG PET/CT的帕金森病预测方法及装置，方法包括：获取训练样本，根据组织成分提取软件提取CT影像图对应的组织标签，结合对第一ViT网络模型运算得到的组织成分预测结果对第一ViT网络模型进行训练，结合第二ViT网络模型中运算得到的帕金森病预测结果和训练样本的真实诊断结果对第二ViT网络模型进行训练，获取预测样本，根据训练后的第一ViT网络模型和第二ViT网络模型得到对应的组织成分预测结果和帕金森病预测结果。本发明建立了两个ViT网络模型对大脑影像进行特征学习，并得到对应的组织成分预测结果和帕金森病预测结果，从而在较少的训练样本之下尽可能的提取样本中的信息，使得帕金森病的预测准确度更高。
Description
技术领域
本发明涉及帕金森病研究技术领域，尤其涉及一种基于18F-FDG PET/CT的帕金森病预测方法及装置。
背景技术
18F-FDG是指氟代脱氧葡萄糖，其完整的化学名称为2-氟-2-脱氧-D-葡萄糖，英文全称为β-2-[18F]-Fluoro-2-deoxy-D-glucose，通常简称为18F-flurodeoxyglucose，即18F-FDG。葡萄糖是人体三大能源物质之一，将可以被PET探测并形成影像的的正电子核素18F标记在葡萄糖上，即18F-脱氧葡萄糖(18F-FDG)。因为18F-FDG可准确反映体内器官/组织的葡萄糖代谢水平，因此被誉为“世纪分子”，是PET/CT显像的主要显像剂。恶性肿瘤细胞由于代谢旺盛，导致对葡萄糖的需求增加，因此静脉注射葡萄糖类似物--18F-FDG后，大多数肿瘤病灶会表现为对18F-FDG的高摄取，因此应用18F-FDG PET/CT显像可早期发现全身肿瘤原发及转移病灶，对良恶性肿瘤进行鉴别，从而正确指导临床治疗决策。此外，通过对心肌、脑组织的18F-FDG糖代谢功能测定，可早期发现和诊断存活心肌和脑功能性病变，干预疾病的发生发展，达到早期防治目的。
帕金森病(PD，Parkinson’s disease)是一种老龄人群中最常见的神经退行性疾病，其重要的临床特征是震颤、运动迟缓、僵硬和姿势不稳。由于帕金森病具有隐袭起病、逐渐进展的特点，常规血、脑脊液检查多无异常，头颅CT、MRI检查也无特征性改变，因此传统医学中对帕金森病的诊断主要依靠病史、临床症状及体征，而没有统一的标准诊断方法。机器学习(ML，Machine Learning)技术在挖掘数据中隐藏关系的能力、抵抗数据错误的能力、向患者和医生提供交互式反馈/监控总结的能力及对大量病人数据进行处理的能力等多方面，都相较于其他方法具有优越性，因此基于ML的支持工具在增强帕金森病临床诊断准确性、可靠性、评估的效率等方面有着很大的潜力。
但是目前，利用神经网络实现对18F-FDG PET/CT的帕金森病的预测方案非常少，且已有的方案呈现的预测效果精度很低，主要原因则是因为数据集过小，无法提取足够多特征参数。所以基于上述问题，如何设计一种在数据集较少的情况下实现更高准确度的帕金森病预测方案，是一个亟待解决的问题。
发明内容
针对现有技术中的技术问题，本发明提供一种基于18F-FDG PET/CT的帕金森病预测方法及装置。
本发明公开了一种基于18F-FDG PET/CT的帕金森病预测方法，包括步骤：
获取若干大脑影像训练样本，每个训练样本中包含同一样本人员的若干张PET影像图和若干张CT影像图；
基于预设的组织成分提取软件提取所有训练样本中所述CT影像图的组织成分，并生成对应的组织标签；
将所述训练样本中的所述CT影像图输入到预设的第一ViT网络模型中进行运算得到特征向量Vct，并根据所述训练样本对应的所述特征向量Vct得到组织成分预测结果Oct；
基于所述训练样本对应的所述组织标签和所述组织成分预测结果Oct对所述第一ViT网络模型进行训练；
将所述训练样本中的所述PET影像图输入到预设的第二ViT网络模型中进行运算，得到特征向量Vpet0；
根据所述训练样本对应的所述特征向量Vct和所述特征向量Vpet0计算得到帕金森病特征向量VP，并根据所述帕金森病特征向量VP输出帕金森病预测结果；
基于所述帕金森病预测结果和所述训练样本的真实诊断结果对所述第二ViT网络模型进行训练；
获取大脑影像预测样本，所述预测样本中包含同一预测人员的若干张PET影像图和若干张CT影像图；
将所述预测样本中的所述CT影像图输入到训练后的第一ViT网络模型中进行运算得到特征向量Vct，并根据所述预测样本对应的所述特征向量Vct得到预测样本的组织成分预测结果Oct；
将所述预测样本中的所述PET影像图输入到训练后的第二ViT网络模型中进行运算，得到特征向量Vpet0，基于所述预测样本对应的所述特征向量Vct和所述特征向量Vpet0计算得到帕金森病特征向量VP，并根据所述预测样本对应的所述帕金森病特征向量VP输出帕金森病预测结果。
进一步的，预测方法还包括：
将所述训练样本中的所述PET影像图进行第一预设比例的随机掩膜处理，再输入到预设的第二ViT网络模型中进行运算，得到特征向量Vpet1；
根据所述训练样本对应的所述特征向量Vct和所述特征向量Vpet1得到第一掩膜预测结果；
基于所述第一掩膜预测结果和所述训练样本中的所述PET影像图对所述第二ViT网络模型进行训练。
进一步的，预测方法还包括：
将所述训练样本中的所述PET影像图进行第二预设比例的随机掩膜处理，再输入到预设的第二ViT网络模型中进行运算，得到特征向量Vpet2；所述第一预设比例和所述第二预设比例不相等；
根据所述训练样本对应的所述特征向量Vpet2得到第二掩膜预测结果；
基于所述第二掩膜预测结果和所述训练样本中的所述PET影像图对所述第二ViT网络模型进行训练。
进一步的，预测方法还包括：
将每个训练样本中的所述PET影像图和所述CT影像图分别进行归一化处理，得到尺寸相同的3D影像，并将所述3D影像切分成l*m*n个方格影像；
将预测样本中的所述PET影像图和所述CT影像图分别进行归一化处理，得到尺寸相同的的3D影像，并将所述3D影像切分成l*m*n个方格影像；
以及，
将所述训练样本中的所述CT影像图对应的3D影像和方格影像输入到预设的第一ViT网络模型中进行运算；
将所述训练样本中的所述PET影像图对应的3D影像和方格影像输入到预设的第二ViT网络模型中进行运算；
将所述预测样本中的所述CT影像图对应的3D影像和方格影像输入到训练后的第一ViT网络模型中进行运算；
将所述预测样本中的所述PET影像图对应的3D影像和方格影像输入到训练后的第二ViT网络模型中进行运算。
进一步的，所述第一预设比例为5％，所述第二预设比例为2％。
进一步的，根据特征向量Vct得到组织成分预测结果Oct，包括：
其中，VctOw表示特征向量Vct中与3D影像对应的部分，Vctlmn表示特征向量Vct中与方格影像对应的部分；i、j、k均为正整数，且2<i≤l-2，2<j≤m-2，2<k≤n-2。
进一步的，根据所述训练样本对应的所述特征向量Vct和所述特征向量Vpet1得到第一掩膜预测结果，包括：
计算
其中，Opet1ijk为第一掩膜预测结果，VpetOw表示特征向量Vpet1中与3D影像对应的部分，Vpetlmn表示特征向量Vpet1中与方格影像对应的部分。
进一步的，根据所述训练样本对应的所述特征向量Vpet2得到第二掩膜预测结果，包括：
计算
其中，Opet2ijk为第二掩膜预测结果。
进一步的，基于所述特征向量Vct和所述特征向量Vpet0计算得到帕金森病特征向量VP，并根据所述帕金森病特征向量VP输出帕金森病预测结果，包括：
将所述特征向量Vct和所述特征向量Vpet0进行拼接，得到所述帕金森病特征向量VP；
将所述帕金森病特征向量VP进行全连接运算，得到所述帕金森病预测结果。
本发明还包括一种基于18F-FDG PET/CT的帕金森病预测装置，所述预测装置包括数据获取模块、组织成分提取软件模块、模型训练模块以及预测模块；其中：
所述数据获取模块，与所述组织成分提取软件模块、模型训练模块以及预测模块相连接；所述数据获取模块用于获取若干大脑影像训练样本，每个训练样本中包含同一样本人员的若干张PET影像图和若干张CT影像图；以及，获取大脑影像预测样本，所述预测样本中包含同一预测人员的若干张PET影像图和若干张CT影像图；
所述组织成分提取软件模块，与所述数据获取模块、模型训练模块相连接；所述组织成分提取软件模块用于基于预设的组织成分提取软件提取所有训练样本中所述CT影像图的组织成分，并生成对应的组织标签；
所述模型训练模块，与所述数据获取模块、组织成分提取软件模块以及预测模块相连接；所述模型训练模块用于将所述训练样本中的所述CT影像图输入到预设的第一ViT网络模型中进行运算得到特征向量Vct，并根据所述训练样本对应的所述特征向量Vct得到组织成分预测结果Oct；基于所述训练样本对应的所述组织标签和所述组织成分预测结果Oct对所述第一ViT网络模型进行训练；将所述训练样本中的所述PET影像图输入到预设的第二ViT网络模型中进行运算，得到特征向量Vpet0；根据所述训练样本对应的所述特征向量Vct和所述特征向量Vpet0计算得到帕金森病特征向量VP，并根据所述帕金森病特征向量VP输出帕金森病预测结果；基于所述帕金森病预测结果和所述训练样本的真实诊断结果对所述第二ViT网络模型进行训练；
所述预测模块，与所述数据获取模块、模型训练模块相连接；所述预测模块用于将所述预测样本中的所述CT影像图输入到训练后的第一ViT网络模型中进行运算得到特征向量Vct，并根据所述预测样本对应的所述特征向量Vct得到预测样本的组织成分预测结果Oct；将所述预测样本中的所述PET影像图输入到训练后的第二ViT网络模型中进行运算，得到特征向量Vpet0，基于所述预测样本对应的所述特征向量Vct和所述特征向量Vpet0计算得到帕金森病特征向量VP，并根据所述预测样本对应的所述帕金森病特征向量VP输出帕金森病预测结果。
本发明的基于18F-FDG PET/CT的帕金森病预测方法及装置，首先获取若干包含PET影像图和CT影像图的大脑影像训练样本，然后根据预设的组织成分提取软件提取到CT影像图对应的组织标签，再结合对第一ViT网络模型运算得到的组织成分预测结果对第一ViT网络模型进行训练，以及结合第二ViT网络模型中运算得到的帕金森病预测结果和训练样本的真实诊断结果对第二ViT网络模型进行训练，从而在获取到预测样本之后，能够根据训练后的第一ViT网络模型和第二ViT网络模型得到对应的组织成分预测结果和帕金森病预测结果。本发明建立了两个ViT网络模型对大脑影像进行特征学习，并得到了对应的织成分预测结果和帕金森病预测结果，从而在较少的训练样本之下尽可能的提取样本中的信息，使得帕金森病的预测准确度更高。
附图说明
为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明实施例的基于18F-FDG PET/CT的帕金森病预测方法的步骤流程图；
图2为本发明实施例的基于18F-FDG PET/CT的帕金森病预测装置的结构组成图。
具体实施方式
下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通的技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明的保护范围。
本发明实施例的一种基于18F-FDG PET/CT的帕金森病预测方法，如图1所示，包括步骤：
步骤S101：获取若干大脑影像训练样本，每个训练样本中包含同一样本人员的若干张PET影像图和若干张CT影像图。
PET影像图和若干张CT影像图均为线扫描，根据设定的层数，可以获得对应张数的影像图。本发明实施例为了后续运算的一致性，将每个训练样本中包含的PET影像图和CT影像图的数量均相同。更为优选的，所有训练样本的影像图通过同一型号或同一影像机器采集得到。
在训练样本的影像图被用于模型训练之前，优选的，还包括预处理步骤，即：将每个训练样本中的PET影像图和CT影像图分别进行归一化处理，得到尺寸相同的3D影像，并将3D影像切分成l*m*n个方格影像。
例如，通过归一化处理得到的3D影像尺寸为128*256*256(mm)，分别表示3D影像的长、宽、高。将3D影像切分成尺寸为32*32*32的方格影像，则共切分有4*8*8＝256个方格影像。
更为具体的，在256个方格影像之外再增加一个全局特征向量Ow，变成257个特征向量，每个方格影像的特征维度为32*32*32(＝32768)，然后将特征维度转为16头，每头维度为128*8(即16*128*8＝32768)。
将训练样本的影像图进行预处理之后，继续执行后续步骤。
步骤S102：基于预设的组织成分提取软件提取所有训练样本中CT影像图的组织成分，并生成对应的组织标签。
此步骤是为了得到组织标签，作为真实值用于模型的学习训练。本发明实施例的组织成分提取软件可选用“MIMICS医学影像控制系统”，来生成影像中各组织成分图并制作为单独的组织标签。组织成分例如“骨”、“软组织”、“皮肤”等。当生成“骨”组织标签时，对应点若为骨，则标注为1，若不为骨，则标注为0，其他组织同理。
步骤S103：将训练样本中的CT影像图输入到预设的第一ViT网络模型中进行运算得到特征向量Vct，并根据训练样本对应的特征向量Vct得到组织成分预测结果Oct。
首先，本发明实施例的其中一个模型为“第一ViT网络模型”，该模型是为了对影像图中的组织成分进行识别，最终得到组织成分预测结果Oct。
基于前述对训练样本的预处理，本步骤为：将训练样本中的CT影像图对应的3D影像和方格影像输入到预设的第一ViT网络模型中进行运算、步骤S104：基于训练样本对应的组织标签和组织成分预测结果Oct对第一ViT网络模型进行训练。
第一ViT网络模型根据训练样本进行预测，再根据步骤S102得到的组织标签(真实值)进行训练，使得第一ViT网络模型进行深度学习，在后续使用时能够得到更为准确的预测结果。本发明实施例中，对第一ViT网络模型进行训练时，将损失函数确定为组织标签和组织成分预测结果Oct的绝对差值，当绝对差值越趋近于零，说明模型参数越佳。
步骤S105：将训练样本中的PET影像图输入到预设的第二ViT网络模型中进行运算，得到特征向量Vpet0。
本发明实施例的另一个模型为“第二ViT网络模型”，该模型是为了根据影像图预测帕金森病的患病结果。
基于前述对训练样本的预处理，本步骤为：将训练样本中的PET影像图对应的3D影像和方格影像输入到预设的第二ViT网络模型中进行运算。
步骤S106：根据训练样本对应的特征向量Vct和特征向量Vpet0计算得到帕金森病特征向量VP，并根据帕金森病特征向量VP输出帕金森病预测结果。
本发明实施例中，得出帕金森病预测结果是根据特征向量Vct和特征向量Vpet0二者结合得到的。
步骤S107：基于帕金森病预测结果和训练样本的真实诊断结果对第二ViT网络模型进行训练。
第二ViT网络模型根据训练样本预测得到帕金森病预测结果，再根据训练样本的真实诊断结果进行训练，将损失函数确定为预测结果和真实诊断结果的绝对差值进行反向传播，当绝对差值越趋近于零，说明模型参数越佳。
本实施例中的训练样本的真实诊断结果可通过专家或者专业医生诊断出具。
根据以上步骤对模型训练完成之后，可用于预测样本的预测。包括步骤：
步骤S108：获取大脑影像预测样本，预测样本中包含同一预测人员的若干张PET影像图和若干张CT影像图。
本步骤预测样本的影像图，也同前述训练样本的处理过程一样，即：将预测样本中的PET影像图和CT影像图分别进行归一化处理，得到尺寸相同的的3D影像，并将3D影像切分成l*m*n个方格影像。
步骤S109：将预测样本中的CT影像图输入到训练后的第一ViT网络模型中进行运算得到特征向量Vct，并根据预测样本对应的特征向量Vct得到预测样本的组织成分预测结果Oct。
此步骤对应包括有：将预测样本中的CT影像图对应的3D影像和方格影像输入到训练后的第一ViT网络模型中进行运算。
步骤S110：将预测样本中的PET影像图输入到训练后的第二ViT网络模型中进行运算，得到特征向量Vpet0，基于预测样本对应的特征向量Vct和特征向量Vpet0计算得到帕金森病特征向量VP，并根据预测样本对应的帕金森病特征向量VP输出帕金森病预测结果。
此步骤对应包括有：将预测样本中的PET影像图对应的3D影像和方格影像输入到训练后的第二ViT网络模型中进行运算。
具体的，本发明实施例在上一实施例的基础上，还包括：
步骤S111：将训练样本中的PET影像图进行第一预设比例的随机掩膜处理，再输入到预设的第二ViT网络模型中进行运算，得到特征向量Vpet1。
本发明实施例增加了对第二ViT网络模型的处理，假设第一预设比例为5％，表明本步骤将PET影像图随机mask掉5％的影像，此实施例是为了对第二ViT网络模型的进一步训练，使得训练后的第二ViT网络模型对PET影像图更加了解，从而训练或者预测得到的帕金森病预测结果准确度更高。
步骤S112：根据训练样本对应的特征向量Vct和特征向量Vpet1得到第一掩膜预测结果。
第一掩膜预测结果与特征向量Vct和特征向量Vpet1二者相关，这是由于本实施例将第一预设比例设定为5％时，被mask掉的影像图较多，所以增加CT影像图的特征向量以提升预测结果的准确度。
步骤S113：基于第一掩膜预测结果和训练样本中的PET影像图对第二ViT网络模型进行训练。
得到第一掩膜预测结果之后，结合训练样本中的PET影像图对第二ViT网络模型进行训练。同样的，将损失函数设定为第一掩膜预测结果和PET影像图的绝对差值，利用损失函数进行反向传播，以减少损失为目标，优化第二ViT网络模型的参数。
具体的，本发明实施例在以上实施例的基础上，还包括：
步骤S114：将训练样本中的PET影像图进行第二预设比例的随机掩膜处理，再输入到预设的第二ViT网络模型中进行运算，得到特征向量Vpet2；第一预设比例和第二预设比例不相等；
步骤S115：根据训练样本对应的特征向量Vpet2得到第二掩膜预测结果；
步骤S116：基于第二掩膜预测结果和训练样本中的PET影像图对第二ViT网络模型进行训练。
优选的，本实施例中的第二预设比例小于第一预设比例，例如将第二预设比例设定为2％，此步骤中，由于mask掉的影像图相对较少，所以并不与CT影像图相结合，而是直接根据训练样本对应的特征向量Vpet2得到第二掩膜预测结果，并以PET影像图作为真实值对第二ViT网络模型进行训练。
具体的，本发明实施例中，根据特征向量Vct得到组织成分预测结果Oct，包括：
其中，VctOw表示特征向量Vct中与3D影像对应的部分，Vctlmn表示特征向量Vct中与方格影像对应的部分；i、j、k均为正整数，且2<i≤l-2，2<j≤m-2，2<k≤n-2。
本实施例对于i、j、k的取值范围，以l、m、n的最大值进行确定。例如，3D影像切分成100*100*100个方格影像时，i、j、k的取值范围应当为2<i≤98，2<j≤98，2<k≤98，则计算第5*3*8位置的方格影像的特征向量时，组织成分预测结果Oct为：计算第98*98*98位置的方格影像的特征向量时，组织成分预测结果Oct为：
本实施例不局限于对训练样本还是对预测样本的处理，因为二者所得的数据量相同。将VctOw称为CT影像图对应的全局特征向量，与方格影像的特征向量Vctlmn进行self-attention运算，从而得到每个方格对应的预测结果Octijk，然后进行全连接运算，得到组织成分预测结果Oct。
具体的，本发明实施例中，根据训练样本对应的特征向量Vct和特征向量Vpet1得到第一掩膜预测结果，包括：
计算
其中，Opet1ijk为第一掩膜预测结果，VpetOw表示特征向量Vpet1中与3D影像对应的部分，Vpetlmn表示特征向量Vpet1中与方格影像对应的部分。
方块Opet1ijk对应的第一掩膜预测结果包括两部分内容，其一为CT影像图对应的全局特征向量与方格影像的特征向量进行self-attention运算，其二为PET影像图对应的全局特征向量VpetOw与方格影像的特征向量Vpetlmn进行cross-attention运算，从而得到每个方格对应的第一掩膜预测结果Opet1ijk，然后进行全连接运算，得到第一掩膜预测结果Opet1。
具体的，本发明实施例中，根据训练样本对应的特征向量Vpet2得到第二掩膜预测结果，包括：
计算
其中，Opet2ijk为第二掩膜预测结果。
本步骤中，将PET影像图对应的全局特征向量VpetOw与方格影像的特征向量Vpetlmn进行attention运算，从而得到每个方格对应的第二掩膜预测结果Opet2ijk，然后进行全连接运算，得到第二掩膜预测结果Opet2。
具体的，基于特征向量Vct和特征向量Vpet0计算得到帕金森病特征向量VP，并根据帕金森病特征向量VP输出帕金森病预测结果，包括：
将特征向量Vct和特征向量Vpet0进行拼接，得到帕金森病特征向量VP；
将帕金森病特征向量VP进行全连接运算，得到帕金森病预测结果。
本发明实施例还包括一种基于18F-FDG PET/CT的帕金森病预测装置，如图2所示，预测装置100包括数据获取模块101、组织成分提取软件模块102、模型训练模块103以及预测模块104；其中：
数据获取模块101，与组织成分提取软件模块102、模型训练模块103以及预测模块104相连接；数据获取模块101用于获取若干大脑影像训练样本，每个训练样本中包含同一样本人员的若干张PET影像图和若干张CT影像图；以及，获取大脑影像预测样本，预测样本中包含同一预测人员的若干张PET影像图和若干张CT影像图；
组织成分提取软件模块102，与数据获取模块101、模型训练模块103相连接；组织成分提取软件模块102用于基于预设的组织成分提取软件提取所有训练样本中CT影像图的组织成分，并生成对应的组织标签；
模型训练模块103，与数据获取模块101、组织成分提取软件模块102以及预测模块104相连接；模型训练模块103用于将训练样本中的CT影像图输入到预设的第一ViT网络模型中进行运算得到特征向量Vct，并根据训练样本对应的特征向量Vct得到组织成分预测结果Oct；基于训练样本对应的组织标签和组织成分预测结果Oct对第一ViT网络模型进行训练；将训练样本中的PET影像图输入到预设的第二ViT网络模型中进行运算，得到特征向量Vpet0；根据训练样本对应的特征向量Vct和特征向量Vpet0计算得到帕金森病特征向量VP，并根据帕金森病特征向量VP输出帕金森病预测结果；基于帕金森病预测结果和训练样本的真实诊断结果对第二ViT网络模型进行训练；
预测模块104，与数据获取模块101、模型训练模块103相连接；预测模块104用于将预测样本中的CT影像图输入到训练后的第一ViT网络模型中进行运算得到特征向量Vct，并根据预测样本对应的特征向量Vct得到预测样本的组织成分预测结果Oct；将预测样本中的PET影像图输入到训练后的第二ViT网络模型中进行运算，得到特征向量Vpet0，基于预测样本对应的特征向量Vct和特征向量Vpet0计算得到帕金森病特征向量VP，并根据预测样本对应的帕金森病特征向量VP输出帕金森病预测结果。
本发明预测装置100的相关功能可结合前述方法实施例的相关步骤进行理解，此处将不再赘述。
本发明实施例的基于18F-FDG PET/CT的帕金森病预测方法及装置，首先获取若干包含PET影像图和CT影像图的大脑影像训练样本，然后根据预设的组织成分提取软件提取到CT影像图对应的组织标签，再结合对第一ViT网络模型运算得到的组织成分预测结果对第一ViT网络模型进行训练，以及结合第二ViT网络模型中运算得到的帕金森病预测结果和训练样本的真实诊断结果对第二ViT网络模型进行训练，从而在获取到预测样本之后，能够根据训练后的第一ViT网络模型和第二ViT网络模型得到对应的组织成分预测结果和帕金森病预测结果。本发明建立了两个实现了两个ViT网络模型对大脑影像进行特征学习，并得到了对应的织成分预测结果和帕金森病预测结果，从而在较少的训练样本之下尽可能的提取样本中的信息，使得帕金森病的预测准确度更高。
以上借助具体实施例对本发明做了进一步描述，但是应该理解的是，这里具体的描述，不应理解为对本发明的实质和范围的限定，本领域内的普通技术人员在阅读本说明书后对上述实施例做出的各种修改，都属于本发明所保护的范围。
Claims (10)
1.一种基于18F-FDG PET/CT的帕金森病预测方法，其特征在于，包括步骤：
获取若干大脑影像训练样本，每个训练样本中包含同一样本人员的若干张PET影像图和若干张CT影像图；
基于预设的组织成分提取软件提取所有训练样本中所述CT影像图的组织成分，并生成对应的组织标签；
将所述训练样本中的所述CT影像图输入到预设的第一ViT网络模型中进行运算得到特征向量Vct，并根据所述训练样本对应的所述特征向量Vct得到组织成分预测结果Oct；
基于所述训练样本对应的所述组织标签和所述组织成分预测结果Oct对所述第一ViT网络模型进行训练；
将所述训练样本中的所述PET影像图输入到预设的第二ViT网络模型中进行运算，得到特征向量Vpet0；
根据所述训练样本对应的所述特征向量Vct和所述特征向量Vpet0计算得到帕金森病特征向量VP，并根据所述帕金森病特征向量VP输出帕金森病预测结果；
基于所述帕金森病预测结果和所述训练样本的真实诊断结果对所述第二ViT网络模型进行训练；
获取大脑影像预测样本，所述预测样本中包含同一预测人员的若干张PET影像图和若干张CT影像图；
将所述预测样本中的所述CT影像图输入到训练后的第一ViT网络模型中进行运算得到特征向量Vct，并根据所述预测样本对应的所述特征向量Vct得到预测样本的组织成分预测结果Oct；
将所述预测样本中的所述PET影像图输入到训练后的第二ViT网络模型中进行运算，得到特征向量Vpet0，基于所述预测样本对应的所述特征向量Vct和所述特征向量Vpet0计算得到帕金森病特征向量VP，并根据所述预测样本对应的所述帕金森病特征向量VP输出帕金森病预测结果。
2.如权利要求1所述的一种基于18F-FDG PET/CT的帕金森病预测方法，其特征在于，还包括：
将所述训练样本中的所述PET影像图进行第一预设比例的随机掩膜处理，再输入到预设的第二ViT网络模型中进行运算，得到特征向量Vpet1；
根据所述训练样本对应的所述特征向量Vct和所述特征向量Vpet1得到第一掩膜预测结果；
基于所述第一掩膜预测结果和所述训练样本中的所述PET影像图对所述第二ViT网络模型进行训练。
3.如权利要求2所述的一种基于18F-FDG PET/CT的帕金森病预测方法，其特征在于，还包括：
将所述训练样本中的所述PET影像图进行第二预设比例的随机掩膜处理，再输入到预设的第二ViT网络模型中进行运算，得到特征向量Vpet2；所述第一预设比例和所述第二预设比例不相等；
根据所述训练样本对应的所述特征向量Vpet2得到第二掩膜预测结果；
基于所述第二掩膜预测结果和所述训练样本中的所述PET影像图对所述第二ViT网络模型进行训练。
4.如权利要求3所述的一种基于18F-FDG PET/CT的帕金森病预测方法，其特征在于，还包括：
将预测样本中的所述PET影像图和所述CT影像图分别进行归一化处理，得到尺寸相同的的3D影像，并将所述3D影像切分成l*m*n个方格影像；
以及，
将所述训练样本中的所述CT影像图对应的3D影像和方格影像输入到预设的第一ViT网络模型中进行运算；
将所述训练样本中的所述PET影像图对应的3D影像和方格影像输入到预设的第二ViT网络模型中进行运算；
将所述预测样本中的所述CT影像图对应的3D影像和方格影像输入到训练后的第一ViT网络模型中进行运算；
将所述预测样本中的所述PET影像图对应的3D影像和方格影像输入到训练后的第二ViT网络模型中进行运算。
5.如权利要求4所述的一种基于18F-FDG PET/CT的帕金森病预测方法，其特征在于，所述第一预设比例为5％，所述第二预设比例为2％。
6.如权利要求4所述的一种基于18F-FDG PET/CT的帕金森病预测方法，其特征在于，根据特征向量Vct得到组织成分预测结果Oct，包括：
其中，VctOw表示特征向量Vct中与3D影像对应的部分，Vctlmn表示特征向量Vct中与方格影像对应的部分；i、j、k均为正整数，且2<i≤l-2，2<j≤m-2，2<k≤n-2。
7.如权利要求6所述的一种基于18F-FDG PET/CT的帕金森病预测方法，其特征在于，根据所述训练样本对应的所述特征向量Vct和所述特征向量Vpet1得到第一掩膜预测结果，包括：
计算
其中，Opet1ijk为第一掩膜预测结果，VpetOw表示特征向量Vpet1中与3D影像对应的部分，Vpetlmn表示特征向量Vpet1中与方格影像对应的部分。
8.如权利要求7所述的一种基于18F-FDG PET/CT的帕金森病预测方法，其特征在于，根据所述训练样本对应的所述特征向量Vpet2得到第二掩膜预测结果，包括：
计算
其中，Opet2ijk为第二掩膜预测结果。
9.如权利要求8所述的一种基于18F-FDG PET/CT的帕金森病预测方法，其特征在于，基于所述特征向量Vct和所述特征向量Vpet0计算得到帕金森病特征向量VP，并根据所述帕金森病特征向量VP输出帕金森病预测结果，包括：
将所述特征向量Vct和所述特征向量Vpet0进行拼接，得到所述帕金森病特征向量VP；
将所述帕金森病特征向量VP进行全连接运算，得到所述帕金森病预测结果。
10.一种基于18F-FDG PET/CT的帕金森病预测装置，其特征在于，所述预测装置包括数据获取模块、组织成分提取软件模块、模型训练模块以及预测模块；其中：
所述数据获取模块，与所述组织成分提取软件模块、模型训练模块以及预测模块相连接；所述数据获取模块用于获取若干大脑影像训练样本，每个训练样本中包含同一样本人员的若干张PET影像图和若干张CT影像图；以及，获取大脑影像预测样本，所述预测样本中包含同一预测人员的若干张PET影像图和若干张CT影像图；
所述组织成分提取软件模块，与所述数据获取模块、模型训练模块相连接；所述组织成分提取软件模块用于基于预设的组织成分提取软件提取所有训练样本中所述CT影像图的组织成分，并生成对应的组织标签；
所述模型训练模块，与所述数据获取模块、组织成分提取软件模块以及预测模块相连接；所述模型训练模块用于将所述训练样本中的所述CT影像图输入到预设的第一ViT网络模型中进行运算得到特征向量Vct，并根据所述训练样本对应的所述特征向量Vct得到组织成分预测结果Oct；基于所述训练样本对应的所述组织标签和所述组织成分预测结果Oct对所述第一ViT网络模型进行训练；将所述训练样本中的所述PET影像图输入到预设的第二ViT网络模型中进行运算，得到特征向量Vpet0；根据所述训练样本对应的所述特征向量Vct和所述特征向量Vpet0计算得到帕金森病特征向量VP，并根据所述帕金森病特征向量VP输出帕金森病预测结果；基于所述帕金森病预测结果和所述训练样本的真实诊断结果对所述第二ViT网络模型进行训练；
所述预测模块，与所述数据获取模块、模型训练模块相连接；所述预测模块用于将所述预测样本中的所述CT影像图输入到训练后的第一ViT网络模型中进行运算得到特征向量Vct，并根据所述预测样本对应的所述特征向量Vct得到预测样本的组织成分预测结果Oct；将所述预测样本中的所述PET影像图输入到训练后的第二ViT网络模型中进行运算，得到特征向量Vpet0，基于所述预测样本对应的所述特征向量Vct和所述特征向量Vpet0计算得到帕金森病特征向量VP，并根据所述预测样本对应的所述帕金森病特征向量VP输出帕金森病预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311479163.8A CN117830209B (zh) | 2023-11-07 | 2023-11-07 | 一种基于18f-fdg pet/ct的帕金森病预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311479163.8A CN117830209B (zh) | 2023-11-07 | 2023-11-07 | 一种基于18f-fdg pet/ct的帕金森病预测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117830209A true CN117830209A (zh) | 2024-04-05 |
| CN117830209B CN117830209B (zh) | 2024-08-06 |
Family
ID=90512239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311479163.8A Active CN117830209B (zh) | 2023-11-07 | 2023-11-07 | 一种基于18f-fdg pet/ct的帕金森病预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117830209B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335624A (zh) * | 2019-07-29 | 2019-10-15 | 吉林大学 | 基于功率归一化倒谱系数特征的帕金森病语音检测方法 |
| CN114974522A (zh) * | 2022-07-27 | 2022-08-30 | 中国医学科学院北京协和医院 | 医学影像处理方法、装置、电子设备及存储介质 |
| CN116456995A (zh) * | 2020-09-10 | 2023-07-18 | 牛津纳米成像有限公司 | 细胞分类算法及该算法告知和优化医学治疗的应用 |
| CN116523839A (zh) * | 2023-03-21 | 2023-08-01 | 深圳先进技术研究院 | 帕金森病辅助分析系统 |
-
2023
- 2023-11-07 CN CN202311479163.8A patent/CN117830209B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335624A (zh) * | 2019-07-29 | 2019-10-15 | 吉林大学 | 基于功率归一化倒谱系数特征的帕金森病语音检测方法 |
| CN116456995A (zh) * | 2020-09-10 | 2023-07-18 | 牛津纳米成像有限公司 | 细胞分类算法及该算法告知和优化医学治疗的应用 |
| CN114974522A (zh) * | 2022-07-27 | 2022-08-30 | 中国医学科学院北京协和医院 | 医学影像处理方法、装置、电子设备及存储介质 |
| CN116523839A (zh) * | 2023-03-21 | 2023-08-01 | 深圳先进技术研究院 | 帕金森病辅助分析系统 |
Non-Patent Citations (2)
| Title |
|---|
| IVAN S. KLYUZHIN 等: "《IEEE TRANSACTIONS ON RADIATION AND PLASMA MEDICAL SCIENCES》", vol. 2, 30 April 2019, pages: 178 - 190 * |
| 汪杰: "《中国康复医学杂志》", vol. 7, 7 July 2023, pages: 1008 - 1010 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117830209B (zh) | 2024-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11263749B1 (en) | Predictive prognosis based on multimodal analysis | |
| Saikumar et al. | A novel implementation heart diagnosis system based on random forest machine learning technique. | |
| CN109493325B (zh) | 基于ct影像的肿瘤异质性分析系统 | |
| US7606405B2 (en) | Dynamic tumor diagnostic and treatment system | |
| CN109255354B (zh) | 面向医用ct的计算机图像处理方法和装置 | |
| KR102288077B1 (ko) | 뉴로멜라닌 영역의 볼륨을 이용한 파킨슨 병 진단을 위한 정보제공 방법 | |
| JP2006208250A (ja) | 画像データの領域分類解析システム | |
| EP3918987A1 (en) | Learned model, learning method, and program, and medical information acquisition device, method, and program | |
| Kamiya | Deep learning technique for musculoskeletal analysis | |
| WO2006119340A2 (en) | Dynamic tumor diagnostic and treatment system | |
| Lin et al. | Using deep learning in ultrasound imaging of bicipital peritendinous effusion to grade inflammation severity | |
| JP7436636B2 (ja) | 文書作成支援装置、方法およびプログラム | |
| Clarkson et al. | A task-based approach to adaptive and multimodality imaging | |
| CN112508943A (zh) | 基于超声影像的乳腺肿瘤识别方法 | |
| CN117830209B (zh) | 一种基于18f-fdg pet/ct的帕金森病预测方法及装置 | |
| Zhang et al. | A weakly supervised-guided soft attention network for classification of intracranial hemorrhage | |
| Malinda et al. | Lumbar vertebrae synthetic segmentation in computed tomography images using hybrid deep generative adversarial networks | |
| CN106662657A (zh) | 头部核医学图像的评价方法 | |
| CN116433560A (zh) | 基于超声双模态影像的肌肉疾病识别方法、装置及设备 | |
| Bhattacharya et al. | GazeDiff: A radiologist visual attention guided diffusion model for zero-shot disease classification | |
| Shen | Computer Aided Diagnosis | |
| Kumari et al. | Analysis of Biomedical Image for Alzheimer's Disease Detection | |
| Marques | Fundamentals of Medical Image Analysis | |
| CN114708973B (zh) | 一种用于对人体健康进行评估的设备和存储介质 | |
| LU505348B1 (en) | A deep learning-based method for CT pulmonary angiography cardiac chamber segmentation and quantification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |