JP2022525198A - 陽電子放射断層撮影を用いた腫瘍セグメンテーションのための深層畳み込みニューラルネットワーク - Google Patents
陽電子放射断層撮影を用いた腫瘍セグメンテーションのための深層畳み込みニューラルネットワーク Download PDFInfo
- Publication number
- JP2022525198A JP2022525198A JP2021555453A JP2021555453A JP2022525198A JP 2022525198 A JP2022525198 A JP 2022525198A JP 2021555453 A JP2021555453 A JP 2021555453A JP 2021555453 A JP2021555453 A JP 2021555453A JP 2022525198 A JP2022525198 A JP 2022525198A
- Authority
- JP
- Japan
- Prior art keywords
- segmentation
- mask
- subject
- generate
- tmtv
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 434
- 238000002600 positron emission tomography Methods 0.000 title claims abstract description 170
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 167
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 147
- 238000002591 computed tomography Methods 0.000 claims abstract description 161
- 238000002595 magnetic resonance imaging Methods 0.000 claims abstract description 129
- 238000000034 method Methods 0.000 claims abstract description 115
- 230000003902 lesion Effects 0.000 claims abstract description 96
- 230000002503 metabolic effect Effects 0.000 claims abstract description 30
- 210000000056 organ Anatomy 0.000 claims description 90
- 210000003484 anatomy Anatomy 0.000 claims description 74
- 238000011282 treatment Methods 0.000 claims description 46
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 22
- 230000004083 survival effect Effects 0.000 claims description 21
- 238000003745 diagnosis Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 abstract description 7
- 230000000875 corresponding effect Effects 0.000 description 59
- 210000001519 tissue Anatomy 0.000 description 46
- 238000012549 training Methods 0.000 description 41
- 230000008569 process Effects 0.000 description 35
- 238000003384 imaging method Methods 0.000 description 30
- 210000004185 liver Anatomy 0.000 description 27
- 238000001514 detection method Methods 0.000 description 25
- 230000004044 response Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 20
- 210000004072 lung Anatomy 0.000 description 15
- 210000000952 spleen Anatomy 0.000 description 15
- 238000010176 18-FDG-positron emission tomography Methods 0.000 description 14
- ZCXUVYAZINUVJD-AHXZWLDOSA-N 2-deoxy-2-((18)F)fluoro-alpha-D-glucose Chemical compound OC[C@H]1O[C@H](O)[C@H]([18F])[C@@H](O)[C@@H]1O ZCXUVYAZINUVJD-AHXZWLDOSA-N 0.000 description 14
- 210000003739 neck Anatomy 0.000 description 14
- 238000004393 prognosis Methods 0.000 description 14
- AOYNUTHNTBLRMT-SLPGGIOYSA-N 2-deoxy-2-fluoro-aldehydo-D-glucose Chemical group OC[C@@H](O)[C@@H](O)[C@H](O)[C@@H](F)C=O AOYNUTHNTBLRMT-SLPGGIOYSA-N 0.000 description 13
- 208000031671 Large B-Cell Diffuse Lymphoma Diseases 0.000 description 13
- 206010012818 diffuse large B-cell lymphoma Diseases 0.000 description 13
- 238000011176 pooling Methods 0.000 description 13
- 230000002829 reductive effect Effects 0.000 description 13
- 210000000038 chest Anatomy 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000004060 metabolic process Effects 0.000 description 11
- 238000010824 Kaplan-Meier survival analysis Methods 0.000 description 10
- 230000009467 reduction Effects 0.000 description 10
- 230000009885 systemic effect Effects 0.000 description 10
- GYHNNYVSQQEPJS-UHFFFAOYSA-N Gallium Chemical compound [Ga] GYHNNYVSQQEPJS-UHFFFAOYSA-N 0.000 description 9
- 210000001015 abdomen Anatomy 0.000 description 9
- 229910052733 gallium Inorganic materials 0.000 description 9
- 239000000700 radioactive tracer Substances 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 206010025323 Lymphomas Diseases 0.000 description 8
- 210000004556 brain Anatomy 0.000 description 8
- 210000003734 kidney Anatomy 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 210000004197 pelvis Anatomy 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000003628 erosive effect Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 208000002154 non-small cell lung carcinoma Diseases 0.000 description 7
- 208000029729 tumor suppressor gene on chromosome 11 Diseases 0.000 description 7
- 238000010200 validation analysis Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 5
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 5
- 201000011510 cancer Diseases 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 201000003444 follicular lymphoma Diseases 0.000 description 5
- 239000008103 glucose Substances 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 4
- 208000015914 Non-Hodgkin lymphomas Diseases 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 210000002216 heart Anatomy 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 201000005202 lung cancer Diseases 0.000 description 4
- 208000020816 lung neoplasm Diseases 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000007473 univariate analysis Methods 0.000 description 4
- 238000012879 PET imaging Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011143 downstream manufacturing Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000000491 multivariate analysis Methods 0.000 description 3
- 230000002285 radioactive effect Effects 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- HIIJZYSUEJYLMX-UHFFFAOYSA-N 1-fluoro-3-(2-nitroimidazol-1-yl)propan-2-ol Chemical compound FCC(O)CN1C=CN=C1[N+]([O-])=O HIIJZYSUEJYLMX-UHFFFAOYSA-N 0.000 description 2
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 210000004884 grey matter Anatomy 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 201000001441 melanoma Diseases 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 210000004885 white matter Anatomy 0.000 description 2
- VRYALKFFQXWPIH-PBXRRBTRSA-N (3r,4s,5r)-3,4,5,6-tetrahydroxyhexanal Chemical compound OC[C@@H](O)[C@@H](O)[C@H](O)CC=O VRYALKFFQXWPIH-PBXRRBTRSA-N 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- JJLJMEJHUUYSSY-UHFFFAOYSA-L Copper hydroxide Chemical compound [OH-].[OH-].[Cu+2] JJLJMEJHUUYSSY-UHFFFAOYSA-L 0.000 description 1
- FBPFZTCFMRRESA-FSIIMWSLSA-N D-Glucitol Natural products OC[C@H](O)[C@H](O)[C@@H](O)[C@H](O)CO FBPFZTCFMRRESA-FSIIMWSLSA-N 0.000 description 1
- PXGOKWXKJXAPGV-UHFFFAOYSA-N Fluorine Chemical compound FF PXGOKWXKJXAPGV-UHFFFAOYSA-N 0.000 description 1
- 208000018522 Gastrointestinal disease Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 210000002376 aorta thoracic Anatomy 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000008081 blood perfusion Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000000113 differential scanning calorimetry Methods 0.000 description 1
- 208000010643 digestive system disease Diseases 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 229910052731 fluorine Inorganic materials 0.000 description 1
- 239000011737 fluorine Substances 0.000 description 1
- 208000018685 gastrointestinal system disease Diseases 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- OBBCSXFCDPPXOL-UHFFFAOYSA-N misonidazole Chemical compound COCC(O)CN1C=CN=C1[N+]([O-])=O OBBCSXFCDPPXOL-UHFFFAOYSA-N 0.000 description 1
- 229950010514 misonidazole Drugs 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000002547 new drug Substances 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 230000000771 oncological effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000000941 radioactive substance Substances 0.000 description 1
- 239000012217 radiopharmaceutical Substances 0.000 description 1
- 229940121896 radiopharmaceutical Drugs 0.000 description 1
- 230000002799 radiopharmaceutical effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000000600 sorbitol Substances 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 208000037911 visceral disease Diseases 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10084—Hybrid tomography; Concurrent acquisition with multiple different tomographic modalities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Abstract
本開示は、画像および病巣の代謝解析に深層畳み込みニューラルネットワークを使用して、陽電子放射断層撮影（ＰＥＴ）を用いて腫瘍をセグメント化する技術に関する。特に、本開示の態様は、対象のＰＥＴスキャンおよびコンピュータ断層撮影（ＣＴ）または磁気共鳴イメージング（ＭＲＩ）スキャンを取得することと、ＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンを前処理して標準化画像を生成することと、標準化画像を入力とする畳み込みニューラルネットワークアーキテクチャの一部として実現される二次元セグメンテーションモデルを使用して、二次元セグメンテーションマスクを生成することと、二次元セグメンテーションマスクからのセグメントと関連付けられた画像データのパッチを入力とする畳み込みニューラルネットワークアーキテクチャの一部として実現される三次元セグメンテーションモデルを使用して、三次元セグメンテーションマスクを生成することと、二次元セグメンテーションマスクおよび三次元セグメンテーションマスクからの情報を組み合わせることによって、最終の画像化されたマスクを生成することと、を対象とする。【選択図】図６
Description
関連出願の相互参照
本出願は、全ての目的に関して参照によりその内容全体が本明細書に組み込まれる、「陽電子放射断層撮影を用いた腫瘍セグメンテーションのための深層畳み込みニューラルネットワーク（ＤＥＥＰ ＣＯＮＶＯＬＵＴＩＯＮＡＬ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫＳ ＦＯＲ ＴＵＭＯＲ ＳＥＧＭＥＮＴＡＴＩＯＮ ＷＩＴＨ ＰＯＳＩＴＲＯＮ ＥＭＩＳＳＩＯＮ ＴＯＭＯＧＲＡＰＨＹ）」という名称の２０１９年７月３１日に出願した米国仮出願第６２／８８０，８９８号、および「フルデオキシグルコース陽電子放射断層撮影を用いた自動化腫瘍セグメンテーション（ＡＵＴＯＭＡＴＥＤ ＴＵＭＯＲ ＳＥＧＭＥＮＴＡＴＩＯＮ ＷＩＴＨ ＦＬＵＯＲＯＤＥＯＸＹＧＬＵＣＯＳＥ ＰＯＳＩＴＲＯＮ ＥＭＩＳＳＩＯＮ ＴＯＭＯＧＲＡＰＨＹ）」という名称の２０１９年３月１５日に出願した米国仮出願第６２／８１９，２７５号の優先権および利益を主張するものである。
本出願は、全ての目的に関して参照によりその内容全体が本明細書に組み込まれる、「陽電子放射断層撮影を用いた腫瘍セグメンテーションのための深層畳み込みニューラルネットワーク（ＤＥＥＰ ＣＯＮＶＯＬＵＴＩＯＮＡＬ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫＳ ＦＯＲ ＴＵＭＯＲ ＳＥＧＭＥＮＴＡＴＩＯＮ ＷＩＴＨ ＰＯＳＩＴＲＯＮ ＥＭＩＳＳＩＯＮ ＴＯＭＯＧＲＡＰＨＹ）」という名称の２０１９年７月３１日に出願した米国仮出願第６２／８８０，８９８号、および「フルデオキシグルコース陽電子放射断層撮影を用いた自動化腫瘍セグメンテーション（ＡＵＴＯＭＡＴＥＤ ＴＵＭＯＲ ＳＥＧＭＥＮＴＡＴＩＯＮ ＷＩＴＨ ＦＬＵＯＲＯＤＥＯＸＹＧＬＵＣＯＳＥ ＰＯＳＩＴＲＯＮ ＥＭＩＳＳＩＯＮ ＴＯＭＯＧＲＡＰＨＹ）」という名称の２０１９年３月１５日に出願した米国仮出願第６２／８１９，２７５号の優先権および利益を主張するものである。
本開示は、自動化腫瘍セグメンテーションに関し、特に、画像および病巣の代謝解析に深層畳み込みニューラルネットワークを使用して、陽電子放射断層撮影画像において腫瘍をセグメント化するシステムおよび方法に関する。
陽電子放射断層撮影（ＰＥＴ）は、ＰＥＴイメージングまたはＰＥＴスキャンとも呼ばれ、組織および臓器がどのように機能しているかを明らかにする助けとなる、一種の核医学イメージングテストである。ＰＥＴスキャンは、放射性薬剤（トレーサ）を使用してこの活性を示す。トレーサは、ＰＥＴスキャンで検出することができる放射性タグに結合された、またはそれで標識された分子である。トレーサは、どの臓器または組織が検査されているかに応じて、注射、嚥下、または吸入されてもよい。トレーサは、代謝活性が高いかまたは体内で特定のタンパク質に結合している、身体の面積（例えば、がん性腫瘍もしくは炎症領域）に集まり、そこが疾病の面積に対応する場合が多い。ＰＥＴスキャンでは、これらの面積は輝点として現れる。最も一般的に使用される放射性トレーサは、フルオロデオキシグルコース（ＦＤＧ）であり、グルコースに類似した分子である。ＦＤＧ－ＰＥＴでは、周囲よりも代謝活性が高い組織または面積が輝点として現れる。例えば、がん細胞は、高い率でグルコースを吸収することがあり、代謝活性が高い。この高い率はＰＥＴスキャンで見ることができ、他のイメージングテストで腫瘍が見られるよりも前に、医療提供者が腫瘍を識別することが可能になる。ＰＥＴスキャンは、多くのタイプのがん、心臓病、胃腸疾患、内臓疾患、神経疾患、および体内の他の異常を含む、様々な疾病を診断しその重症度を判断する助けとなり得る。
様々な実施形態では、対象の複数の陽電子放射断層撮影（ＰＥＴ）スキャンおよび複数のコンピュータ断層撮影（ＣＴ）または磁気共鳴イメージング（ＭＲＩ）スキャンを取得することと、ＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンを前処理して、対象の第１の面または領域に対する標準化画像の第１のサブセットと対象の第２の面または領域に対する標準化画像の第２のサブセットとを生成することであって、標準化画像の第１のサブセットおよび標準化画像の第２のサブセットがＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンからの情報を組み込む、標準化画像の第１のサブセットと第２のサブセットとを生成することと、標準化画像の第１のサブセットを入力とする畳み込みニューラルネットワークアーキテクチャの一部として実現される第１の二次元セグメンテーションモデルを使用して、第１の二次元セグメンテーションマスクを生成することであって、第１の二次元セグメンテーションモデルが、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第１のレイヤから複数レイヤ離れたレイヤに直接供給する、第１のレイヤを含む第１の残差ブロックを使用する、第１の二次元セグメンテーションマスクを生成することと、標準化画像の第２のサブセットを入力とする畳み込みニューラルネットワークアーキテクチャの一部として実現される第２の二次元セグメンテーションモデルを使用して、第２の二次元セグメンテーションマスクを生成することであって、第２の二次元セグメンテーションモデルが、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第２のレイヤから複数レイヤ離れたレイヤに直接供給する、第２のレイヤを含む第２の残差ブロックを使用する、第２の二次元セグメンテーションマスクを生成することと、第１の二次元セグメンテーションマスクおよび第２の二次元セグメンテーションマスクからの情報を組み合わせることによって、最終の画像化されたマスクを生成することと、を含む、コンピュータ実装方法が提供される。
いくつかの実施形態では、第１のレイヤおよび第２のレイヤは、１つまたは複数の拡大レベルで分離可能な畳み込みが実施されるピラミッドレイヤである。
いくつかの実施形態では、方法は更に、最終の画像化されたマスクを使用して、総代謝腫瘍量（ＴＭＴＶ）を決定することと、ＴＭＴＶを提供することと、を含む。
いくつかの実施形態では、方法は更に、ＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンを入力とする三次元臓器セグメンテーションモデルを使用して、三次元臓器マスクを生成することと、最終の画像化されたマスクおよび三次元臓器マスクを使用して、三次元臓器セグメンテーションの１つまたは複数の臓器に関して、代謝腫瘍量（ＭＴＶ）および病巣の数を決定することと、１つまたは複数の臓器に関するＭＴＶおよび病巣の数を提供することと、を含む。
いくつかの実施形態では、方法は更に、ＴＭＴＶ、ＭＴＶ、および病巣の数のうち１つまたは複数を入力とする分類器を使用して、ＴＭＴＶ、ＭＴＶ、および病巣の数のうち１つまたは複数に基づいて対象に対する臨床予測を生成することであって、臨床予測が、対象の無増悪生存（ＰＦＳ）の尤度、対象の病期、および対象を治験に含む選択決定のうち１つである、臨床予測を生成することを含む。
いくつかの実施形態では、方法は更に、ユーザによって、対象の複数のＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンを、畳み込みニューラルネットワークアーキテクチャを備えるデータ処理システムに入力することと、最終の画像化されたマスクを提供することと、ユーザによって、最終の画像化されたマスク、ＴＭＴＶ、ＭＴＶ、および病巣の数のうち１つまたは複数を、コンピューティングデバイスのディスプレイ上に受信することと、を含む。
いくつかの実施形態では、方法は更に、ユーザによって、最終の画像化されたマスク、ＴＭＴＶ、ＭＴＶ、および病巣の数のうち１つまたは複数に基づいて、治療を対象に施すことを含む。
いくつかの実施形態では、方法は更に、ユーザによって、最終の画像化されたマスク、ＴＭＴＶ、ＭＴＶ、および病巣の数のうち１つまたは複数に基づいて、診断を対象に提供することを含む。
様々な実施形態では、対象の複数の陽電子放射断層撮影（ＰＥＴ）スキャンおよび複数のコンピュータ断層撮影（ＣＴ）または磁気共鳴イメージング（ＭＲＩ）スキャンを取得することと、ＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンを前処理して、ＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンからの情報を組み込んだ標準化画像を生成することと、標準化画像を入力とする畳み込みニューラルネットワークアーキテクチャの一部として実現される１つまたは複数の二次元セグメンテーションモデルを使用して、１つまたは複数の二次元セグメンテーションマスクを生成することと、二次元セグメンテーションマスクからのセグメントと関連付けられた画像データのパッチを入力とする畳み込みニューラルネットワークアーキテクチャの一部として実現される１つまたは複数の三次元セグメンテーションモデルを使用して、１つまたは複数の三次元セグメンテーションマスクを生成することと、１つまたは複数の二次元セグメンテーションマスクおよび１つまたは複数の三次元セグメンテーションマスクからの情報を組み合わせることによって、最終の画像化されたマスクを生成することと、を含む、コンピュータ実装方法が提供される。
いくつかの実施形態では、１つまたは複数の三次元セグメンテーションモデルは、第１の三次元セグメンテーションモデルと第２の三次元セグメンテーションモデルとを含み、画像データのパッチは、第１のセグメントと関連付けられた画像データの第１のパッチと第２のセグメントと関連付けられた画像データの第２のパッチとを含み、１つまたは複数の三次元セグメンテーションマスクを生成することは、画像データの第１のパッチを入力とする第１の三次元セグメンテーションモデルを使用して、第１の三次元セグメンテーションマスクを生成することと、画像データの第２のパッチを入力とする第２の三次元セグメンテーションモデルを使用して、第２の三次元セグメンテーションマスクを生成することと、を含む。
いくつかの実施形態では、方法は更に、標準化画像においてキャプチャされた領域または身体の構成要素の位置を基準点として査定することと、基準点に基づいて、領域または身体を複数の解剖学的領域に分割することと、複数の解剖学的領域に対する位置ラベルを生成することと、位置ラベルを二次元セグメンテーションマスク内に組み込むことと、位置ラベルに基づいて、第１のセグメントが複数の解剖学的領域のうち第１の解剖学的領域内に位置すると判定することと、位置ラベルに基づいて、第２のセグメントが複数の解剖学的領域のうち第２の解剖学的領域内に位置すると判定することと、第１のセグメントが第１の解剖学的領域内に位置するとの判定に基づいて、第１のセグメントと関連付けられた画像データの第１のパッチを第１の三次元セグメンテーションマスクに入力することと、第２のセグメントが第２の解剖学的領域内に位置するとの判定に基づいて、第２のセグメントと関連付けられた画像データの第２のパッチを第２の三次元セグメンテーションマスクに入力することと、を含む。
いくつかの実施形態では、標準化画像は、対象の第１の面または領域に対する標準化画像の第１のサブセットと、対象の第２の面または領域に対する標準化画像の第２のサブセットとを含み、標準化画像の第１のサブセットおよび標準化画像の第２のサブセットは、ＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンからの情報を組み込み、１つまたは複数の二次元セグメンテーションモデルは、第１の二次元セグメンテーションモデルと第２の二次元セグメンテーションモデルとを含み、１つまたは複数の二次元セグメンテーションマスクを生成することは、標準化画像の第１のサブセットを入力とする実現された第１の二次元セグメンテーションモデルを使用して、第１の二次元セグメンテーションマスクを生成することであって、第１の二次元セグメンテーションモデルが、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第１のレイヤから複数レイヤ離れたレイヤに直接供給する、第１のレイヤを含む第１の残差ブロックを使用する、第１の二次元セグメンテーションマスクを生成することと、標準化画像の第２のサブセットを入力とする第２の二次元セグメンテーションモデルを使用して、第２の二次元セグメンテーションマスクを生成することであって、第２の二次元セグメンテーションモデルが、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第２のレイヤから複数レイヤ離れたレイヤに直接供給する、第２のレイヤを含む第２の残差ブロックを使用する、第２の二次元セグメンテーションマスクを生成することと、を含む。
いくつかの実施形態では、第１のレイヤおよび第２のレイヤは、１つまたは複数の拡大レベルで分離可能な畳み込みが実施されるピラミッドレイヤである。
いくつかの実施形態では、方法は更に、最終の画像化されたマスクを使用して、総代謝腫瘍量（ＴＭＴＶ）を決定することと、ＴＭＴＶを提供することと、を含む。
いくつかの実施形態では、方法は更に、ＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンを入力とする三次元臓器セグメンテーションモデルを使用して、三次元臓器マスクを生成することと、最終の画像化されたマスクおよび三次元臓器マスクを使用して、三次元臓器セグメンテーションの１つまたは複数の臓器に関して、代謝腫瘍量（ＭＴＶ）および病巣の数を決定することと、１つまたは複数の臓器に関するＭＴＶおよび病巣の数を提供することと、を含む。
いくつかの実施形態では、方法は更に、ＴＭＴＶ、ＭＴＶ、および病巣の数のうち１つまたは複数を入力とする分類器を使用して、ＴＭＴＶ、ＭＴＶ、および病巣の数のうち１つまたは複数に基づいて対象に対する臨床予測を生成することであって、臨床予測が、対象の無増悪生存（ＰＦＳ）の尤度、対象の病期、および対象を治験に含む選択決定のうち１つである、臨床予測を生成することを含む。
いくつかの実施形態では、方法は更に、ユーザによって、対象の複数のＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンを、畳み込みニューラルネットワークアーキテクチャを備えるデータ処理システムに入力することと、最終の画像化されたマスクを提供することと、ユーザによって、最終の画像化されたマスク、ＴＭＴＶ、ＭＴＶ、および病巣の数のうち１つまたは複数を、コンピューティングデバイスのディスプレイ上に受信することと、を含む。
いくつかの実施形態では、方法は更に、ユーザによって、最終の画像化されたマスク、ＴＭＴＶ、ＭＴＶ、および病巣の数のうち１つまたは複数に基づいて、治療を対象に施すことを含む。
いくつかの実施形態では、方法は更に、ユーザによって、最終の画像化されたマスク、ＴＭＴＶ、ＭＴＶ、および病巣の数のうち１つまたは複数に基づいて、診断を対象に提供することを含む。
いくつかの実施形態では、１つまたは複数のデータプロセッサと、１つまたは複数のデータプロセッサで実行されると、１つまたは複数のデータプロセッサに本明細書に開示する１つまたは複数の方法の一部もしくは全てを実施させる命令を含む、非一時的コンピュータ可読記憶媒体とを含む、システムが提供される。
いくつかの実施形態では、非一時的機械可読記憶媒体において有形的に具体化され、１つまたは複数のデータプロセッサに本明細書に開示する１つまたは複数の方法の一部もしくは全てを実施させるように構成された命令を含む、コンピュータプログラム製品が提供される。
本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つまたは複数のデータプロセッサで実行されると、１つまたは複数のデータプロセッサに、本明細書に開示する１つまたは複数の方法の一部もしくは全てならびに／あるいは１つまたは複数のプロセスの一部もしくは全てを実施させる命令を含む、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示する１つまたは複数の方法の一部もしくは全てならびに／あるいは１つまたは複数のプロセスの一部もしくは全てを実施させるように構成された命令を含む、非一時的機械可読記憶媒体において有形的に具体化されたコンピュータプログラム製品を含む。
用いられている用語および表現は、説明の用語として非限定的に使用されるものであり、かかる用語および表現の使用において、図示され記載される特徴およびそれらの部分のいかなる等価物も除外しようとするものではなく、請求される発明の範囲内で様々な修正が可能であることが認識される。したがって、請求される本発明は実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示する概念の修正および変形を当業者であれば用いることができ、かかる修正および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあるとみなされることが理解されるべきである。
本開示は添付図面と併せて記載される。
添付図面中、同様の構成要素および／または特徴は同じ参照符号を有する場合がある。更に、同じタイプの様々な構成要素は、参照符号の後に、ダッシュと同様の構成要素同士を区別する第２の符号とを付けることによって、区別することができる。第１の参照符号のみが明細書で使用される場合、その説明は、第２の参照符号にかかわらず、同じ第１の参照符号を有する同様の構成要素のいずれにも適用可能である。
Ｉ．概説
本開示は、自動化腫瘍セグメンテーションの技術について記載する。より具体的には、本開示のいくつかの実施形態は、画像および病巣の代謝解析に深層畳み込みニューラルネットワークを使用して、陽電子放射断層撮影画像において腫瘍をセグメント化するシステムおよび方法を提供する。
本開示は、自動化腫瘍セグメンテーションの技術について記載する。より具体的には、本開示のいくつかの実施形態は、画像および病巣の代謝解析に深層畳み込みニューラルネットワークを使用して、陽電子放射断層撮影画像において腫瘍をセグメント化するシステムおよび方法を提供する。
標準化取込値（ＳＵＶ）の使用は、現在は臨床ＰＥＴ／ＣＴ腫瘍学イメージングにおいて一般的であり、治療に対する対象の応答を査定することにおいて特別な役割を有する。正常組織へのフルオロデオキシグルコース（ＦＤＧ）の蓄積が増加することは多くのがんにおいて有用なマーカーであるため、ＦＤＧを腫瘍学イメージングに使用することは、全ての陽電子放射断層撮影（ＰＥＴ）／コンピュータ断層撮影（ＣＴ）（ＰＥＴ／ＣＴ）イメージング手順の大部分を占める。それに加えて、ＰＥＴ／ＣＴイメージングは、治療に対する個々の応答の定量的モニタおよび新薬治療の評価ツールとして一層重要になってきている。例えば、ＦＤＧ蓄積の変化は、治療に対する応答を査定するためのイメージングバイオマーカーとして有用であることが示されている。腫瘍内におけるＦＤＧ蓄積の速度および／または総量を測定するいくつかの方法がある。ＰＥＴスキャナは、ＦＤＧ濃度に直接関係するｉｎ ｖｉｖｏ放射能濃度［ｋＢｑ／ｍｌ］を測定するように設計されている。しかしながら、一般的には、これは関心の対象であるＦＤＧの相対組織取込みである。実際に生じるばらつきの２つの最も顕著なソースは、注入されたＦＤＧの量および対象のサイズである。これらのばらつきを相殺するため、ＦＤＧ取込みの相対基準としてＳＵＶが使用される。理想的には、ＳＵＶの使用によって、放射性トレーサの注入量およびその消費量による、信号のばらつきの可能性が低減され、それを式（１）で定義する。
式中、ａｃｔｉｖｉｔｙは、関心領域（ＲＯＩ）内でＰＥＴスキャナによって測定された放射能活性濃度［ｋＢｑ／ｍｌ］、ｄｏｓｅは、注入された放射標識ＦＤＧの減衰補正した量［Ｂｑ］、ｗｅｉｇｈｔは、トレーサの分配量の代わりに使用される対象の重量［ｇ］である。ＳＵＶを相対組織／臓器取込みの測定値として使用することで、対象間の比較が容易になり、診断の基礎として提案されてきている。
しかしながら、ＳＵＶを決定する際におけるバイアスおよびばらつきの多数の潜在的なソースがある。それらのバイアスおよびばらつきのソースの１つは、ＰＥＴ画像でトレーサ取込みを解析するのに使用される解析方法に起因するものである。分解能の損失または境界定義の不確実性がない理想的な場合、ＰＥＴスキャンのＲＯＩ内における平均ＳＵＶの計算によって、対応する組織に対する中間ＳＵＶの信頼性が高い推定値が生成されるであろう。それでもなお、局所および全身ＰＥＴ－ＣＴは、大型であり、各画像の腫瘍ボクセルの比率が低いため、困難である。局所および全身ＰＥＴ－ＣＴはまた、ＦＤＧ－ＰＥＴの分解能が低くＣＴのコントラストが低いことにより、困難をもたらす。これらの影響は、平均ＳＵＶが計算されるべきＲＯＩの境界を定義する、腫瘍セグメンテーションに関する問題の一因となり、最終的に、平均ＳＵＶを計算する際におけるバイアスおよびばらつきを作り出す。
ＰＥＴスキャンからの腫瘍および部分構造の自動セグメンテーションは、腫瘍の正確で再現性がある描写の可能性を有し、それによって、腫瘍のより効率的で良好な診断、手術計画、および治療査定を提供することができる。最も自動化された腫瘍セグメンテーション方法は、手動で設計された特徴を使用する。これらの方法は、従来の機械学習パイプラインを実現し、それにしたがって、特徴は、最初に抽出され、次に、訓練手順がそれらの特徴の性質に影響しない分類器に与えられる。タスクに適応した特徴表現を設計する代替の方策は、複雑になっていく特徴の階層をドメイン内データから直接学習することである。しかしながら、ＰＥＴスキャンからの腫瘍の正確な自動セグメンテーションは、いくつかの理由から、困難なタスクである。第一に、腫瘍と正常組織との間の境界は、特異的（例えば、脳）および非特異的（例えば、血液プール）な高代謝活性領域、低分解能画像における異質性（例えば、臓器の可変の密度および代謝）、疎なシグナリング（例えば、腫瘍組織が一般に画像の約１％未満を表す）、ならびに腫瘍から分化される非常に多くの身体構造により、曖昧な場合が多い。第二に、腫瘍は、サイズ、形状、および局在性に関して、対象全体で大きく異なる。これにより、顔認識またはナビゲーションなど、他の多くの用途で堅牢な画像解析に一般に使用される形状および局在性に対して、強い事前確率を使用することが妨げられる。
これらの限定および課題に対処するため、本実施形態の自動化腫瘍セグメンテーションに関する技術は、高速であって、モデルが局所および全身ＰＥＴ－ＣＴまたはＰＥＴ－ＭＲＩのサイズおよび曖昧な性質の両方に取り組むことを可能にする、畳み込みニューラルネットワークアーキテクチャを使用することを含む。本開示の１つの実例的実施形態は、対象の複数の陽電子放射断層撮影（ＰＥＴ）スキャンおよび複数のコンピュータ断層撮影（ＣＴ）または磁気共鳴イメージング（ＭＲＩ）スキャンを取得することと、ＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンを前処理して、対象の第１の面または領域に対する標準化画像の第１のサブセットと対象の第２の面または領域に対する標準化画像の第２のサブセットとを生成することと、を含む、方法を対象とする。標準化画像の第１のサブセットおよび標準化画像の第２のサブセットは、ＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンからの情報を組み込む。方法は更に、標準化画像の第１のサブセットを入力とする畳み込みニューラルネットワークアーキテクチャの一部として実現される第１の二次元セグメンテーションモデルを使用して、第１の二次元セグメンテーションマスクを生成することを含んでもよい。第１の二次元セグメンテーションモデルは、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第１のレイヤから複数レイヤ離れたレイヤに直接供給する、第１のレイヤを含む第１の残差ブロックを使用する。方法は更に、標準化画像の第２のサブセットを入力とする畳み込みニューラルネットワークアーキテクチャの一部として実現される第２の二次元セグメンテーションモデルを使用して、第２の二次元セグメンテーションマスクを生成することを含んでもよい。第２の二次元セグメンテーションモデルは、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第２のレイヤから複数レイヤ離れたレイヤに直接供給する、第２のレイヤを含む第２の残差ブロックを使用する。方法は更に、第１の二次元セグメンテーションマスクおよび第２の二次元セグメンテーションマスクからの情報を組み合わせることによって、最終の画像化されたマスクを生成することを含んでもよい。
本開示の別の実例的実施形態は、対象の陽電子放射断層撮影（ＰＥＴ）スキャンおよびコンピュータ断層撮影（ＣＴ）または磁気共鳴イメージング（ＭＲＩ）スキャンを取得することと、ＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンを前処理して標準化画像を生成することと、標準化画像を入力とする畳み込みニューラルネットワークアーキテクチャの一部として実現される二次元セグメンテーションモデルを使用して、二次元セグメンテーションマスクを生成することと、二次元セグメンテーションマスクからのセグメントと関連付けられた画像データのパッチを入力とする畳み込みニューラルネットワークアーキテクチャの一部として実現される三次元セグメンテーションモデルを使用して、三次元セグメンテーションマスクを生成することと、二次元セグメンテーションマスクおよび三次元セグメンテーションマスクからの情報を組み合わせることによって、最終の画像化されたマスクを生成することと、を含む、方法を対象とする。いくつかの例では、１つまたは複数の三次元セグメンテーションモデルは、第１の三次元セグメンテーションモデルと第２の三次元セグメンテーションモデルとを含み、画像データのパッチは、第１のセグメントと関連付けられた画像データの第１のパッチと第２のセグメントと関連付けられた画像データの第２のパッチとを含み、１つまたは複数の三次元セグメンテーションマスクを生成することは、（ｉ）画像データの第１のパッチを入力とする第１の三次元セグメンテーションモデルを使用して、第１の三次元セグメンテーションマスクを生成することと、（ｉｉ）画像データの第２のパッチを入力とする第２の三次元セグメンテーションモデルを使用して、第２の三次元セグメンテーションマスクを生成することと、を含む。
有利には、これらの方策は、画像における局所および全体の特性を最適に混合することを可能にする二次元セグメンテーションモデル（修正されたＵネット）と、任意に、高速かつ正確な方式で対象の体積セグメンテーションを実施する三次元セグメンテーションモデル（修正されたＶネット）とを利用する、畳み込みニューラルネットワークアーキテクチャを含む。これらの方策はまた、マルチスピード残差学習およびマルチスケールピラミッド学習に適応する。更に、チャネルごとのフィルタおよびそれに続くポイントごとの畳み込みによって、浅層ネットワークの限界を克服する詳細な学習を可能にする。この解決策は、全身ＰＥＴ－ＣＴまたはＰＥＴ－ＭＲＩに拡張可能であり、治療の臨床効率を評価し、複数のタイプのがんにおけるＴＭＴＶを査定し、全身ＦＤＧ－ＰＥＴ腫瘍量を迅速に査定し、無増悪生存（ＰＦＳ）を予測し、治療する対象を病期分類するとともに治験する対象を選択し、治療終了時応答査定（例えば、ルガノ）を自動化することを可能にする。
ＩＩ．定義
本明細書で使用するとき、動作が何かに「基づく」という場合、その動作がその何かの少なくとも一部に少なくとも部分的に基づくことを意味する。
本明細書で使用するとき、動作が何かに「基づく」という場合、その動作がその何かの少なくとも一部に少なくとも部分的に基づくことを意味する。
本明細書で使用するとき、「実質的に」、「約」、および「およそ」という用語は、当業者によって理解されるように、指定されるものの必ずしも全体ではないが大部分であること（および指定されるもの全体を含むこと）と定義される。開示するいずれの実施形態においても、「実質的に」、「約」、または「およそ」という用語は、指定されるもの「の『パーセンテージ』以内」と置き換えられてもよく、その場合、パーセンテージは０．１、１、５、および１０パーセントを含む。
ＩＩＩ．自動化腫瘍セグメンテーションの技術
画像セグメンテーションは、画像を、形状、サイズ、色などの異なる特徴における類似を示す部分に分離する手順である。腫瘍のセグメンテーションによって、身体の領域（例えば、脳または肺）内における主要のサイズおよび位置を可視化することが可能になり、また、ＰＥＴまたは単光子放射コンピュータ断層撮影（ＳＰＥＣＴ）画像におけるトレーサ取込み解析の基礎を提供してもよい。腫瘍セグメンテーションの絶対的基準は、長い間、時間が掛かって労働集約的であり、したがって大規模研究には適さない手動セグメンテーションであった。腫瘍セグメンテーションのプロセスを完全にまたは部分的に自動化する試みのため、かなりの研究が行われてきた。例えば、閾値処理、領域拡張法、ファジークラスタリング、流域アルゴリズムの使用などの画像セグメンテーション技術が、異常組織（例えば、腫瘍塊）を、脳の白質（ＷＭ）、灰白質（ＧＭ）、および脳脊髄液（ＣＳＦ）などの正常組織から分離するのに使用されてきた。それでもなお、腫瘍の形状、位置、およびサイズが多岐にわたるため、セグメンテーションのプロセスは依然として困難である。
画像セグメンテーションは、画像を、形状、サイズ、色などの異なる特徴における類似を示す部分に分離する手順である。腫瘍のセグメンテーションによって、身体の領域（例えば、脳または肺）内における主要のサイズおよび位置を可視化することが可能になり、また、ＰＥＴまたは単光子放射コンピュータ断層撮影（ＳＰＥＣＴ）画像におけるトレーサ取込み解析の基礎を提供してもよい。腫瘍セグメンテーションの絶対的基準は、長い間、時間が掛かって労働集約的であり、したがって大規模研究には適さない手動セグメンテーションであった。腫瘍セグメンテーションのプロセスを完全にまたは部分的に自動化する試みのため、かなりの研究が行われてきた。例えば、閾値処理、領域拡張法、ファジークラスタリング、流域アルゴリズムの使用などの画像セグメンテーション技術が、異常組織（例えば、腫瘍塊）を、脳の白質（ＷＭ）、灰白質（ＧＭ）、および脳脊髄液（ＣＳＦ）などの正常組織から分離するのに使用されてきた。それでもなお、腫瘍の形状、位置、およびサイズが多岐にわたるため、セグメンテーションのプロセスは依然として困難である。
多くのイメージング技術からの情報を組み合わせるマルチモーダルイメージング技術（ＰＥＴ／ＣＴ、ＰＥＴ／磁気共鳴イメージング（ＭＲＩ）、およびＳＰＥＣＴ／ＣＴなど）は、腫瘍セグメンテーションの精度を改善する助けとなり得る。ＰＥＴと組み合わせて、更なる画像診断法が、対象の体内の代謝または生化学活性、および生理学的プロセスに関する情報、ならびに画像に関する他の詳細な情報を提供してもよい。
本明細書では、二次元および三次元畳み込みニューラルネットワーク（ＣＮＮ）を使用するモデルを組み込んで、腫瘍をセグメント化し、病巣に関する代謝情報をＰＥＴ（またはＳＰＥＣＴ）およびＣＴ（またはＭＲＩ）画像（スキャン）から抽出する、エンドツーエンド方法を開示する。本明細書で使用するとき、「スキャン」は対象の身体を通る単一面における信号の図式的表現である。開発したモデルは、計算量的に軽量であり（例えば、平均的なデスクトップコンピューティングデバイス上で稼働し、例えば数分以内などで、オンデマンドで予測を返すことができる）、全身スキャンのサイズ、腫瘍と健康な組織との間の極度の不均衡、および入力画像の異質性（例えば、臓器の変動する密度および代謝）に適応するように構築される。モデルは、腫瘍セグメンテーションに関して、閾値設定方法、エッジベースのセグメンテーション方法、または領域ベースのセグメンテーション方法など、手動での介入（例えば、シーズの手動選択またはバウンディングボックスの手動識別）に依存する従来のアルゴリズムに匹敵する性能を有する。
ＰＥＴ、ＳＰＥＣＴ、ＰＥＴ／ＣＴ、ＰＥＴ／ＭＲＩ、およびＳＰＥＣＴ／ＣＴによって得られる腫瘍代謝情報は、治療の臨床効率を評価するのに使用されてもよい。腫瘍代謝情報は、例として、リンパ腫（例えば、非ホジキンリンパ腫（ＮＨＬ））および肺がんの対象を含むがそれらに限定されない、複数のタイプのがんでＴＭＴＶを査定するのに使用されてもよい。方法は、放射線科医が全身ＰＥＴまたはＳＰＥＣＴ腫瘍量を迅速に査定するツールであってもよい。方法はまた、無増悪生存（ＰＦＳ）を予測するのに使用されてもよい。方法はまた、治療する対象を病期分類するとともに治験する対象を選択するのに使用されてもよい。モデルの出力は更に、自動化治療終了時応答査定（例えば、ルガノ）を実施するのに使用することができる。
ＩＩＩ．Ａ．コンピューティング環境例
図１は、様々な実施形態による、深層畳み込みニューラルネットワークを使用する腫瘍セグメンテーションのための一例のコンピューティング環境１００（即ち、データ処理システム）を示している。コンピューティング環境１００は、二次元ＣＮＮモデル、三次元ＣＮＮモデル、またはそれらの組合せを訓練し実行するのに、深層畳み込みニューラルネットワーク（ＣＮＮ）システム１０５を含むことができる。より具体的には、ＣＮＮシステム１０５は、それぞれのＣＮＮモデルを訓練することができる、分類器サブシステム１１０ａ～ｎを含むことができる。いくつかの実施形態では、分類器サブシステム１１０ａ～ｎに対応する各ＣＮＮモデルは、一組の入力画像要素１１５ａ～ｎ内の、１つまたは複数のＰＥＴスキャン、ＣＴスキャン、ＭＲＩスキャン、またはそれらの任意の組合せに基づいて別個に訓練される。いくつかの例では、一組の入力画像要素１１５ａ～ｎのＰＥＴスキャン、ＣＴスキャン、またはＭＲＩスキャンは、画像検出器によって、１つまたは複数の部分（例えば、身体のスライス：横断スキャン、冠状スキャン、および矢状スキャン、ならびに／あるいは解剖学的部分もしくは領域：頭頚部、胸部、および腹部・骨盤）に分割されてもよく、それによって、分類器サブシステム１１０ａ～ｎがそれぞれ、ＰＥＴスキャン、ＳＰＥＣＴスキャン、ＣＴスキャン、またはＭＲＩスキャンのそれぞれの部分を処理して訓練し展開してもよい。
図１は、様々な実施形態による、深層畳み込みニューラルネットワークを使用する腫瘍セグメンテーションのための一例のコンピューティング環境１００（即ち、データ処理システム）を示している。コンピューティング環境１００は、二次元ＣＮＮモデル、三次元ＣＮＮモデル、またはそれらの組合せを訓練し実行するのに、深層畳み込みニューラルネットワーク（ＣＮＮ）システム１０５を含むことができる。より具体的には、ＣＮＮシステム１０５は、それぞれのＣＮＮモデルを訓練することができる、分類器サブシステム１１０ａ～ｎを含むことができる。いくつかの実施形態では、分類器サブシステム１１０ａ～ｎに対応する各ＣＮＮモデルは、一組の入力画像要素１１５ａ～ｎ内の、１つまたは複数のＰＥＴスキャン、ＣＴスキャン、ＭＲＩスキャン、またはそれらの任意の組合せに基づいて別個に訓練される。いくつかの例では、一組の入力画像要素１１５ａ～ｎのＰＥＴスキャン、ＣＴスキャン、またはＭＲＩスキャンは、画像検出器によって、１つまたは複数の部分（例えば、身体のスライス：横断スキャン、冠状スキャン、および矢状スキャン、ならびに／あるいは解剖学的部分もしくは領域：頭頚部、胸部、および腹部・骨盤）に分割されてもよく、それによって、分類器サブシステム１１０ａ～ｎがそれぞれ、ＰＥＴスキャン、ＳＰＥＣＴスキャン、ＣＴスキャン、またはＭＲＩスキャンのそれぞれの部分を処理して訓練し展開してもよい。
いくつかの実施形態では、入力画像要素１１５ａ～ｎはそれぞれ、身体の一部分もしくは領域または全身（例えば、全身スキャン）を描写する、１つまたは複数のデジタル画像を含んでもよい。入力画像要素１１５ａ～ｎはそれぞれ、デジタル画像に対応する基礎を成す画像データが得られた１つまたは複数の時点（例えば、ベースラインもしくは治療前、治療中、治療後など）における単一の対象に対応することができる。基礎を成す画像データは、１つまたは複数のＰＥＴスキャン、ＳＰＥＣＴスキャン、ＣＴスキャン、ＭＲＩスキャン、またはそれらの任意の組合せを含むことができる。このように、いくつかの例では、単一の入力画像要素１１５ａ～ｎが、身体の異なる（例えば、重なり合うもしくは重なり合わない）部分または領域あるいは全身のスライスをそれぞれ描写する、複数のＰＥＴスキャン、ＳＰＥＣＴスキャン、ＣＴスキャン、ＭＲＩスキャン、またはそれらの任意の組合せに対応する画像を含むことができる。いくつかの実施形態では、全身のいくつかの部分または領域をキャプチャするために身体の異なる部分または領域あるいは全身のスライスと関連付けられた、複数のＰＥＴスキャン、ＳＰＥＣＴスキャン、ＣＴスキャン、ＭＲＩスキャン、またはそれらの任意の組合せに対応する複数の画像を互いに縫合して、画像のモンタージュが形成される。このように、いくつかの例では、単一の入力画像要素１１５ａ～ｎが単一の縫合画像を含むことができる。
単一の入力画像要素１１５ａ～ｎで表される身体の部分または領域としては、身体の１つまたは複数の中枢領域（頭頚部、胸部、腹部・骨盤を含む）、ならびに任意に、身体の１つまたは複数の末梢領域（例えば、脚、足、腕、または手など）を挙げることができる。それに加えて、身体の仮想のスライス、フィールド、面、または投影を、単一の入力画像要素１１５ａ～ｎに表すことができる。例えば、ＰＥＴ－ＣＴイメージング技術に関して、両方のデバイス（ＰＥＴスキャナおよびＣＴスキャナ）からの連続画像が同じセッションで取得され組み合わされて、単一または複数の重畳された（位置合わせされた）画像にされてもよい。このように、体内の代謝または生体活性の空間分布を示す、ＰＥＴスキャナによって得られる機能性イメージングを、ＣＴスキャナによって得られる解剖学的イメージングとより精密に整列または相関させることができる。いくつかの実施形態では、単一の入力画像要素１１５ａ～ｎは、ＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンを含む。上記に関して、また、ＰＥＴスキャンおよびＣＴスキャンに関する実施例ならびに実施形態は、本明細書では単に例証目的で記載されるものであり、他のイメージング方法およびそれらの代替例が当業者に提案されるであろうことが理解される。例えば、異なるトレーサもしくは角度構成を有するＰＥＴスキャンまたはＣＴスキャンは、身体の異なる構造または領域をキャプチャしてもよく、身体を病理学的および／または解剖学的により深く理解するため、これらのタイプのイメージング技術のうち１つまたは複数が、ＳＰＥＣＴおよびＭＲＩなどの他のイメージング技術と組み合わされてもよい。
入力画像要素１１５ａ～ｎは、１つまたは複数の訓練用入力画像要素１１５ａ～ｄと、検証用入力画像要素１１５ｅ～ｇと、ラベルなし入力画像要素１１５ｈ～ｎとを含むことができる。訓練用グループ、検証用グループ、および標識なしグループに対応する入力画像要素に、必ずしも同時にアクセスする必要はないことが認識されるであろう。例えば、最初の訓練用および検証用入力画像要素が、最初にアクセスされ、モデルを訓練するのに使用されてもよく、ラベルなし入力画像要素が続いて（例えば、単一のもしくは複数の後続の時間に）アクセスまたは受信されてもよい。更に、入力画像要素１１５ａ～ｇはそれぞれ、モデル訓練プロセスの特定の事例（例えば、ｋ－分割交差検証を実施するときなど）に応じて、訓練または検証のためにアクセスされ使用されてもよい。
いくつかの例では、ＣＮＮモデルは、教師あり訓練を使用して訓練することができ、訓練用入力画像要素１１５ａ～ｄおよび検証用入力画像要素１１５ｅ～ｇをそれぞれ、腫瘍の存在および／または重症度の「適正な」解釈を識別する、１つまたは複数のラベルと関連付けることができる。ラベルは、別の方法としてまたはそれに加えて、基礎を成すスキャンが得られた時に対応する時点、またはその後の時点（例えば、スキャンが得られた時間から既定の持続時間後）における、腫瘍の存在および／または重症度に関して、対応する入力画像要素またはその中のピクセルもしくはボクセルを分類するのに使用されてもよい。いくつかの例では、ＣＮＮモデルは、教師なし訓練を使用して訓練することができ、訓練用入力画像要素１１５ａ～ｄおよび検証用入力画像要素１１５ｅ～ｇはそれぞれ、１つまたは複数のラベルと必ずしも関連付けられる必要はない。ラベルなし画像要素１１５ｈ～ｎはそれぞれ、１つまたは複数のラベルと必ずしも関連付けられる必要はない。
ＣＮＮモデルは、訓練用入力画像要素１１５ａ～ｄ（および訓練の進捗をモニタする検証用入力画像要素１１５ｅ～ｈ）、損失関数、ならびに／あるいは勾配降下法を使用して訓練することができる。入力画像データ要素が、身体の異なる部分、フィールド、面、またはスライスにそれぞれ対応する複数の基礎を成すスキャンに対応する例では、一組のＣＮＮモデルをそれぞれ、身体の特定の部分、フィールド、面、またはスライスに対応する画像データを処理するように訓練することができる。
いくつかの実施形態では、分類器サブシステム１１０ａ～ｎは、特徴抽出器１２０、パラメータデータストア１２５、分類器１３０、および訓練器１３５を含み、それらが集合的に、訓練データ（例えば、訓練用入力画像要素１１５ａ～ｄ）を使用した、ＣＮＮモデルの訓練（例えば、教師ありもしくは教師なし訓練中におけるＣＮＮモデルのパラメータの学習）に使用される。いくつかの実施形態では、分類器サブシステム１１０ａ～ｎは、入力レイヤで訓練用入力画像要素１１５ａ～ｄからの訓練データにアクセスする。特徴抽出器１２０は、訓練用入力画像要素１１５ａ～ｄの特定の部分で検出される関連する特徴（例えば、エッジ）を抽出するように、訓練データを前処理してもよい。分類器１３０は、抽出された特徴を受信し、それらの特徴を、１つまたは複数のＣＮＮモデルにおける一組の隠れレイヤと関連付けられた重みにしたがって、１つもしくは複数の腫瘍をセグメント化し、任意に治療の臨床効率を示し、ＴＭＴＶを査定し、全身ＰＥＴ腫瘍量を査定し、ＰＦＳを予測し、治療する対象を病期分類するとともに治験する対象を選択し、治療終了時応答査定（例えば、ルガノ）を自動化し、またはそれらの組合せを行う、１つまたは複数の出力測定基準へと変換することができる。訓練器１３５は、訓練用入力画像要素１１５ａ～ｄに対応する訓練データを使用して、１つもしくは複数のパラメータの学習を容易にすることによって、特徴抽出器１２０および／または分類器１３０を訓練してもよい。例えば、訓練器１３５は、逆伝播技術を使用して、分類器１３０によって使用されるＣＮＮモデルの一組の隠れレイヤと関連付けられた重みの学習を容易にすることができる。逆伝播は、例えば、確率的勾配降下（ＳＧＤ）アルゴリズムを使用して、隠れレイヤのパラメータを累積的に更新してもよい。学習済みパラメータは、例えば、パラメータデータストア１２５に格納することができる、重み、バイアス、線形回帰、および／または他の隠れレイヤ関連パラメータを含んでもよい。
訓練済みＣＮＮモデルのアンサンブル（「ＣＮＮアンサンブル」、例えば、入力画像における異なる特徴、対象、または測定基準を識別する（それらは次に、画像マスクおよび／または出力測定基準として組み合わされる）ように個別に訓練された複数の訓練済みＣＮＮモデル）を展開して、ラベルなし入力画像要素１１５ｈ～ｎを処理して、１つまたは複数の腫瘍をセグメント化し、任意に、治療の臨床効率を示し、ＴＭＴＶを査定し、全身ＦＤＧ－ＰＥＴ腫瘍量を査定し、ＰＦＳを予測し、治療する対象を病期分類するとともに治験する対象を選択し、治療終了時応答査定（例えば、ルガノ）を自動化し、またはそれらの組合せを行う、１つまたは複数の出力測定基準を予測することができる。より具体的には、訓練済みの特徴抽出器１２０は、ラベルなし入力画像要素の特徴表現を生成してもよく、それを次に、訓練済みの分類器１３０によって処理することができる。いくつかの実施形態では、分類器サブシステム１１０ａ～ｎにおけるＣＮＮモデルの拡大を活用する、１つもしくは複数の畳み込みブロック、畳み込みレイヤ、残差ブロック、またはピラミッドレイヤに基づいて、画像特徴をラベルなし入力画像要素１１５ｈ～ｎから抽出することができる。特徴は、画像の特徴ベクトルなど、特徴表現で組織化することができる。ＣＮＮモデルは、ＣＮＮモデルの完全接続レイヤを含む、隠れレイヤにおけるパラメータの分類およびそれに続く調節に基づいて、特徴タイプを学習するように訓練することができる。いくつかの実施形態では、畳み込みブロック、畳み込みレイヤ、残差ブロック、またはピラミッドレイヤによって抽出された画像特徴は、１つまたは複数の画像処理操作（例えば、エッジ検出、画像分解能の先鋭化）が実施された、スキャンの１つまたは複数の部分を表す値の行列である特徴マップを含む。これらの特徴マップは、ＣＮＮモデルの完全接続レイヤによる処理のために平坦化されてもよく、それにより、腫瘍に関する現在または将来の予測に対応する、腫瘍マスクまたは１つもしくは複数の測定基準を出力する。
例えば、入力画像要素をＣＮＮモデルの入力レイヤに供給することができる。入力レイヤは、特定のピクセルまたはボクセルと対応するノードを含むことができる。第１の隠れレイヤは一組の隠れノードを含むことができ、それらはそれぞれ複数の入力レイヤノードに接続される。後に続く隠れレイヤのノードは、同様に、複数のピクセルまたはボクセルに対応する情報を受信するように構成することができる。このように、隠れレイヤを、複数のピクセルまたはボクセルにわたって延在する特徴の検出を学習するように構成することができる。１つまたは複数の隠れレイヤはそれぞれ、畳み込みブロック、畳み込みレイヤ、残差ブロック、またはピラミッドレイヤを含むことができる。ＣＮＮモデルは更に、１つまたは複数の完全接続レイヤ（例えば、ソフトマックスレイヤ）を含むことができる。
訓練用入力画像要素１１５ａ～ｄ、検証用入力画像要素１１５ｅ～ｇ、および／またはラベルなし入力画像要素１１５ｈ～ｎの少なくとも一部は、１つまたは複数のイメージングシステム１６０を使用して収集されそこから受信されたデータを含んでもよく、あるいはそこから導き出されたものであってもよい。イメージングシステム１６０は、画像データ（例えば、ＰＥＴスキャン、ＣＴスキャン、ＭＲＩスキャン、またはそれらの任意の組合せ）を収集するように構成された、システムを含むことができる。イメージングシステム１６０は、ＰＥＴスキャナと、任意にＣＴスキャナおよび／またはＭＲＩスキャナとを含んでもよい。ＰＥＴスキャナは、検査されている臓器または組織内の放射性核種によって放射された光子（亜原子粒子）を検出するように構成されてもよい。ＰＥＴスキャンで使用される放射性核種は、特定の臓器または組織によってその代謝プロセス中に自然に使用される化学物質に、放射性原子を付着させることによって作られてもよい。例えば、脳のＰＥＴスキャンでは、脳はその代謝にグルコースを使用するので、放射性原子（例えば、１８Ｆなどの放射性フッ素）をグルコース（血糖）に付着させて、ＦＤＧが作成されてもよい。スキャンの目的に応じて、他の放射性トレーサおよび／または物質が、画像スキャニングに使用されてもよい。例えば、臓器または組織の血流および灌流が関心対象である場合、放射性核種は、一種の放射性酸素、炭素、窒素、またはガリウムであってもよく、感染性疾患が関心対象である場合、放射性原子は、ソルビトール（例えば、フルオロデオキシソルビトール（ＦＤＳ））に付着されてもよく、腫瘍学が関心対象である場合、放射性原子はミソニダゾール（例えば、フルオロミソニダゾール（ＦＭＩＳＯ））に付着されてもよい。ＰＥＴスキャナによって収集された生データは、一対の検出器による消滅光子のほぼ同時（一般的に、互いに６～１２ナノ秒のウィンドウ内）の検出を表す「同時発生事象」のリストである。各同時発生事象は、陽電子放射がそれに沿って発生する、２つの検出器を接続する空間内のライン（即ち、同時計数線（ＬＯＲ））を表す。同時発生事象は、サイノグラムと呼ばれる投影画像にグループ化することができる。サイノグラムは、コンピュータ解析において、検査されている臓器または組織における代謝プロセスの二次元画像および三次元画像を再構築するのに使用される。二次元ＰＥＴ画像および／または三次元ＰＥＴ画像は、一組の入力画像要素１１５ａ～ｎに含まれてもよい。しかしながら、ＰＥＴスキャニングで収集されるサイノグラムは、解剖学的構造に関してＣＴまたはＭＲＩスキャンよりもはるかに品質が低く、ノイズが多い画像となる場合がある。
解剖学的構造に関するＰＥＴスキャニングの欠点を克服するため、ＰＥＴスキャンは、ＣＴまたはＭＲＩスキャンと並行して読み取られることが増えており、その組合せ（「位置合わせ」と呼ばれる）によって、詳細な解剖学および代謝両方の情報（即ち、構造が何であるか、およびそれが生化学的に何を行っているか）が得られる。ＰＥＴイメージングは、別個の解剖学的イメージングとの組合せで最も有用なので、ＣＴまたはＭＲＩ、ＰＥＴスキャナなどが、ハイエンドの多列検出器ＣＴまたはＭＲＩスキャナと統合されて利用可能である。２つのスキャンを、特定の対象の位置が２つのタイプのスキャン間で変化しない同じセッション中に、連続して実施することができる。これにより、二組の画像をより精密に位置合わせすることが可能になるので、ＰＥＴイメージングにおける異常の面積を、ＣＴまたはＭＲＩ画像上の解剖学的構造とより完璧に相関させることができる。
ＣＴスキャナは、狭いＸ線ビームを生成する電動Ｘ線源を特定の対象に向け、Ｘ線源およびＸ線ビームを身体の周りで迅速に回転させるように構成されてもよい。Ｘ線源のちょうど反対側に位置するデジタルＸ線検出器は、身体から出るＸ線を検出し、信号を生成し、その信号がスキャナのコンピュータによって処理されて、身体の二次元断面画像、即ち「スライス」が生成される。これらのスライスは、断層画像としても知られ、従来のＸ線よりも詳細な情報を含む。各画像スライスに表される組織の厚さは、使用されるＣＴスキャナによって異なる場合があるが、通常は１～１０ミリメートルの範囲である。完全なスライスが完成すると、二次元画像が格納され、対象を保持する電動ベッドがガントリ内へと漸増的に前進させられる。次に、Ｘ線スキャニングプロセスが複数回繰り返されて、回転軸の周りで得られる一連の二次元画像が生成される。一連の二次元画像がスキャナのコンピュータによって収集されると、二次元画像を一緒にコンピュータ解析によってデジタル的に「スタック」して、対象の三次元画像を再構築することができる。二次元画像および／または再構築された三次元画像によって、基本構造ならびに潜在的な腫瘍または異常をより簡単に特定し位置決めすることが可能になる。ＣＴスキャニングが、ＰＥＴ－ＣＴスキャナの一部として、または別個のＣＴスキャナとして特定の対象のイメージングに使用される場合、ＰＥＴおよびＣＴスキャニングからの二組の二次元画像および／または再構築された三次元画像（あるいは位置合わせされた一組の二次元画像および／または再構築された三次元画像）が、ＣＮＮモデルを訓練する一組の入力画像要素１１５ａ～ｎ内に含まれる。
ＭＲＩスキャナは、強力磁界および電波を使用して、三次元の詳細な解剖学的画像を生成するように構成されてもよい。より具体的には、磁界は、組織または身体内のプロトンをその磁界と整列させる。次に、高周波電流が組織または身体を通してパルス化されると、プロトンが刺激され、均衡状態からスピンアウトして、磁界の引張りに対抗して歪む。高周波電界が切れると、プロトンが磁界と再整列するので、ＭＲＩセンサは放出されたエネルギーを検出することができる。プロトンが磁界と再整列するのにかかる時間、ならびに放出されるエネルギーの量は、環境および分子の化学的性質に応じて変化する。コンピューティングデバイスは、様々なタイプの組織間の違いをそれらの磁気特性に基づいて判断し、一連の二次元画像を生成することができる。一連の二次元画像がスキャナのコンピュータによって収集されると、二次元画像を一緒にコンピュータ解析によってデジタル的に「スタック」して、対象の三次元画像を再構築することができる。二次元画像および／または再構築された三次元画像によって、基本構造ならびに潜在的な腫瘍または異常をより簡単に特定し位置決めすることが可能になる。ＭＲＩスキャニングが、ＰＥＴ－ＭＲＩスキャナの一部として、または別個のＭＲＩスキャナとして特定の対象のイメージングに使用される場合、ＰＥＴおよびＣＴスキャニングからの二組の二次元画像および／または再構築された三次元画像（あるいは位置合わせされた一組の二次元画像および／または再構築された三次元画像）が、ＣＮＮモデルを訓練する一組の入力画像要素１１５ａ～ｎ内に含まれる。
いくつかの例では、訓練用入力画像要素１１５ａ～ｄおよび／または検証用入力画像要素１１５ｅ～ｇと関連付けられたラベルが、１つまたは複数のプロバイダシステム１７０から受信されていてもよく、あるいは受信されたデータから導き出されてもよく、プロバイダシステムはそれぞれ、特定の対象と関連付けられた、医師、看護師、病院、薬剤師など（例えば）と関連付けられてもよい。受信データは、特定の対象に対応する１つまたは複数の診療記録（例えば）を含んでもよい。診療記録は、対象と関連付けられた１つもしくは複数の入力画像要素が収集された時間に対応する期間、または後に続く規定された期間に対して、対象が腫瘍を有していたか否か、ならびに／あるいは対象の腫瘍の進行段階（例えば、標準スケールに沿った、および／またはＴＭＴＶなどの測定基準を特定することによる）を示す、専門家の診断または特性決定（例えば）を示してもよい。受信データは更に、対象と関連付けられた１つまたは複数の入力画像要素内における主要の位置のピクセルまたはボクセルを含んでもよい。このように、診療記録は、各訓練／検証用入力画像要素に対して、１つもしくは複数のラベルを含んでもよく、またはそれを特定するのに使用されてもよい。診療記録は更に、対象に対して行われてきた１つまたは複数の治療（例えば、薬物治療）のそれぞれ、および対象が治療を受けていた期間を示してもよい。いくつかの例では、１つまたは複数の分類器サブシステムに入力される画像またはスキャンは、プロバイダシステム１７０から受信される。例えば、プロバイダシステム１７０は、画像またはスキャンをイメージングシステム１６０から受信してもよく、次に画像またはスキャンを（例えば、対象識別子および１つもしくは複数のラベルとともに）ＣＮＮシステム１０５に送信してもよい。
いくつかの実施形態では、イメージングシステム１６０の１つもしくは複数で受信または収集されたデータは、プロバイダシステム１７０の１つもしくは複数で受信または収集されたデータと集約されてもよい。例えば、ＣＮＮシステム１０５は、イメージングシステム１６０から受信した画像データをプロバイダシステム１７０から受信したラベルデータと関連付けるように、対象および／または期間の対応するもしくは同一の識別子を特定してもよい。ＣＮＮシステム１０５は更に、メタデータまたは自動画像解析を使用してデータを処理して、特定のデータ成分がどの分類器サブシステムに供給されるべきかを決定してもよい。例えば、イメージングシステム１６０から受信した画像データは、全身または身体の複数領域に対応してもよい。メタデータ、自動整列、および／または画像処理は、各画像について、画像がどの領域に対応するかを示してもよい。例えば、自動整列および／または画像処理は、画像が、血管および／または肺もしくは肝臓などの特定の臓器と関連付けられた形状に対応する画像特性を有するか否かを検出することを含んでもよい。プロバイダシステム１７０から受信されるラベル関連データは、領域特異的または対象特異的であってもよい。ラベル関連データが領域特異的である場合、メタデータまたは自動化解析（例えば、自然言語処理もしくはテキスト解析を使用する）を使用して、特定のラベル関連データがどの領域に対応するかを特定することができる。ラベル関連データが対象特異的である場合、（所与の対象に対する）同一のラベルデータが、訓練中に各分類器サブシステムに供給されてもよい。
いくつかの実施形態では、コンピューティング環境１００は更に、訓練、試験、検証、または使用例の目的で対象と関連付けられた入力画像を解析する、ＣＮＮシステム１０５の能力を要求および／または調整しているユーザと関連付けることができる、ユーザデバイス１８０を含むことができる。ユーザは、医師、（例えば、治験と関連付けられた）研究者、対象、医療専門家などであってもよい。このように、いくつかの例では、プロバイダシステム１７０は、ユーザデバイス１８０を含んでもよく、ならびに／あるいはその役割を果たしてもよいことが認識されるであろう。ＣＮＮシステム１０５が入力画像を解析する能力は、ユーザとは異なってもよい（ただし必ずしもそうでなくてもよい）、特定の対象（例えば、人間）と関連付けられてもよい。能力は、ユーザデバイス１８０が能力に対する要求をＣＮＮシステムに通信することによって実現されてもよい。要求は、特定の対象に関する情報（例えば、非特定化された対象識別子など、対象の名前もしくは他の識別子）を含んでもよく、ならびに／あるいはその情報を伴ってもよい。要求は、対象に対応する入力画像データなどのデータをそこから収集する、１つまたは複数の他のシステムの識別子を含んでもよい。いくつかの例では、ユーザデバイス１８０からの通信は、一組の特定の対象において表される各対象と関連付けられた入力画像を解析する、ＣＮＮシステム１０５の能力に対する要求と対応して、一組の特定の対象それぞれの識別子を含む。
要求を受信すると、ＣＮＮシステム１０５は、ラベルなし入力画像要素に対する要求（例えば、対象の識別子を含む）を、１つもしくは複数の対応するイメージングシステム１６０および／またはプロバイダシステム１７０に送ることができる。次に、訓練済みＣＮＮアンサンブルは、ラベルなし入力画像要素を処理して、１つまたは複数の腫瘍をセグメント化し、ＰＦＳと関連付けられたＴＭＴＶ（定量的腫瘍量パラメータ）などの測定基準を生成することができる。特定された各対象の結果は、腫瘍のセグメント化、ならびに／あるいは分類器サブシステム１１０ａ～ｎによって展開される訓練済みＣＮＮアンサンブルの１つまたは複数のＣＮＮモデルからの、１つもしくは複数の出力測定基準を含んでもよく、またはそれに基づいてもよい。例えば、腫瘍セグメンテーションおよび／または測定基準は、１つもしくは複数のＣＮＮの完全接続レイヤによって生成される出力を含んでもよく、あるいはそれに基づいてもよい。いくつかの例では、かかる出力は更に、（例えば）ソフトマックス機能を使用して処理されてもよい。更に、出力および／または更に処理された出力は次に、集約技術（例えば、ランダムフォレスト集約）を使用して集約されて、１つまたは複数の対象特異的な測定基準を生成してもよい。１つまたは複数の結果（例えば、面特異的な出力、および／または１つもしくは複数の対象特異的な出力、および／またはそれらの処理済みのものを含む）は、ユーザデバイス１８０に送信され、ならびに／あるいはそれに有効であってもよい。いくつかの例では、ＣＮＮシステム１０５とユーザデバイス１８０との間の通信の一部または全ては、ウェブサイトを介して行われる。ＣＮＮシステム１０５は、認証解析に基づいて、結果、データ、および／または処理リソースへのアクセスを管理してもよいことが認識されるであろう。
明示的に示されていないが、コンピューティング環境１００は更に、開発者と関連付けられた開発者デバイスを含んでもよいことが認識されるであろう。開発者デバイスからの通信は、どのタイプの入力画像要素がＣＮＮシステム１０５の各ＣＮＮモデルに使用されるか、使用されるニューラルネットワークの数およびタイプ、各ニューラルネットワークのハイパーパラメータ、例えば学習速度および隠れレイヤの数、ならびにデータ要求がどのようにフォーマット化されるか、および／またはどの訓練データが使用されるか（例えば、またどのように訓練データへのアクセスを得るか）を示してもよい。
ＩＩＩ．Ｂ．モデルの概要
図２Ａは、様々な実施形態による、腫瘍セグメンテーションのＣＮＮアーキテクチャ（例えば、図１に関して記載したＣＮＮシステム１０５の部分）を表す例示の概略図２００を示している。いくつかの実施形態では、入力画像要素２０５は、１つまたは複数の画像源（例えば、図１に関して記載したような、イメージングシステム１６０またはプロバイダシステム１７０）から得られる。入力画像要素２０５は、１つまたは複数の時点（例えば、ベースラインもしくは治療前、治療中、治療後など）で得られた、対象（例えば、患者）の身体の部分もしくは領域または全身（例えば、全身スキャン）を描写する、１つまたは複数のデジタル画像を含む。基礎を成す画像データは、二次元および／または再構築された三次元ＰＥＴ画像、ＣＴ画像、ＭＲＩ画像、または得られたそれらの任意の組合せを含むことができる。このように、いくつかの例では、単一の入力画像要素２０５が、身体の異なる（例えば、重なり合うもしくは重なり合わない）部分または領域あるいは全身のスライスをそれぞれ描写する、複数のＰＥＴスキャン、ＳＰＥＣＴスキャン、ＣＴスキャン、ＭＲＩスキャン、またはそれらの任意の組合せに対応する画像を含むことができる。いくつかの実施形態では、全身のいくつかの部分または領域をキャプチャするために身体の異なる部分または領域あるいは全身のスライスと関連付けられた、複数のＰＥＴスキャン、ＳＰＥＣＴスキャン、ＣＴスキャン、ＭＲＩスキャン、またはそれらの任意の組合せに対応する複数の画像を互いに縫合して、画像のモンタージュが形成される。このように、いくつかの例では、単一の入力画像要素２０５が単一の縫合画像を含むことができる。
図２Ａは、様々な実施形態による、腫瘍セグメンテーションのＣＮＮアーキテクチャ（例えば、図１に関して記載したＣＮＮシステム１０５の部分）を表す例示の概略図２００を示している。いくつかの実施形態では、入力画像要素２０５は、１つまたは複数の画像源（例えば、図１に関して記載したような、イメージングシステム１６０またはプロバイダシステム１７０）から得られる。入力画像要素２０５は、１つまたは複数の時点（例えば、ベースラインもしくは治療前、治療中、治療後など）で得られた、対象（例えば、患者）の身体の部分もしくは領域または全身（例えば、全身スキャン）を描写する、１つまたは複数のデジタル画像を含む。基礎を成す画像データは、二次元および／または再構築された三次元ＰＥＴ画像、ＣＴ画像、ＭＲＩ画像、または得られたそれらの任意の組合せを含むことができる。このように、いくつかの例では、単一の入力画像要素２０５が、身体の異なる（例えば、重なり合うもしくは重なり合わない）部分または領域あるいは全身のスライスをそれぞれ描写する、複数のＰＥＴスキャン、ＳＰＥＣＴスキャン、ＣＴスキャン、ＭＲＩスキャン、またはそれらの任意の組合せに対応する画像を含むことができる。いくつかの実施形態では、全身のいくつかの部分または領域をキャプチャするために身体の異なる部分または領域あるいは全身のスライスと関連付けられた、複数のＰＥＴスキャン、ＳＰＥＣＴスキャン、ＣＴスキャン、ＭＲＩスキャン、またはそれらの任意の組合せに対応する複数の画像を互いに縫合して、画像のモンタージュが形成される。このように、いくつかの例では、単一の入力画像要素２０５が単一の縫合画像を含むことができる。
入力画像要素２０５は、ピクセルまたはボクセル値の１つもしくは複数のアレイまたは行列として構造化される。所与のピクセルまたはボクセル位置は、（例えば）全体強度値、ならびに／あるいは１つもしくは複数のグレーレベルおよび／または色（例えば、ＲＧＢ値）それぞれに関する強度値と関連付けられる。例えば、入力画像要素２０５の各画像は、第１の２つの次元のサイズがピクセルでの各画像の幅および高さに対応する、三次元行列としての構造であってもよい。第３の次元のサイズは、各画像と関連付けられた色チャネルに基づいてもよい（例えば、第３の次元は、赤、緑、および青の色画像の３つのチャネルに対応する３であることができる）。
入力画像要素２０５は、入力画像要素２０５全体の標準化画像データを生成する、ＣＮＮアーキテクチャの前処理サブシステム２１０への入力として提供される。前処理は、身体のスライス（例えば、冠状、軸方向、および矢状スライス）または領域に対する、画像または入力画像要素２０５のサブセットを選択することと、均一なピクセル間隔（例えば、１．０ｍｍ）およびスライス厚さ（例えば、２ｍｍ）に関して、画像または入力画像要素２０５のサブセットの幾何学的再サンプリング（例えば、補間）を実施することを含んでもよい。全ての画像の画像強度値は、ノイズおよび潜在的なアーチファクトを除去するように、指定範囲（例えば、－１０００～３０００ハンスフィールド単位）まで切り捨てられてもよい。間隔、スライス厚さ、および単位の標準化によって、入力画像要素２０５の全ての画像にわたって、各ピクセルが一定の面積を有し、各ボクセルが一定の体積を有することが担保される。前処理サブシステム２１０からの出力は、身体のスライス（例えば、冠状、軸方向、および矢状スライス）または領域の標準化画像のサブセットである。
腫瘍セグメンテーションは、１つまたは複数の訓練済みＣＮＮモデル２１５（例えば、図１に関して記載したような分類器サブシステム１１０ａと関連付けられたＣＮＮモデル）を備える、セマンティックセグメンテーションモデルアーキテクチャを使用して実施されてもよい。セマンティックセグメンテーションでは、ＣＮＮモデル２１５は、各ピクセルを所望のラベルで分類することによって、画像内の異なる対象（例えば、腫瘍組織および正常組織）の位置および形状を特定する。例えば、腫瘍組織は腫瘍とラベリングされ、赤に色付けされ、正常組織は正常とラベリングされ、緑に色付けされ、背景ピクセルは背景とラベリングされ、黒に色付けされる。前処理サブシステム２１０からの標準化画像のサブセットが、１つまたは複数の訓練済みＣＮＮモデル２１５への入力として使用される。いくつかの例では、単一の訓練済みＣＮＮモデルが、標準化画像のサブセット全てを処理するのに使用される。他の例では、一組の訓練済みＣＮＮモデル（例えば、ＣＮＮアンサンブル）が使用され、各ＣＮＮモデルは、身体の異なるスライス（冠状、軸方向、および矢状スライス）または領域から派生する画像を処理するように訓練済みである。例えば、冠状スライスからの標準化画像のサブセットが、一組の訓練済みＣＮＮモデルの第１のＣＮＮに対する入力として使用されてもよく、矢状スライスからの標準化画像のサブセットが、一組の訓練済みＣＮＮモデルの第２のＣＮＮに対する入力として使用されてもよい。
訓練済みＣＮＮモデル２１５は、最初に標準化画像の低次元表現を取得し、次にその低次元表現をアップサンプリングして、各画像の二次元セグメンテーションマスク２２０を生成するように構成された、Ｕネットなどの二次元セグメンテーションモデルである。本明細書に詳細に記載するように、Ｕネットは、拡張パスで補足された縮小パスを備える。縮小パスは、異なる分解能で動作する異なる段階に分割される。各段階は、低次元表現を生成する１～３つの畳み込みレイヤを備える。拡張パスは、低次元表現をアップサンプリングして二次元セグメンテーションマスク２２０を生成する。拡張パスにおける連続レイヤのプーリング操作はアップサンプリング演算子に置き換えられ、これらの連続レイヤは二次元セグメンテーションマスク２２０の分解能を増加させる。二次元セグメンテーションマスク２２０は、全てのピクセルが分類された（例えば、ピクセル強度値のいくつかがゼロであり、他のものが非ゼロである）、高分解能（本明細書で使用するとき、「高分解能」は、ＵネットまたはＶネットの縮小パスによって処理された低次元表現よりも多数のピクセルもしくはボクセルを有する画像を指す）のマスク画像である。非ゼロピクセルは、標準化画像のサブセットからの、画像または画像の部分（例えば、ＰＥＴ－ＣＴもしくはＰＥＴ－ＭＲＩスキャン）中に存在する組織の位置を表す。例えば、ピクセルが背景と分類された場合は常に、マスク画像内のピクセルの強度は背景値（例えば、ゼロ）に設定される。ピクセルが腫瘍組織と分類された場合は常に、マスク画像内のピクセルの強度は腫瘍値（例えば、非ゼロ）に設定される。二次元セグメンテーションマスク２２０は、基礎を成すＣＴまたはＭＲＩスキャン内の解剖学的構造に対して、ＰＥＴスキャン内で特定された腫瘍組織の位置を表す非ゼロピクセルを示す（例えば、図２Ｃの二次元セグメンテーションマスク２２０を参照）。腫瘍組織の位置を表す非ゼロピクセルは、入力画像要素２０５からの画像内の腫瘍組織の様々な例を示すセグメンテーションの１つまたは複数の例として、グループ化されラベリングされる。
二次元セグメンテーションマスク２２０は、特徴抽出器２２５（例えば、図１に関して記載したような、特徴抽出器１２０）に入力され、特徴抽出器２２５は、関連する特徴を二次元セグメンテーションマスク２２０から抽出する。特徴抽出は次元縮小のプロセスであり、それによって最初のデータセット（例えば、二次元セグメンテーションマスク２２０）が、更に処理するのにより管理しやすい関連する特徴に縮小される。関連する特徴は、テクスチャ特徴（例えば、コントラスト、非類似度、クラスタシェード、クラスタプロミネンスなど）、形状特徴（例えば、面積、偏心性、範囲など）、予後シグネチャ（例えば、腫瘍特徴を疾患の起こり得る結果または過程に結合する）などを含んでもよく、それらは、二次元セグメンテーションマスク２２０内のピクセルを更に分類する際の助けとなり得る。テクスチャ特徴は、グレーレベル同時生起行列または類似の技術を使用して抽出されてもよい。形状特徴は、領域性質関数または類似の技術を使用して抽出されてもよい。予後シグネチャは、ｋ平均クラスタ化または類似の技術を使用して抽出されてもよい。
特徴抽出器２２５および二次元セグメンテーションマスク２２０から抽出された関連する特徴は、分類器２３０（例えば、図１に関して記載したような分類器１３０）に入力され、分類器２３０は、関連する特徴を変換し、二次元セグメンテーションマスク２２０を組み合わせて最終マスク画像２３５にする。分類器２３０は、関連する特徴を使用して、二次元セグメンテーションマスク２２０におけるピクセルの分類を改良し、（例えば、平均または他の統計関数を使用して）二次元セグメンテーションマスク２２０を組み合わせて、最終マスク画像２３５を生成してもよい。最終マスク画像２３５は、分類されたピクセル（例えば、図２Ｃの最終マスク画像２３５を参照）に基づいて、全てのピクセルが分類され、セグメンテーションアウトライン、ボーダー、透明パッチなどが指定されたセグメント（例えば、腫瘍組織）の周りおよび／または上に重ねられる、高分解能マスク画像である。いくつかの例では、分類器２３０は更に、最終マスク画像２３５から得られたデータを、治療の臨床効率を示し、ＴＭＴＶを査定し、全身ＰＥＴ腫瘍量を査定し、ＰＦＳを予測し、治療する対象を病期分類するとともに治験する対象を選択し、治療終了時応答査定（例えば、ルガノ）を自動化し、またはそれらの組合せを行う、１つまたは複数の出力測定基準に変換する。１つの特定の例では、分類（例えば、分類器を使用する）を予後シグネチャに対して実施して、分類器の設計に応じた所望の形態の出力を得ることができる。例えば、分類器２３５は、ＴＭＴＶを抽出し、ＰＦＳを予測し、治療する対象を病期分類し、ならびに／または治験する対象を選択するように、ラベル付き訓練データに対して訓練することができる。
図２Ｂは、様々な実施形態による、腫瘍セグメンテーションの代替のＣＮＮアーキテクチャ（例えば、図１に関して記載したＣＮＮシステム１０５の部分）を表す例示の概略図２５０を示している。図２Ｂに示されるＣＮＮアーキテクチャは、図２Ａに示されるＣＮＮアーキテクチャと同様であるが、この場合は、構成要素検出モデル２５５および三次元セグメンテーションモデル２６０を組み込んでいる。したがって、同様の構成要素、動作、および用語については、可能であれば、簡潔にするため、例示の概略図２５０の説明では繰り返さない。いくつかの実施形態では、入力画像要素２０５は、１つまたは複数の画像源（例えば、図１に関して記載したような、イメージングシステム１６０もしくはプロバイダシステム１７０）から取得される。入力画像要素２０５は、１つまたは複数の時点（例えば、ベースラインもしくは治療前、治療中、治療後など）で得られた、対象（例えば、患者）の身体の部分もしくは領域または全身（例えば、全身スキャン）を描写する、１つまたは複数のデジタル画像を含む。基礎を成す画像データは、二次元および／または再構築された三次元ＰＥＴ画像、ＣＴ画像、ＭＲＩ画像、または得られたそれらの任意の組合せを含むことができる。入力画像要素２０５は、入力画像要素２０５にわたる標準化画像データを生成する、ＣＮＮアーキテクチャの前処理サブシステム２１０に対する入力として提供される。前処理サブシステム２１０からの出力は、身体の領域のスライス（例えば、冠状、軸方向、および矢状スライス）の標準化画像のサブセットである。
腫瘍セグメンテーションは、１つまたは複数の訓練済みＣＮＮモデル２１５（例えば、図１に関して記載したように、分類器サブシステム１１０ａと関連付けられたＣＮＮモデル）と、構成要素検出モデル２５５と、１つまたは複数の訓練済みＣＮＮモデル２６０（例えば、図１に関して記載したような、分類器サブシステム１１０ｂと関連付けられたＣＮＮモデル）とを備える、セマンティックセグメンテーションモデルアーキテクチャを使用して実施されてもよい。前処理サブシステム２１０からの標準化画像のサブセットは、１つまたは複数の訓練済みＣＮＮモデル２１５に対する入力として使用される。訓練済みＣＮＮモデル２１５は、最初に標準化画像の低次元表現を取得し、次にその低次元表現をアップサンプリングして、二次元セグメンテーションマスク２２０を生成するように構成された、Ｕネットなどの二次元セグメンテーションモデルである。
前処理サブシステム２１０からの標準化画像（具体的には、二次元セグメンテーションマスク２２０を生成するのに使用される標準化画像）は、構成要素検出モデル２５５に対する入力として使用される。構成要素検出モデル２５５は、標準化画像でキャプチャされた領域または身体の構成要素の位置を基準点として自動的に査定し、基準点を使用して、領域または身体を複数の解剖学的領域に分割する。その後、構成要素検出モデルは、複数の解剖学的領域に対して位置ラベルを生成し、位置ラベルを二次元セグメンテーションマスク内に組み込んでもよい。例えば、肺に対して基準点の上にあり、肺に対して基準点の遠位側にあるセグメントは、頭頚部としてラベリングされてもよく、肝臓に対して基準点の上にあり、肺に対して基準点の近位側にあるセグメントは、胸部としてラベリングされてもよく、肺に対して基準点にあり、肝臓に対して基準点の近位側にあるセグメントは、腹部・骨盤としてラベリングされてもよい。
二次元セグメンテーションマスク２２０内のセグメントに対応する画像データのパッチは、１つまたは複数の訓練済みＣＮＮモデル２６０に対する入力として使用される。各セグメントは、基礎を成す画像における分類された対象に対するピクセルごとまたはボクセルごとのマスクである。各セグメントに対する画像データのパッチは、パッチのピクセルサイズおよびスライス厚さの両方から導き出される、ａ（幅）×ｂ（高さ）×ｃ（奥行）として表現される固定サイズのボクセルを有する、画像データの体積を含む。パッチは、セグメントのボーダー（即ち、腫瘍組織などのセグメントの一部として分類される、ピクセルもしくはボクセル）、セグメントを包含するように生成された座標を有するバウンディングボックス、あるいはボーダーもしくはバウンディングボックスに、所定数のピクセルまたはボクセルのバッファゾーンを加えて、セグメント全体が画像データのパッチ内に含まれることを担保したものとして規定されてもよい。システム処理またはＣＮＮモデル２６０は、複数の解剖学的領域にマーカーとして提供されるラベルを使用して、ＣＮＮモデル２６０（例えば、頭頚部領域など、指定された解剖学的領域からのスキャンに対して具体的に訓練されたＣＮＮモデル）を選択するのに入力される二次元セグメンテーションマスク２２０内のセグメントを選択する。例えば、頭頚部の位置ラベルによって特定されたセグメントのサブセットに対応するパッチのサブセットは、頭頚部スキャンに対して訓練された第１のＣＮＮへの入力として使用されてもよく、胸部の位置ラベルによって特定されたセグメントのサブセットに対応するパッチのサブセットは、胸部スキャンに対して訓練された第２のＣＮＮへの入力として使用されてもよく、腹部・骨盤の位置ラベルによって特定されたセグメントのサブセットに対応するパッチのサブセットは、腹部・骨盤スキャンに対して訓練された第３のＣＮＮへの入力として使用されてもよい。
訓練済みＣＮＮモデル２６０は、最初にセグメントに対応する画像データの各パッチの低分解能特徴マップを取得し、次に低分解能特徴マップをアップサンプリングして、画像データの各パッチの三次元セグメンテーションマスク２６５を生成するように構成された、Ｖネットなどの三次元セグメンテーションモデルである。本明細書に詳細に記載するように、Ｖネットは、拡張パスで補足された縮小パスを備える。縮小パスは、異なる分解能で動作する異なる段階に分割される。各段階は１つまたは複数の畳み込みレイヤを備える。各段階で、残差関数が学習される。各段階の入力は、残差関数の学習を可能にするために、畳み込みレイヤで使用され、非線形性によって処理され、その段階の最後の畳み込みレイヤの出力に追加される。このアーキテクチャは、Ｕネットなどの非残差学習ネットワークと比較して収束が担保される。各段階で実施される畳み込みは、ｎ×ｎ×ｎボクセルのサイズを有する体積カーネルを使用する。ボクセル（体積要素または体積ピクセル）は、三次元空間内の構造格子における値、サンプル、またはデータ点を表す。
拡張パスは、必要な情報を集めて組み立てて、画像データの各パッチに対する三次元セグメンテーションマスク２６５を出力するために、より低分解能の特徴マップの特徴を抽出し、空間支持を拡大する。各段階で、前のレイヤで用いられたｎ×ｎ×ｎのカーネルの半数が関与する、入力のサイズと、続いて１～３つの畳み込みレイヤのサイズとを増加させるために、逆畳み込み操作が用いられる。ネットワークの縮小部分と同様に、残差関数が学習される。各三次元セグメンテーションマスク２６５は、全てのボクセルが分類される（例えば、ボクセル強度値のいくつかがゼロであり、他のものが非ゼロである）、高分解能マスク画像である。非ゼロボクセルは、標準化画像のサブセットからの、画像または画像の部分（例えば、ＰＥＴ－ＣＴもしくはＰＥＴ－ＭＲＩスキャン）中に存在する組織の位置を表す。例えば、ボクセルが背景と分類された場合は常に、マスク画像内のボクセルの強度は背景値（例えば、ゼロ）に設定される。ボクセルが腫瘍組織と分類された場合は常に、マスク画像内のボクセルの強度は腫瘍値（例えば、非ゼロ）に設定される。三次元セグメンテーションマスク２６５は、基礎を成すＣＴまたはＭＲＩスキャン内の解剖学的構造に対して、ＰＥＴスキャン内で特定された腫瘍組織の位置を表す非ゼロボクセルを示す。腫瘍組織の位置を表す非ゼロボクセルは、画像データのパッチ内の腫瘍組織の様々な例を示す１つまたは複数のセグメントとして、グループ化されラベリングされる。
画像データの各パッチに対する二次元セグメンテーションマスク２２０および三次元セグメンテーションマスク２６５は、特徴抽出器２２５（例えば、図１に関して記載したような、特徴抽出器１２０）に入力され、特徴抽出器２２５は、関連する特徴を二次元セグメンテーションマスク２２０および各三次元セグメンテーションマスク２６５から抽出する。抽出された関連する特徴、二次元セグメンテーションマスク２２０、および三次元セグメンテーションマスク２６５は、分類器２３０（例えば、図１に関して記載したような分類器１３０）に入力され、分類器２３０は、関連する特徴、二次元セグメンテーションマスク２２０、および三次元セグメンテーションマスク２６５を変換し、組み合わせて最終マスク画像２３５にする。より具体的には、分類器２３０は、関連する特徴を使用して、二次元セグメンテーションマスク２２０および三次元セグメンテーションマスク２６５それぞれにおけるピクセルおよびボクセルの分類を改良する。
その後、分類器は、改良された二次元セグメンテーションマスク２２０および三次元セグメンテーションマスク２６５を組み合わせ（例えば、ピクセルおよび／またはボクセル値を平均し）て、最終マスク画像２３５を生成する。最終マスク画像２３５は、分類されたピクセルおよびボクセル（例えば、図２Ｃの最終マスク画像２３５を参照）に基づいて、全てのピクセルおよびボクセルが分類され、セグメンテーションアウトライン、ボーダー、透明パッチなどがセグメント（例えば、腫瘍組織）の周りおよび／または上に重ねられる、高分解能マスク画像である。いくつかの例では、分類器２３０は更に、最終マスク画像２３５から得られたデータを、治療の臨床効率を示し、ＴＭＴＶを査定し、全身ＰＥＴ腫瘍量を査定し、ＰＦＳを予測し、治療する対象を病期分類するとともに治験する対象を選択し、治療終了時応答査定（例えば、ルガノ）を自動化し、またはそれらの組合せを行う、１つまたは複数の出力測定基準に変換する。１つの特定の例では、分類（例えば、分類器を使用する）を予後シグネチャに対して実施して、分類器の設計に応じた所望の形態の出力を得ることができる。例えば、分類器２３５は、ＴＭＴＶを抽出し、ＰＦＳを予測し、治療する対象を病期分類し、ならびに／または治験する対象を選択するように、ラベル付き訓練データに対して訓練することができる。
図２Ｃは、様々な実施形態による、入力画像要素２０５（前処理サブシステム２１０によって標準化）と、二次元セグメンテーションモデル２１５と、構成要素検出モデル２５５と、領域ラベルを有する二次元セグメンテーションマスク２２０と、三次元セグメンテーションモデル２６５と、予測最終マスク画像２３５とを含む、図２Ｂとは別のモデルアーキテクチャの図である。図２Ｃのモデルアーキテクチャでは、（ｉ）本明細書のＩＩＩ．Ｃで更に説明するような、二次元セグメンテーションモデル２１５を使用して、二次元腫瘍マスク内の腫瘍の第１の予測を生成する、二次元セグメンテーション２７０と、（ｉｉ）本明細書のＩＩＩ．Ｄで更に説明するような、入力画像要素２０５（前処理サブシステム２１０によって標準化）内の解剖学的領域を特定し、ステップ（ｉ）で得られた二次元セグメンテーションマスク２２０内の対応する解剖学的領域の位置ラベルを提供する、構成要素および領域検出２７５と、（ｉｉｉ）本明細書のＩＩＩ．Ｅで更に説明するような、解剖学的領域それぞれに対して三次元セグメンテーション２８０を別個に実施して、最終マスク画像２３５に組み合わせることができる複数の三次元腫瘍マスクを生成する、それぞれの三次元セグメンテーションモデル２６５を使用した、二次元セグメンテーションマスク２２０の解剖学的領域それぞれ（ステップ（ｉｉ）で特定）における、（ステップ（ｉ）からの）腫瘍に対する第１の予測の改良との、３つの動作を実施するモデル２１５／２５５／２６５が示されている。
ＩＩＩ．Ｃ．二次元セグメンテーションのための例示的なＵネット
二次元セグメンテーションは、修正されたＵネットを個別に使用して、入力画像（例えば、標準化ＰＥＴスキャン、ＣＴスキャン、ＭＲＩスキャン、またはそれらの任意の組合せ）から特徴を抽出して、高分解能の特徴を有する二次元セグメンテーションマスクを生成する。図３に示されるように、Ｕネット３００は、縮小パス３０５および拡張パス３１０を含んで、Ｕ字形のアーキテクチャを得ている。縮小パス３０５は、畳み込みの繰返し適用（例えば、３×３の畳み込み（パッドなしの畳み込み））と、そのそれぞれに続く、ダウンサンプリングのための正規化線形ユニット（ＲｅＬＵ）および最大プーリング動作（例えば、刻み幅２を有する２×２の最大プーリング）を含む、ＣＮＮネットワークである。畳み込み動作の入力は、三次元体積（即ち、サイズｎ×ｎチャネルの入力画像（ｎは入力特徴の数））、およびそれぞれサイズ（ｆ×ｆ×チャネル（ｆは任意の数、例えば３もしくは５））の、一組の「ｋ」フィルタ（カーネルまたは特徴抽出器とも呼ばれる）である。畳み込み動作の出力も、サイズ（ｍ×ｍ×ｋ（Ｍは出力特徴の数、ｋは畳み込みカーネルサイズ））の三次元体積（出力画像もしくは特徴マップとも呼ばれる）である。
二次元セグメンテーションは、修正されたＵネットを個別に使用して、入力画像（例えば、標準化ＰＥＴスキャン、ＣＴスキャン、ＭＲＩスキャン、またはそれらの任意の組合せ）から特徴を抽出して、高分解能の特徴を有する二次元セグメンテーションマスクを生成する。図３に示されるように、Ｕネット３００は、縮小パス３０５および拡張パス３１０を含んで、Ｕ字形のアーキテクチャを得ている。縮小パス３０５は、畳み込みの繰返し適用（例えば、３×３の畳み込み（パッドなしの畳み込み））と、そのそれぞれに続く、ダウンサンプリングのための正規化線形ユニット（ＲｅＬＵ）および最大プーリング動作（例えば、刻み幅２を有する２×２の最大プーリング）を含む、ＣＮＮネットワークである。畳み込み動作の入力は、三次元体積（即ち、サイズｎ×ｎチャネルの入力画像（ｎは入力特徴の数））、およびそれぞれサイズ（ｆ×ｆ×チャネル（ｆは任意の数、例えば３もしくは５））の、一組の「ｋ」フィルタ（カーネルまたは特徴抽出器とも呼ばれる）である。畳み込み動作の出力も、サイズ（ｍ×ｍ×ｋ（Ｍは出力特徴の数、ｋは畳み込みカーネルサイズ））の三次元体積（出力画像もしくは特徴マップとも呼ばれる）である。
縮小パス３１５の各ブロック３１５は、１つまたは複数の畳み込みレイヤ（グレーの水平矢印によって示される）を含み、特徴チャネルの数は、例えば、畳み込みプロセスが入力画像の深度を増加させるにつれて、（例えば、第１のプロセスでは、開始時のチャネル数に応じて）１から６４に変化する。各ブロック３１５間で下を指しているグレーの矢印は、入力画像のサイズを半分にする最大プーリングプロセスである。各ダウンサンプリングステップまたはプーリング動作において、特徴チャネルの数は二倍にされてもよい。縮小の間、画像データの空間情報は低減され、特徴情報は増加される。このように、プーリングの前、例えば５７２×５７２の画像中に存在した情報は、プーリング後、（ほぼ）同じ情報が今度は例えば２８４×２８４の画像中に存在する。ここで、畳み込み動作が後に続くプロセスまたはレイヤに再び適用されたとき、後に続くプロセスまたはレイヤのフィルタは、より大きいコンテキストを見ることができるようになり、即ち、入力画像がネットワークのより深部へと進行するにしたがって、入力画像のサイズは低減されるが、受信フィールドは増加する（受信フィールド（コンテキスト）は、任意の所与の時点においてカーネルもしくはフィルタがカバーする入力画像の面積である）。ブロック３１５が実施されると、ブロック３２０で更に二回の畳み込みが実施されるが、最大プーリングはない。ブロック３２０後の画像は、例えば、２８×２８×１０２４にリサイズされている（このサイズは単なる例示であり、プロセス３２０終了時のサイズは、入力画像の開始サイズ（サイズｎ×ｎ×チャネル）に応じて異なることができる）。
拡張パス３１０は、縮小パス３０５からの特徴および空間情報を組み合わせる（縮小パス３０５からの特徴マップをアップサンプリングする）、ＣＮＮネットワークである。本明細書に記載するように、二次元セグメンテーションの出力は、単なる分類ラベルまたはバウンディングボックスのパラメータではない。その代わりに、出力（二次元セグメンテーションマスク）は、全てのピクセルが分類されている完全な高分解能画像である。プーリングレイヤおよび緻密レイヤを有する通常の畳み込みネットワークが使用された場合、ＣＮＮネットワークは、「ｗｈｅｒｅ」情報を失い、画像セグメンテーションに対して許容不能な「ｗｈａｔ」情報のみを保持する。画像セグメンテーションの場合、「ｗｈａｔ」ならびに「ｗｈｅｒｅ」両方の情報が必要である。このように、画像をアップサンプリングすること、即ち、「ｗｈｅｒｅ」情報を回復するように、低分解能画像を高分解能画像に変換することが必要とされている。上向きの白い矢印によって表される転位された畳み込みは、特徴マップをアップサンプリングし、画像のサイズを拡張するのに拡張パス３１０内で使用されてもよい、例示のアップサンプリング技術である。
ブロック３２５の転位された畳み込みの後、画像は２８×２８×１０２４から５６×５６×５１２にアップサイズされ、次に、画像は縮小パスからの対応する画像と連結されて（縮小パス３０５からの水平のグレーのバー３３０を参照）、併せてサイズ５６×５６×１０２４の画像を作る。連結する理由は、より精密な予測を得るために、前のレイヤからの情報を組み合わせるためである（即ち、縮小パス３０５からの高分解能特徴が、拡張パス３１０からのアップサンプリングされた出力と組み合わされる）。このプロセスは、二次元セグメンテーションマスクとしてマルチチャネルセグメンテーションを生成する、チャネルの数を半分にする逆畳み込み（アップサンプリング演算子）、縮小パス３０５からの対応するクロップされた特徴マップとの連結、正規化線形ユニット（ＲｅＬＵ）がそれぞれ後に続く畳み込みの繰返し適用（例えば、２回の３×３の畳み込み）、およびブロック３３５の最終畳み込み（例えば、１回の１×１の畳み込み）のシーケンスとして継続する。局所化のために、Ｕネット３００は、完全接続レイヤを有さない各畳み込みの有効部を使用し、即ち、セグメンテーションマップは、全コンテキストが入力画像で利用可能なピクセルのみを含み、縮小ブロックの間に学習したコンテキスト特徴と拡張ブロックで学習した局所化特徴とを結合するスキップ接続を使用する。
二次元セグメンテーションのみが実施される場合、Ｕネットから出力される二次元セグメンテーションマスクは、特徴抽出器への入力として使用され、特徴抽出器は、関連する特徴を二次元セグメンテーションマスクから抽出する。関連する特徴および二次元セグメンテーションマスクは、分類器に入力され、分類器は、関連する特徴および二次元セグメンテーションマスクを最終マスク画像に変換する。分類器は、関連する特徴を使用して、二次元セグメンテーションマスクにおけるピクセルの分類を改良し、最終マスク画像を生成してもよい。最終マスク画像は、分類されたピクセルに基づいて、全てのピクセルが分類され、セグメンテーションアウトライン、ボーダー、透明パッチなどが指定されたセグメント（例えば、腫瘍組織）の周りおよび／または上に重ねられる、高分解能マスク画像である。
従来のＵネットアーキテクチャでは、縮小および拡張パスのブロックは、畳み込みを実施するため、畳み込みレイヤ（例えば、一般的に２つもしくは３つのレイヤ）によって単純に構成される。しかしながら、様々な実施形態によれば、ブロック（例えば、ブロック３１５）は、逆伝播中により大きい勾配を１つまたは複数のレイヤに伝播する、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して１つもしくは複数のレイヤから複数レイヤ離れたレイヤに直接供給する、１つまたは複数のレイヤを含む残差ブロックである。特定の例では、残差ブロックの１つまたは複数のレイヤは、１つまたは複数の拡大レベルで分離可能な畳み込みが実施されるピラミッドレイヤである。
図４Ａは、図３に示されるブロック３１５の１つのレイヤ構造を示している。図示されるように残差ブロック４００は、複数の畳み込みレイヤ４０５を備えてもよい（図示される実施形態では、単一の畳み込みレイヤはそれぞれ、２つ以上のピラミッドレイヤ３２０と置き換えられる）。残差ブロック４００を含むネットワーク（例えば、ＲｅｓＮｅｔ）では、１つまたは複数のレイヤ４０５（図示される実施形態では、各レイヤはピラミッドレイヤである）は、次のレイヤ（Ａ、Ｂ、Ｃ…）に直接、また更に離れた、例えば複数レイヤ離れたレイヤ（Ｄ、Ｅ…）に直接供給する。残差ブロック４００をネットワークで使用することは、畳み込みまたはピラミッドレイヤの数を増加させることによって起こる劣化の問題（レイヤの数が増加し続けた場合、最初は精度が向上するが、ある地点で飽和し始め、次第に劣化する）を克服する助けとなる。残差ブロック４００は、スキップ接続または残差接続を使用して、これらの追加レイヤのいくつかをスキップし、それによって最終的に、逆伝播中により大きい勾配が最初のレイヤに伝播する。スキップによってネットワークが有効に単純化され、最初の訓練段階で使用されるレイヤが少なくなる。これにより、伝播するレイヤが少なくなるので、勾配の消失による影響を低減することによって学習が高速化する（即ち、マルチスピード残差学習）。次に、ネットワークは、特徴空間を学習するにつれて、スキップしたレイヤを徐々に復元する。経験的証拠が、残差ブロックによって正確さが得られ、最適化がより簡単になることを示している。
図４Ｂは、様々な実施形態による、図４Ａの単一のピラミッドレイヤ４０５を示している。ピラミッドレイヤ４０５は、複数の異なるスケール（「拡大ブロック」）、この例では４つのレベルで、拡大された（アトラス）分離可能な畳み込みを使用してもよい。ピラミッドレイヤ４０５は、対象（例えば、腫瘍）検出の精度を向上するために、複数の異なるスケールで同じ画像を備える。ピラミッドレイヤ４０５の分離可能な畳み込みは、分離可能な深度ごとの畳み込み、即ち、入力の各チャネルに対して独立して実施される空間畳み込みであり、それに続いてポイントごとの畳み込みが、例えば１×１の畳み込みが実施されて、深度ごとの畳み込みによって出力されるチャネルが新しいチャネル空間上に投影される。分離可能な深度ごとの畳み込みは、一般的な二次元畳み込みを使用する場合よりも、収束速度の大きい利得とモーダルサイズの大幅な低減とをもたらす。拡大された（アトラス）畳み込みは、カーネル要素の間に空間を挿入することによってカーネルを膨張させる。カーネル要素間の間隔に関するこの追加のパラメータＩ（拡大率）は、カーネルがどの程度拡幅するかを示す。これにより、受信フィールドが「広がった」フィルタが作られ、それによって受信フィールドのサイズがカーネルサイズに対して増加する。いくつかの実施形態では、拡大率は４つの拡大レベルである。他の実施形態では、より多数または少数の拡大レベルを、例えば６つの拡大レベルを使用することができる。拡大された（アトラス）畳み込みは、カーネルサイズを増加させることなく、また分解能を損失することなく受信フィールドを拡張し、これは、ピラミッドレイヤ４０５のように、複数の拡大された畳み込みが互いに積み重ねられる場合に特に有効である。
畳み込みレイヤ出力４１５は、拡大ブロック４２０（拡大１、２、４、および８としてラベリングされる）の出力である。図４Ｂの図示される例は４つの拡大ブロックを仮定し、各拡大ブロックが（同じ色の）２つのチャネルを出力するので、チャネル出力の合計数は８である。各拡大ブロックによって出力されるチャネルの数は、問題の残差ブロックに応じて変わってもよい。図４Ｂの例は、図３の左上の残差ブロック３１５または右上の残差ブロック３３５を示している。いくつかの実施形態では、残差ブロック４０５のピラミッドレイヤ４１０の各拡大ブロック４１５によって出力されるチャネルそれぞれの数は、残差ブロック４０５のフィルタの数ｋを４で割ったものに等しい。
ＩＩＩ．Ｄ．例示的な構成要素および領域の検出ならびにラベリング
ＰＥＴスキャン、ＣＴスキャン、およびＭＲＩスキャンは、臓器の密度および代謝にばらつきがあるので、身体内におけるスキャンの位置に応じて非常に異質であり得る。下流の処理においてこのばらつきを制限するために、構成要素検出モデルは、スキャンで描写される領域または身体を、複数の解剖学的領域に、例えば頭頚部、胸部、および腹部・骨盤を含む３つの領域に分割するように構成される。構成要素検出モデルは、二次元セグメンテーションマスクでキャプチャされた領域または身体の構成要素（例えば、肝臓および肺）の位置を基準点として自動的に査定し、基準点を使用して、領域または身体を複数の解剖学的領域に分割する。その後、構成要素検出モデルは、複数の解剖学的領域に対して位置ラベルを生成し、位置ラベルを二次元セグメンテーションマスク内に組み込んでもよい。下流の処理は、ラベルをマーカーとして使用して、ＣＮＮモデル（例えば、頭頚部領域からのスキャンに対して具体的に訓練されたＣＮＮモデル）を選択することによって、二次元セグメンテーションマスク内のセグメントを選択してもよい。この分割およびラベリングによって、イメージング空間が狭くなり、異なる解剖学的領域に対して訓練されるＣＮＮモデルを選択することが可能になって、ＣＮＮモデルの学習全体が改善される。
ＰＥＴスキャン、ＣＴスキャン、およびＭＲＩスキャンは、臓器の密度および代謝にばらつきがあるので、身体内におけるスキャンの位置に応じて非常に異質であり得る。下流の処理においてこのばらつきを制限するために、構成要素検出モデルは、スキャンで描写される領域または身体を、複数の解剖学的領域に、例えば頭頚部、胸部、および腹部・骨盤を含む３つの領域に分割するように構成される。構成要素検出モデルは、二次元セグメンテーションマスクでキャプチャされた領域または身体の構成要素（例えば、肝臓および肺）の位置を基準点として自動的に査定し、基準点を使用して、領域または身体を複数の解剖学的領域に分割する。その後、構成要素検出モデルは、複数の解剖学的領域に対して位置ラベルを生成し、位置ラベルを二次元セグメンテーションマスク内に組み込んでもよい。下流の処理は、ラベルをマーカーとして使用して、ＣＮＮモデル（例えば、頭頚部領域からのスキャンに対して具体的に訓練されたＣＮＮモデル）を選択することによって、二次元セグメンテーションマスク内のセグメントを選択してもよい。この分割およびラベリングによって、イメージング空間が狭くなり、異なる解剖学的領域に対して訓練されるＣＮＮモデルを選択することが可能になって、ＣＮＮモデルの学習全体が改善される。
以下のものなどの方策は、肝臓を検出するのに使用されてもよい。構成要素検出モデルは、閾値（例えば、閾値２．０ＳＵＶ）を用いてスキャンを閾値処理し、穴（例えば、画像の背景の穴）を埋めるため、既定の半径（例えば、８ｍｍ）の構造要素を用いた形態学的閉鎖および開放を使用した後、所定の面積または体積（例えば、５００ｍｍ３）よりも大きい接続された構成要素を探すことによって、脳がスキャン（例えば、ＰＥＴスキャン）内に存在するかを決定する、チェックを実施してもよい。形態学的閉鎖は、両方の操作に対して同じ構造要素を使用する拡大およびその後の浸食を含む、数学演算子である。形態学的開放は、両方の操作に対して同じ構造要素を使用する浸食およびその後の拡大を含む、数学演算子である。拡大演算子は２つのデータ片を入力とする。第１のものは拡大されるべき画像である。第２のものは、構造要素として知られる（カーネルとしても知られる）、（通常は小さい）一組の座標点である。この構造要素が、入力画像に対する拡大の正確な作用を決定する。画像に対する拡大演算子の基本的作用は、前景ピクセル（例えば、一般的に、白いピクセル）の領域の境界を徐々に拡大することである。このように、前景ピクセルの面積はサイズが成長し、一方でそれらの領域内の穴は小さくなる。浸食演算子は２つのデータ片を入力とする。第１のものは浸食されるべき画像である。第２のものは、構造要素として知られる（カーネルとしても知られる）、（通常は小さい）一組の座標点である。この構造要素が、入力画像に対する浸食の正確な作用を決定する。画像に対する浸食演算子の基本的作用は、前景ピクセル（例えば、一般的に、白いピクセル）の領域の境界を浸食していくことである。このように、前景ピクセルの面積はサイズが収縮し、それらの面積内の穴は大きくなる。構成要素検出モデルは、画像の右下部分を見て、所定の閾値（例えば、所定の閾値１．０ＳＵＶ）を使用して、（例えば、閉鎖もしくは開放動作を使用して）穴を満たし、接続された構成要素を浸食演算子で浸食し、質量中心が矢状軸の最後の三分の１にある、最も上にある接続された構成要素を見る。この接続された構成要素の質量中心は肝臓内にある。他の実施形態では、上述した用語に対する代替の値、および／または代替の方法が使用されてもよい。
以下のものなどの方策は、肺の質量中心を検出するのに使用されてもよい。構成要素検出モデルは、所定のスケール（例えば、ＣＴスキャンの場合は－３００ハンスフィールド（ＨＵ））で画像を閾値セグメント化して、バイナリマスクを取得し、画像内で特定可能な最大の接続された構成要素の数（例えば、８）を保持してもよい。各スライス（例えば、矢状、軸方向、冠状など）において、構成要素検出モデルは、スライス境界に隣接する選択された領域を除去し、残りの接続された構成要素を浸食して漏れを回避し、２つの最大の接続された構成要素のみを保持してもよい。モデルは、２つの最大の残っている接続された構成要素の質量中心を、肺の質量中心とする（残っている２つの最大の構成要素は肺であると推論する）。他の実施形態では、上述した用語に対する代替の値、および／または代替の方法が使用されてもよい。
あるいは、構成要素検出モデルは、臓器セグメンテーションを使用して、ＰＥＴスキャン、ＣＴスキャン、またはＭＲＩスキャンで描写される領域または身体内の臓器など、構成要素の位置を査定して、領域または身体内の臓器に対する１つもしくは複数の基準点を取得してもよい。いくつかの例では、臓器セグメンテーションは、それに加えてまたはその代わりに、脾臓、肝臓、肺、および腎臓などの１つまたは複数の臓器に対して、臓器特異的な測定に使用されてもよい。以下のものなどの方策は、１つまたは複数の臓器をセグメント化するのに使用されてもよい。構成要素検出モデル（例えば、三次元臓器セグメンテーションのためのＶネットなど、三次元畳み込みニューラルネットワーク）は、ダウンサンプリングおよびアップサンプリングのサブネットワークを含んでもよく、スキップ接続が高分解能情報を最終セグメンテーションに伝播する。いくつかの例では、ダウンサンプリングサブネットワークは、ダウンサンプリング畳み込みによって接続される複数の密な特徴スタックのシーケンスであってもよく、各スキップ接続は、対応する密な特徴スタック出力の単一の畳み込みであってもよく、アップサンプリングネットワークは、最終セグメンテーション分解能への双線形アップサンプリングを含む。構成要素検出モデルの出力は、入力スキャンに対する臓器セグメンテーションマスクであろう。
領域または身体の構成要素（例えば、肝臓および肺）が検出されると、構成要素は、領域または身体を複数の解剖学的領域に分割するのに、二次元セグメンテーションマスク内の基準点として使用されてもよい。構成要素検出モデルは、複数の解剖学的領域に対して位置ラベルを生成し、位置ラベルを二次元セグメンテーションマスクに組み込んでもよい。結果として、二次元セグメンテーションマスクは、複数の解剖学的領域に対するラベルを含んでもよい。下流の処理は、ラベルをマーカーとして使用して、ＣＮＮモデル（例えば、頭頚部領域からのスキャンに対して具体的に訓練されたＣＮＮモデル）を選択することによって、二次元セグメンテーションマスク内のセグメントを選択してもよい。
ＩＩＩ．Ｄ．三次元セグメンテーションのための例示的なＶネット
複数の別個のサブモデルの体積ＣＮＮシステムに基づいた三次元セグメンテーションは、各解剖学的区画に対して個別に、画像データのパッチから特徴を抽出する。画像データのパッチは、二次元セグメンテーションマスク内のセグメントに対応する。各パッチは、パッチのピクセルサイズおよびスライス厚さの両方から導き出される、固定サイズのボクセルを有する画像データの体積を含む。パッチは、セグメントのボーダー（即ち、腫瘍組織などのセグメンテーションの一部として分類されるピクセル）、セグメントを包含するように生成された座標を有するバウンディングボックス、あるいはボーダーもしくはバウンディングボックスに、所定数のピクセルまたはボクセルのバッファゾーンを加えて、セグメント全体が画像データのパッチ内に含まれることを担保したものとして規定されてもよい。システム処理または複数の別個のサブモデルのＣＮＮシステムは、複数の解剖学的領域にマーカーとして提供されるラベルを使用して、ＣＮＮモデル（例えば、頭頚部領域など、指定された解剖学的領域からのスキャンに対して具体的に訓練されたＣＮＮモデル）を選択するのに入力される二次元セグメンテーションマスク内のセグメントを選択する。
複数の別個のサブモデルの体積ＣＮＮシステムに基づいた三次元セグメンテーションは、各解剖学的区画に対して個別に、画像データのパッチから特徴を抽出する。画像データのパッチは、二次元セグメンテーションマスク内のセグメントに対応する。各パッチは、パッチのピクセルサイズおよびスライス厚さの両方から導き出される、固定サイズのボクセルを有する画像データの体積を含む。パッチは、セグメントのボーダー（即ち、腫瘍組織などのセグメンテーションの一部として分類されるピクセル）、セグメントを包含するように生成された座標を有するバウンディングボックス、あるいはボーダーもしくはバウンディングボックスに、所定数のピクセルまたはボクセルのバッファゾーンを加えて、セグメント全体が画像データのパッチ内に含まれることを担保したものとして規定されてもよい。システム処理または複数の別個のサブモデルのＣＮＮシステムは、複数の解剖学的領域にマーカーとして提供されるラベルを使用して、ＣＮＮモデル（例えば、頭頚部領域など、指定された解剖学的領域からのスキャンに対して具体的に訓練されたＣＮＮモデル）を選択するのに入力される二次元セグメンテーションマスク内のセグメントを選択する。
図５に示されるように、二次元セグメンテーションマスクにおいてラベリングされた解剖学的領域のそれぞれに対して、解剖学的領域のそれぞれと関連付けられたパッチ内の画像データを改良するのに、別個のＶネット５００ａ～ｎが使用されてもよい。パッチ内の画像データの改良は、パッチそれぞれにおけるボクセルに対して体積データを分類することを含む（即ち、二次元空間内でピクセルを分類した二次元セグメンテーション、および三次元セグメンテーションを、三次元空間内におけるボクセルの分類に追加する）。例えば、画像データの各パッチは、ピクセルおよびボクセル値の行列とみなすことができ、行列の各ピクセルおよびボクセルの面積に値を割り当てることができる。いくつかの例では、画像データのパッチは、０から１の範囲のピクセルまたはボクセル値を有する白黒特性、ならびに／あるいは０から２５５の範囲の３つの割り当てられたＲＧＢピクセルまたはボクセル値を有するカラー特性を含む。分類をボクセルに割り当てるために、各Ｖネット５００ａ～ｎは、画像データのパッチに対して、以下に詳細に記載するような、（１）畳み込み、（２）非線形変換（例えば、ＲｅＬＵ）、（３）プーリングまたはサブサンプリング、および（４）分類（完全接続レイヤ）という一連の操作を実施する。
各Ｖネット５００は、ダウンサンプリングのための圧縮パス５０５と、信号をその元のサイズに達するまで復元するアップサンプリングのための復元パス５１０とを含む。圧縮パス５１０は、異なる分解能で動作する異なるブロック５１５に分割される。各ブロック５１５は１つまたは複数の畳み込みレイヤを備えてもよい。レイヤそれぞれにおける畳み込みは、適切なパディングで適用されてもよい。各ブロック５１５は、残差接続を介して残差関数を学習するように構成されてもよく、各ブロック５１５の入力は、残差関数の学習を可能にするために、（ｉ）畳み込みレイヤで使用され、非線形性によって処理され、（ｉｉ）そのブロックの最後の畳み込みレイヤの出力に追加される。各ブロック５１５で実施される畳み込みは、５×５×５ボクセルなど、所定のサイズを有する体積カーネルを使用する。画像データが圧縮パス５１０に沿って異なるブロック５１５を通って進むにつれて、画像データの分解能が低減される。これは、適切な刻み幅（例えば、２スライド）で適用される２×２×２ボクセル幅のカーネルなど、所定サイズのカーネルを用いた畳み込みによって実施される。第２の動作は、重なり合わない体積パッチのみを考慮することによって特徴を抽出するので、結果として得られる特徴マップのサイズは半分になる（サブサンプリングされる）。この戦略はレイヤをプーリングするのと同様の目的に役立つ。プーリング動作を畳み込み動作と置き換えることで、プーリングレイヤの出力をそれらの入力に戻すマッピングの切替えが逆伝播に不要なので、メモリフットプリントが小さいネットワークがもたらされる。圧縮パス５０５の段階はそれぞれ、前のレイヤまたはブロックからの特徴の数の複数倍である特徴の数を計算する。
復元パス５１０は、マルチチャネル体積セグメンテーションを三次元セグメンテーションマスクとして出力するのに必要な情報を集めて組み立てるために、特徴を抽出し、低分解能特徴マップの空間支持を拡張する、異なるブロック５２０に分割される。復元パス５１５の各ブロック５２０の後、入力のサイズと、続いて前のレイヤで用いられた５×５×５のカーネルなど、カーネルの半数が関与する１つまたは複数の畳み込みレイヤのサイズとを増加させるために、逆畳み込み動作が用いられてもよい。圧縮パス５１０と同様に、復元パス５１５の畳み込み段階において残差関数が学習されてもよい。それに加えて、圧縮パス５１０の初期段階から抽出された特徴は、水平接続５２５によって示されるように、復元パス５１５に転送されてもよい。一番最後の畳み込みレイヤによって計算された、１×１×１のカーネルサイズなどの適切なカーネルサイズを有し、入力体積と同じサイズの出力を作成する（２つの体積は画像データの元の入力パッチと同じ分解能を有する）、２つの特徴マップは、各ボクセルが前景または背景などの分類に属する確率を出力するソフトマックスレイヤによって処理されてもよい。
ＰＥＴスキャン、ＣＴスキャン、およびＭＲＩスキャンなどの画像データでは、関心の解剖学的構造（例えば、腫瘍）がスキャンの非常に小さい領域のみを占めることは珍しくない。これにより、多くの場合、学習プロセスが、予測が背景に向かって強力にバイアスされるネットワークをもたらす、損失係数の極小値に捕捉される。例えば、体積内における負のボクセルの平均割合は９９．５％であり、単一のスライスでは常に８０％よりも高い。結果として、前景領域はないか、または部分的にのみ検出される場合が多い。画像の不均衡な性質に対処するために、ダイス類似係数（ＤＳＣ）に基づいた目的関数を、式（２）に示されるように、二次元に対する重み付き交差エントロピーとともに、ソフトマックスレイヤで使用することができる。
式中、Ｖはボクセル空間、Ｔは一組の正のボクセル、Ｐは一組の予測された正のボクセルを指し、ｙｖは三次元セグメンテーションマスクにおけるボクセルｖの値、ｙ＿ｈａｔｖは予測三次元セグメンテーションマスクにおけるボクセルｖの値である。
三次元では、式（３）に示されるように、ＤＳＣを、損失関数における感度および平均絶対誤差とともに使用することができる。
式中、Ｖはボクセル空間、Ｔは一組の正のボクセル、Ｐは一組の予測された正のボクセルを指し、ｙｖは三次元セグメンテーションマスクにおけるボクセルｖの値、ｙ＿ｈａｔｖは予測三次元セグメンテーションマスクにおけるボクセルｖの値である。
図５は、３つのＶネット５００（それぞれ２つのパスを有する）を使用して、二次元セグメンテーションマスクからの画像データのパッチを改良することを示しているが、異なる数のＶネットおよび畳み込みレイヤが使用されてもよい（例えば、ＣＮＮシステムによってこれらの動作を繰り返すことの一倍または複数倍の効果を有してもよい）ことが認識されるであろう。例えば、出力は、腫瘍セグメンテーションに関する現在または将来の予測の決定に関して、画像データのパッチから特徴を抽出するのに、５つ以上の畳み込みレイヤを適用することによって決定することができる。
二次元セグメンテーションおよび三次元セグメンテーションが実施される場合、二次元セグメンテーションマスクおよび三次元セグメンテーションマスクは、特徴抽出器への入力として使用され、特徴抽出器は、関連する特徴を二次元セグメンテーションマスクおよび三次元セグメンテーションマスクから抽出する。特徴抽出器から抽出された関連する特徴、二次元セグメンテーションマスク、および三次元セグメンテーションマスクは、分類器に入力され、分類器は、抽出された関連する特徴、二次元セグメンテーションマスク、および三次元セグメンテーションマスクを変換して最終マスク画像にする。例えば、分類器は、関連する特徴を使用して、二次元セグメンテーションマスクおよび三次元セグメンテーションマスクそれぞれにおけるピクセルの分類を改良する。その後、分類器は、改良された二次元セグメンテーションマスクおよび三次元セグメンテーションマスクを組み合わせて、最終マスク画像を生成する。例えば、最終マスク画像は、改良された二次元セグメンテーションマスクおよび三次元セグメンテーションマスクを平均化する（または１つもしくは複数の他の統計的操作を適用する）ことによって得られてもよい。最終マスク画像は、分類されたピクセルおよびボクセルに基づいて、全てのピクセルおよびボクセルが分類され、セグメンテーションアウトライン、ボーダー、透明パッチなどが指定されたセグメント（例えば、腫瘍組織）の周りおよび／または上に重ねられる、高分解能マスク画像である。
ＩＶ．抽出および予測の技術
図６は、様々な実施形態による、抽出したＴＭＴＶを決定するプロセス６００を示している。
図６は、様々な実施形態による、抽出したＴＭＴＶを決定するプロセス６００を示している。
プロセス６００は、ブロック６０５で始まり、対象の複数のＰＥＴ（またはＳＰＥＣＴ）スキャン（例えば、ＦＤＧ－ＰＥＴスキャン）および対象の複数のＣＴまたはＭＲＩスキャンにアクセスされる。ＰＥＴスキャンおよび対応するＣＴまたはＭＲＩスキャンは、対象の身体の少なくとも一部または対象の全身を描写することができる。例えば、ＰＥＴスキャンおよび対応するＣＴまたはＭＲＩスキャンは、肺、肝臓、脳、心臓、またはそれらの組合せを含む、身体の１つまたは複数の臓器を描写してもよい。任意に、ブロック６１０で、ＰＥＴスキャンおよび対応するＣＴまたはＭＲＩスキャンは、身体のスライス（例えば、環状、軸方向、および矢状スライス）または領域に対する標準化画像またはスキャンのサブセットを生成するように、前処理されてもよい。
ブロック６１５で、ＣＮＮアーキテクチャを使用して、ＰＥＴスキャンおよび対応するＣＴまたはＭＲＩスキャンが出力（例えば、最終マスク画像）に変換される。いくつかの実施形態では、ＣＮＮアーキテクチャは、本明細書に詳細に記載するような、修正されたＵネットなど、１つまたは複数の二次元セグメンテーションモデルを含む。二次元セグメンテーションモデルは、ＰＥＴスキャンおよび対応するＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットから、二次元セグメンテーションマスクを生成するように構成される。二次元セグメンテーションモデルは複数の残差ブロックを使用し、各残差ブロックは、ＰＥＴスキャンおよび対応するＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットに対して、分離可能な畳み込みおよび複数の拡大を有して、二次元セグメンテーションマスクを生成する。二次元セグメンテーションマスクは、特徴抽出器および分類器を使用して改良され、その後（例えば、平均または他の統計関数を使用して）組み合わされて、全てのピクセルが分類された最終マスク画像を生成してもよく、分類されたピクセルに基づいて、セグメンテーションアウトライン、ボーダー、透明パッチなどが、指定されたセグメント（例えば、腫瘍組織）の周りおよび／または上に重ねられる。
他の実施形態では、ＣＮＮアーキテクチャは、本明細書に詳細に記載するような、１つまたは複数の二次元セグメンテーションモデルおよび複数の三次元セグメンテーションモデルを含む。二次元セグメンテーションモデルは、ＰＥＴスキャンおよび対応するＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットから、二次元セグメンテーションマスクを生成するように構成される。三次元セグメンテーションモデルは、ＰＥＴスキャンおよび対応するＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットから、三次元セグメンテーションマスクを生成するように構成される。三次元セグメンテーションモデルは、残差接続およびマルチターム損失を、ＰＥＴスキャンおよび対応するＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットに対して使用して、三次元セグメンテーションマスクを生成してもよい。二次元セグメンテーションマスクおよび三次元セグメンテーションマスクは、特徴抽出器および分類器を使用して改良され、その後（例えば、平均または他の統計関数を使用して）組み合わされて、全てのピクセルおよびボクセルが分類された最終マスク画像を生成してもよく、分類されたピクセルおよびボクセルに基づいて、セグメンテーションアウトライン、ボーダー、透明パッチなどが、指定されたセグメント（例えば、腫瘍組織）の周りおよび／または上に重ねられる。
ＣＮＮアーキテクチャが、１つまたは複数の二次元セグメンテーションモデルおよび複数の三次元セグメンテーションモデルを使用する場合、ＣＮＮアーキテクチャは、ＰＥＴスキャンおよびＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットで描写される領域または身体を、複数の解剖学的領域に、例えば頭頚部、胸部、腹部・骨盤を含む３つの領域に分割してもよい。ＣＮＮアーキテクチャは、ＰＥＴスキャンおよびＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットでキャプチャされた領域または身体の構成要素の位置を基準点として自動的に査定し、基準点を使用して、領域または身体を複数の解剖学的領域に分割する。その後、ＣＮＮアーキテクチャは、複数の解剖学的領域に対して位置ラベルを生成し、位置ラベルを二次元セグメンテーションマスク内に組み込んでもよい。二次元セグメンテーションマスク内のセグメントと関連付けられた画像パッチは、異なる三次元セグメンテーションモデル（アーキテクチャを共有してもよいが、異なる学習済みパラメータを有する）によって処理される、複数の解剖学的領域および画像それぞれに分割することができる。
ブロック６２０で、ＴＭＴＶは最終マスク画像から抽出されてもよい。いくつかの例では、ＣＮＮアーキテクチャは、ＰＥＴスキャンからのＳＵＶ値を含む、ＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンから抽出した特徴に基づいて、各解剖学的領域内の腫瘍をセグメント化する。代謝腫瘍体積（ＭＴＶ）は、セグメント化された各腫瘍に対して決定されてもよい。所与の対象に対するＴＭＴＶは、セグメント化された腫瘍全てから決定されてもよく、個々のＭＴＶ全ての合計を表す。
ブロック６２５で、ＴＭＴＶが出力される。例えば、ＴＭＴＶは、別のデバイスに対して局所的に提示または送信されてもよい。ＴＭＴＶは、対象の識別子とともに出力されてもよい。いくつかの例では、ＴＭＴＶは、最終マスク画像、ならびに／あるいはＴＭＴＶの抽出に寄与した画像領域、特徴、および／または検出を特定する他の情報とともに出力される。その後、抽出されたＴＭＴＶに基づいて、診断が提供されてもよく、ならびに／あるいは対象に治療が施されてもよく、または対象に治療が施されていてもよい。
図７は、様々な実施形態による、対象の無増悪生存（ＰＦＳ）の尤度、治療の臨床効率、対象の病期、および／または対象を治験に含む選択決定を予測するプロセス７００を示している。
プロセス７００は、ブロック７０５で始まり、対象の複数のＰＥＴ（またはＳＰＥＣＴ）スキャン（例えば、ＦＤＧ－ＰＥＴスキャン）および対象の複数のＣＴまたはＭＲＩスキャンにアクセスされる。ＰＥＴスキャンおよび対応するＣＴまたはＭＲＩスキャンは、対象の身体の少なくとも一部または対象の全身を描写することができる。例えば、ＰＥＴスキャンおよび対応するＣＴまたはＭＲＩスキャンは、肺、肝臓、脳、心臓、またはそれらの組合せを含む、身体の１つまたは複数の臓器を描写してもよい。任意に、ブロック７１０で、ＰＥＴスキャンおよび対応するＣＴまたはＭＲＩスキャンは、身体のスライス（例えば、環状、軸方向、および矢状スライス）または領域に対する標準化画像またはスキャンのサブセットを生成するように、前処理されてもよい。
ブロック７１５で、ＣＮＮアーキテクチャを使用して、ＰＥＴスキャンおよび対応するＣＴまたはＭＲＩスキャンが出力（例えば、最終マスク画像）に変換される。いくつかの実施形態では、ＣＮＮアーキテクチャは、本明細書に詳細に記載するような、修正されたＵネットなど、１つまたは複数の二次元セグメンテーションモデルを含む。二次元セグメンテーションモデルは、ＰＥＴスキャンおよび対応するＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットから、二次元セグメンテーションマスクを生成するように構成される。二次元セグメンテーションモデルは複数の残差ブロックを使用し、各残差ブロックは、ＰＥＴスキャンおよび対応するＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットに対して、分離可能な畳み込みおよび複数の拡大を有して、二次元セグメンテーションマスクを生成する。二次元セグメンテーションマスクは、特徴抽出器および分類器を使用して改良され、その後（例えば、平均または他の統計関数を使用して）組み合わされて、全てのピクセルが分類された最終マスク画像を生成してもよく、分類されたピクセルに基づいて、セグメンテーションアウトライン、ボーダー、透明パッチなどが、指定されたセグメント（例えば、腫瘍組織）の周りおよび／または上に重ねられる。
他の実施形態では、ＣＮＮアーキテクチャは、本明細書に詳細に記載するような、１つまたは複数の二次元セグメンテーションモデルおよび複数の三次元セグメンテーションモデルを含む。二次元セグメンテーションモデルは、ＰＥＴスキャンおよび対応するＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットから、二次元セグメンテーションマスクを生成するように構成される。三次元セグメンテーションモデルは、ＰＥＴスキャンおよび対応するＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットから、三次元セグメンテーションマスクを生成するように構成される。三次元セグメンテーションモデルは、残差接続およびマルチターム損失を、ＰＥＴスキャンおよび対応するＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットに対して使用して、三次元セグメンテーションマスクを生成してもよい。二次元セグメンテーションマスクおよび三次元セグメンテーションマスクは、特徴抽出器および分類器を使用して改良され、その後（例えば、平均または他の統計関数を使用して）組み合わされて、全てのピクセルおよびボクセルが分類された最終マスク画像を生成してもよく、分類されたピクセルおよびボクセルに基づいて、セグメンテーションアウトライン、ボーダー、透明パッチなどが、指定されたセグメント（例えば、腫瘍組織）の周りおよび／または上に重ねられる。
ＣＮＮアーキテクチャが、１つまたは複数の二次元セグメンテーションモデルおよび複数の三次元セグメンテーションモデルを使用する場合、ＣＮＮアーキテクチャは、ＰＥＴスキャンおよびＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットで描写される領域または身体を、複数の解剖学的領域に、例えば頭頚部、胸部、腹部・骨盤を含む３つの領域に分割してもよい。ＣＮＮアーキテクチャは、ＰＥＴスキャンおよびＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットでキャプチャされた領域または身体の構成要素の位置を基準点として自動的に査定し、基準点を使用して、領域または身体を複数の解剖学的領域に分割する。その後、ＣＮＮアーキテクチャは、複数の解剖学的領域に対して位置ラベルを生成し、位置ラベルを二次元セグメンテーションマスク内に組み込んでもよい。二次元セグメンテーションマスク内のセグメントと関連付けられた画像パッチは、異なる三次元セグメンテーションモデル（アーキテクチャを共有してもよいが、異なる学習済みパラメータを有する）によって処理される、複数の解剖学的領域および画像それぞれに分割することができる。
任意に、ブロック７２０で、別個の三次元ＣＮＮを使用して、ＰＥＴスキャンおよび対応するＣＴまたはＭＲＩスキャンが、臓器セグメンテーションと関連付けられた出力に変換される。三次元ＣＮＮは、ＰＥＴスキャンおよび対応するＣＴスキャンから三次元臓器マスクを生成するように構成された、三次元セグメンテーションモデルを含んでもよい。三次元セグメンテーションモデルは、ダウンサンプリングおよびアップサンプリングサブネットワークを使用してもよく、スキップ接続を用いて、より高い分解能情報を伝播して三次元臓器マスクを生成する。
ブロック７２５で、ＴＭＴＶは最終マスク画像から抽出されてもよい。いくつかの例では、ＣＮＮアーキテクチャは、ＰＥＴスキャンからのＳＵＶ値を含む、ＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンから抽出した特徴に基づいて、各解剖学的領域内の腫瘍をセグメント化する。代謝腫瘍体積（ＭＴＶ）は、セグメント化された腫瘍それぞれに対して決定されてもよい。所与の対象のＴＭＴＶは、全てのセグメント化された腫瘍から決定されてもよく、個々のＭＴＶ全ての合計を表す。任意に、臓器ごとのＭＴＶおよび病巣の数（例えば、病巣の数＞１ｍＬ）など、臓器特異的な測定値は、最終マスク画像および三次元臓器マスクから抽出されてもよい。臓器の病変は、ノイズ低減の目的で、自動化臓器ＭＴＶ＞０．１ｍＬとして規定されてもよい。
ブロック７３０で、抽出されたＴＭＴＶ、（例えば、各器官の）抽出されたＭＴＶ、および臓器ごとの病巣数のうち１つまたは複数が分類器に入力されて、対象に対する臨床予測が生成される。いくつかの例では、臨床予測測定基準は、最終マスク出力および／または抽出されたＴＭＴＶの少なくとも一部を入力として使用する、分類器の出力として得られる。他の例では、臨床予測測定基準は、三次元臓器マスク出力、抽出されたＭＴＶ、および／または病巣の数の少なくとも一部のうち１つまたは複数を入力とする、分類器の出力として得られる。臨床予測測定基準は臨床予測に対応し得る。いくつかの例では、臨床予測は、対象の無増悪生存（ＰＦＳ）の尤度、対象の病期、および／または対象を治験に含む選択決定である。ＰＦＳを査定するのにカプランマイヤー分析が使用されてもよく、臓器特異的な病変の予後値を推定するのに、コックス比例ハザードモデルが使用されてもよい。
ブロック７３５で、臨床予測が出力される。例えば、臨床予測は、別のデバイスに対して局所的に提示または送信されてもよい。臨床予測は、対象の識別子とともに出力されてもよい。いくつかの例では、臨床予測は、ＴＭＴＶ、ＴＭＶ、病巣の数、最終マスク出力、三次元臓器マスク出力、ならびに／あるいは臨床予測に寄与した画像領域、特徴、および／または検出を特定する他の情報とともに出力される。その後、診断が提供されてもよく、ならびに／あるいは対象に治療が施されてもよく、または対象に臨床予測に基づいて治療が施されていてもよい。
図８は、様々な実施形態による、リンパ腫を病期分類するルガノ分類を含んでもよい、自動化治療終了時応答査定を提供するプロセス８００を示している。
プロセス８００は、ブロック８０５で始まり、対象の複数のＰＥＴ（またはＳＰＥＣＴ）スキャン（例えば、ＦＤＧ－ＰＥＴスキャン）および対象の複数のＣＴまたはＭＲＩスキャンにアクセスされる。ＰＥＴスキャンおよび対応するＣＴまたはＭＲＩスキャンは、対象の身体の少なくとも一部または対象の全身を描写することができる。例えば、ＰＥＴスキャンおよび対応するＣＴまたはＭＲＩスキャンは、肺、肝臓、脳、心臓、またはそれらの組合せを含む、身体の１つまたは複数の臓器を描写してもよい。任意に、ブロック８１０で、ＰＥＴスキャンおよび対応するＣＴまたはＭＲＩスキャンは、身体のスライス（例えば、環状、軸方向、および矢状スライス）または領域に対する標準化画像またはスキャンのサブセットを生成するように、前処理されてもよい。
ブロック８１５で、ＣＮＮアーキテクチャを使用して、ＰＥＴスキャンおよび対応するＣＴまたはＭＲＩスキャンが出力（例えば、最終マスク画像）に変換される。いくつかの実施形態では、ＣＮＮアーキテクチャは、本明細書に詳細に記載するような、修正されたＵネットなど、１つまたは複数の二次元セグメンテーションモデルを含む。二次元セグメンテーションモデルは、ＰＥＴスキャンおよび対応するＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットから、二次元セグメンテーションマスクを生成するように構成される。二次元セグメンテーションモデルは複数の残差ブロックを使用し、各残差ブロックは、ＰＥＴスキャンおよび対応するＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットに対して、分離可能な畳み込みおよび複数の拡大を有して、二次元セグメンテーションマスクを生成する。二次元セグメンテーションマスクは、特徴抽出器および分類器を使用して改良され、その後（例えば、平均または他の統計関数を使用して）組み合わされて、全てのピクセルが分類された最終マスク画像を生成してもよく、分類されたピクセルに基づいて、セグメンテーションアウトライン、ボーダー、透明パッチなどが、指定されたセグメント（例えば、腫瘍組織）の周りおよび／または上に重ねられる。
他の実施形態では、ＣＮＮアーキテクチャは、本明細書に詳細に記載するような、１つまたは複数の二次元セグメンテーションモデルおよび複数の三次元セグメンテーションモデルを含む。二次元セグメンテーションモデルは、ＰＥＴスキャンおよび対応するＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットから、二次元セグメンテーションマスクを生成するように構成される。三次元セグメンテーションモデルは、ＰＥＴスキャンおよび対応するＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットから、三次元セグメンテーションマスクを生成するように構成される。三次元セグメンテーションモデルは、残差接続およびマルチターム損失を、ＰＥＴスキャンおよび対応するＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットに対して使用して、三次元セグメンテーションマスクを生成してもよい。二次元セグメンテーションマスクおよび三次元セグメンテーションマスクは、特徴抽出器および分類器を使用して改良され、その後（例えば、平均または他の統計関数を使用して）組み合わされて、全てのピクセルおよびボクセルが分類された最終マスク画像を生成してもよく、分類されたピクセルおよびボクセルに基づいて、セグメンテーションアウトライン、ボーダー、透明パッチなどが、指定されたセグメント（例えば、腫瘍組織）の周りおよび／または上に重ねられる。
ＣＮＮアーキテクチャが、１つまたは複数の二次元セグメンテーションモデルおよび複数の三次元セグメンテーションモデルを使用する場合、ＣＮＮアーキテクチャは、ＰＥＴスキャンおよびＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットで描写される領域または身体を、複数の解剖学的領域に、例えば頭頚部、胸部、腹部・骨盤を含む３つの領域に分割してもよい。ＣＮＮアーキテクチャは、ＰＥＴスキャンおよびＣＴもしくはＭＲＩスキャン、または標準化画像もしくはスキャンのサブセットでキャプチャされた領域または身体の構成要素の位置を基準点として自動的に査定し、基準点を使用して、領域または身体を複数の解剖学的領域に分割する。その後、ＣＮＮアーキテクチャは、複数の解剖学的領域に対して位置ラベルを生成し、位置ラベルを二次元セグメンテーションマスクに組み込んでもよい。二次元セグメンテーションマスク内のセグメントと関連付けられた画像パッチは、異なる三次元セグメンテーションモデル（アーキテクチャを共有してもよいが、異なる学習済みパラメータを有する）によって処理される、複数の解剖学的領域および画像それぞれに分割することができる。
ブロック８２０で、ＴＭＴＶは最終マスク画像から抽出されてもよい。いくつかの例では、ＣＮＮアーキテクチャは、ＰＥＴスキャンからのＳＵＶ値を含む、ＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンから抽出した特徴に基づいて、各解剖学的領域内の腫瘍をセグメント化する。代謝腫瘍体積（ＭＴＶ）は、セグメント化された腫瘍それぞれに対して決定されてもよい。所与の対象のＴＭＴＶは、全てのセグメント化された腫瘍から決定されてもよく、個々のＭＴＶ全ての合計を表す。
ブロック８２５で、抽出されたＴＭＴＶが分類器に入力されて、ＴＭＴＶに基づいて自動化治療終了応答査定が生成される。自動化治療終了応答査定は、腫瘍の予測された現在または将来の発生、進行の速度または程度に対応することができる。自動化治療終了応答査定は、特定の尺度（例えば、腫瘍悪性度）に沿った（例えば）進行スコアを含んでもよい。いくつかの例では、自動化治療終了応答査定および／または出力は、既定の時点およびベースライン時点における進行スコアの差を含む。いくつかの例では、自動化治療終了応答査定および／または出力は、対象の腫瘍が既定の期間内に少なくとも既定の量進行するか否かに関する予測を表すバイナリ値など、バイナリインジケータを含む。いくつかの例では、自動化治療終了応答査定は、リンパ腫を病期分類するルガノ分類に対する予測を含む。
ブロック８３０で、自動化治療終了応答査定が出力される。例えば、自動化治療終了応答査定は、別のデバイスに対して局所的に提示または送信されてもよい。自動化治療終了応答査定は、対象の識別子とともに出力されてもよい。いくつかの例では、自動化治療終了応答査定は、ＴＭＴＶ、最終マスク出力、ならびに／あるいは自動化治療終了応答査定に寄与した画像領域、特徴、および／または検出を特定する他の情報とともに出力される。その後、診断が提供されてもよく、ならびに／あるいは対象に治療が施されてもよく、または対象に自動化治療終了応答査定に基づいて治療が施されていてもよい。
Ｖ．実施例
様々な実施形態で実現されるシステムおよび方法は、以下の実施例を参照することによってより良く理解することができる。
様々な実施形態で実現されるシステムおよび方法は、以下の実施例を参照することによってより良く理解することができる。
Ｖ．Ａ．実施例１－びまん性大細胞型ｂ細胞リンパ腫および濾胞性リンパ腫における総代謝腫瘍量の全自動測定
ＦＤＧ－ＰＥＴ／ＣＴスキャンによるベースラインＴＭＴＶは、びまん性大細胞型ｂ細胞リンパ腫（ＤＬＢＣＬ）および濾胞性リンパ腫（ＦＬ）など、リンパ腫における無増悪生存の予後として示される。
ＦＤＧ－ＰＥＴ／ＣＴスキャンによるベースラインＴＭＴＶは、びまん性大細胞型ｂ細胞リンパ腫（ＤＬＢＣＬ）および濾胞性リンパ腫（ＦＬ）など、リンパ腫における無増悪生存の予後として示される。
Ｖ．Ｂ．データ
データセットは、リンパ腫および肺がん対象の１５０万を超える画像の、複数の部位から収集された合計３，５０６件の全身（胸部・腹部・骨盤を含む）ＦＤＧ－ＰＥＴ／ＣＴスキャンで構成される。このデータセットは、１５９５件の完全グランドトゥルースを有する非ホジキンリンパ腫対象、１１３３件のＤＬＢＣＬ対象および５６２件のＦＬ対象、ならびに１５８件の部分グランドトゥルースを有する非小細胞肺がん（ＮＳＣＬＣ）対象のスキャンを含む。データはＤＩＣＯＭフォーマットで格納した。
データセットは、リンパ腫および肺がん対象の１５０万を超える画像の、複数の部位から収集された合計３，５０６件の全身（胸部・腹部・骨盤を含む）ＦＤＧ－ＰＥＴ／ＣＴスキャンで構成される。このデータセットは、１５９５件の完全グランドトゥルースを有する非ホジキンリンパ腫対象、１１３３件のＤＬＢＣＬ対象および５６２件のＦＬ対象、ならびに１５８件の部分グランドトゥルースを有する非小細胞肺がん（ＮＳＣＬＣ）対象のスキャンを含む。データはＤＩＣＯＭフォーマットで格納した。
ＮＨＬの対象における２つのフェーズ３治験（Ｇｏｙａ、Ｎ＝１４０１、ＮＣＴ０１２８７７４１；および、Ｇａｌｌｉｕｍ、Ｎ＝５９５、ＮＣＴ０１３３２９６８）からデータを得た。ＦＤＧ－ＰＥＴで画像診断し、三次元腫瘍輪郭を半自動的に規定した。前処理後、合計８７０件（Ｇｏｙａのみ）のベースラインスキャンおよび関連するセグメンテーションマスクを、アルゴリズム訓練に使用した。それに加えて、別の一組の無作為に選択した４００件のデータセット（Ｇｏｙａ２５０件、Ｇａｌｌｉｕｍ１５０件）を試験目的で提供した。
Ｖ．Ｃ．前処理
前処理には、ＰＥＴスキャンおよびＣＴスキャン、２×２×２ｍｍの等方性ボクセルサイズを得るための再サンプリングスキャン、ならびにＤＩＣＯＭヘッダの情報を使用してＰＥＴのためのＳＵＶを導き出すことを含めた。セグメンテーションマスクは、ＣＮＮアーキテクチャを訓練するためのグランドトゥルースとして、ＲＴＳｔｒｕｃｔファイルから再構築した。
前処理には、ＰＥＴスキャンおよびＣＴスキャン、２×２×２ｍｍの等方性ボクセルサイズを得るための再サンプリングスキャン、ならびにＤＩＣＯＭヘッダの情報を使用してＰＥＴのためのＳＵＶを導き出すことを含めた。セグメンテーションマスクは、ＣＮＮアーキテクチャを訓練するためのグランドトゥルースとして、ＲＴＳｔｒｕｃｔファイルから再構築した。
１１３３件のＤＬＢＣＬ対象を訓練データセットとして使用した。これには、合計で８６１，０５３件の冠状スライス、７７０，４０６件の矢状スライス、および９７１，２６５件の軸方向スライス、ならびに１３，９４２件の個々の腫瘍を含む。試験セットは、合計で１０６６件のＦＬ対象のスキャンと、３１６件のＮＳＣＬＣ対象スキャンとで構成された。
２つの理由から、この分割を採用し、データのかかる大部分を試験用に保持した。１つの懸念事項は、モデルを別のタイプのがんにまで拡張できるのを検証できることであった。そのため、全ての濾胞性リンパ腫対象を試験セットに保持した。それに加えて、データセットの肺がん対象用には、最大５つの病巣のみをセグメント化していた。その結果、偽陰性のデータに対する訓練を回避するために、これらのスキャンは訓練セットからは除外し、これらのスキャンに対するアルゴリズムの性能を検証するのに感度を使用していた。
Ｖ．Ｄ．訓練手順
最良のハイパーパラメータセットを決定するために、実験を実施した。学習率にばらつきを持たせ（疎密調整）、各ネットワークに対して可変の学習率（コサインアニーリング）を試験した。二次元ＣＮＮの場合、実験には、３×３および５×５の２つのカーネルサイズの試験を含めたが、５×５のカーネルサイズは性能の向上には結び付かず、モデルの速度を遅くする。また、Ｕネットの最適深さを決定する実験を実施した。深さを６から７に増加させても性能測定基準は改善しなかった。軸方向スライスに対する予測は、高活性を多数の偽陽性（例えば、腎臓、心臓、膀胱）に結び付くため、除去した。
最良のハイパーパラメータセットを決定するために、実験を実施した。学習率にばらつきを持たせ（疎密調整）、各ネットワークに対して可変の学習率（コサインアニーリング）を試験した。二次元ＣＮＮの場合、実験には、３×３および５×５の２つのカーネルサイズの試験を含めたが、５×５のカーネルサイズは性能の向上には結び付かず、モデルの速度を遅くする。また、Ｕネットの最適深さを決定する実験を実施した。深さを６から７に増加させても性能測定基準は改善しなかった。軸方向スライスに対する予測は、高活性を多数の偽陽性（例えば、腎臓、心臓、膀胱）に結び付くため、除去した。
冠状面からの画像またはスキャンの処理と関連付けられた二次元ネットワーク、および矢状面からの画像またはスキャンの処理と関連付けられた二次元ネットワークを、ＲＭＳＰｒｏｐ最適化装置、１６０，０００回の反復、およびバッチサイズ８を使用して、２つのＮｖｉｄｉａ Ｑｕａｄｒｏ Ｐ６０００グラフィック処理装置（ＧＰＵ）において訓練した。学習率は、８０，０００回の反復に対して１ｅ－５でセットし、各２０，０００回の反復後に２で割った。８０％を超えるスライスがいかなる腫瘍も有していない。ヌル予測に収束するのを回避するため、データセットを再均衡させて、健康なスライスが約１０％の比率（各ビューに対して９８，０００件の訓練スライス）に達するようにした。
Ｖネットは、最適化装置（例えば、Ｂａｕｅｒ Ｃ，Ｓｕｎ Ｓ，Ｓｕｎ Ｗ，ｅｔ．ａｌ．Ａｕｔｏｍａｔｅｄ ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｕｐｔａｋｅ ｉｎ ｃｅｒｅｂｅｌｌｕｍ，ｌｉｖｅｒ，ａｎｄ ａｏｒｔｉｃ ａｒｃｈ ｉｎ ｆｕｌｌ－ｂｏｄｙ ＦＤＧ ＰＥＴ／ＣＴ ｓｃａｎｓ．Ｍｅｄ Ｐｈｙｓ．２０１２；３９（６）：３１１２－２３，ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１１１８／１．４７１１８１５に開示される、最適化装置）、学習率１ｅ－４を使用して、２００，０００回の反復に対して訓練し、学習率は、１００，０００回の反復に対して１ｅ－４、５０，０００回の反復に対して１ｅ－４＝２、および５０，０００回の反復に対して１ｅ－４＝４をセットした。
腫瘍は手動でセグメント化し、有資格の放射線科医が相互評価した。放射線科医の腫瘍セグメンテーションと比較して、モデルは、１，４７０スキャンの試験セットに対して９２．７％の平均ボクセル感度、および１，０６４スキャンに対して８８．６％の三次元ダイスコアを報告している。
Ｖ．Ｅ．セグメンテーション結果
三次元セグメンテーションを実施するため、モデルは、本明細書で考察する二次元セグメンテーションモデルから得られる、二次元セグメンテーションマスクにおいて特定されたセグメントと関連付けられた、画像データのパッチを使用する。ＦＤＧ－ＰＥＴおよびＣＴまたはＭＲＩの両方が、ＣＮＮアーキテクチャに対する入力として使用される。二次元セグメンテーションマスクにおいて接続された構成要素は、肝臓および胸部内の基準に対するそれらの相対位置に応じてラベリングされる。それらの解剖学的領域それぞれに対して、別個のＶネットを使用して二次元セグメンテーションを改良した。一例の実施形態では、ネットワークは、４つのダウンサンプリングブロックと３つのアップサンプリングブロックとを含み、レイヤはＲｅＬｕアクティベーションおよび３×３×３のカーネルサイズを使用する。この例示の実施形態では、パッチは、頭部または頚部では３２×３２×３２×２、胸部では６４×６４×６４×２、腹部では９６×９６×９６×２である。
三次元セグメンテーションを実施するため、モデルは、本明細書で考察する二次元セグメンテーションモデルから得られる、二次元セグメンテーションマスクにおいて特定されたセグメントと関連付けられた、画像データのパッチを使用する。ＦＤＧ－ＰＥＴおよびＣＴまたはＭＲＩの両方が、ＣＮＮアーキテクチャに対する入力として使用される。二次元セグメンテーションマスクにおいて接続された構成要素は、肝臓および胸部内の基準に対するそれらの相対位置に応じてラベリングされる。それらの解剖学的領域それぞれに対して、別個のＶネットを使用して二次元セグメンテーションを改良した。一例の実施形態では、ネットワークは、４つのダウンサンプリングブロックと３つのアップサンプリングブロックとを含み、レイヤはＲｅＬｕアクティベーションおよび３×３×３のカーネルサイズを使用する。この例示の実施形態では、パッチは、頭部または頚部では３２×３２×３２×２、胸部では６４×６４×６４×２、腹部では９６×９６×９６×２である。
セグメンテーション結果が表１および図９Ａ～図９Ｆに提示されている。図９Ａ～図９Ｆでは、各部分図について、この例示の実施形態にしたがって、左側がグランドトゥルース、右側が予測である。ＣＴおよびＳＵＶの両方が入力として使用されて、各モダリティによって提供される構造情報および代謝情報を活用する。図９Ａ～図９Ｆに示される例では、入力サイズは４４８×５１２×２である。第１のレイヤの畳み込みの数は８であり、ダウンサンプリングブロックに沿って２倍にされる。冠状面および矢状面それぞれに対して、別個のネットワークが使用された。これらの肺がんスキャンの例では、最大５つのみの病巣がセグメント化されているので、これらのスキャンの感度が報告されている。方法は、手動の介入に頼る従来のアルゴリズムよりも正確である（ＤＳＣはそれぞれ０．７３２と０．８５）。方法は、全身ＦＤＧ－ＰＥＴ／ＣＴスキャンに適用可能であり、モデルがＤＬＢＣＬ対象に対して訓練されている場合は、ＦＬ対象およびＮＳＣＬＣ対象に移行させることができる。
Ｖ．Ｆ．総代謝腫瘍体積およびＳＵＶｍａｘの比較
図１０Ａおよび図１０Ｂは、この例示の実施形態による、予測されたマスクからの腫瘍体積およびＳＵＶｍａｘをそれぞれ示している。腫瘍体積およびＳＵＶｍａｘは予後値を有するものとして示されている。具体的には、アルゴリズム予測ＴＭＴＶ値に対するｋ平均クラスタ化によって、低速からより高速のＰＦＳを有するシグネチャが特定された。ｋ平均の方策で、予測されたベースラインＴＭＴＶに基づいて、４つの別個のクラスタが特定された。図１１Ａおよび図１１Ｂは、例示の実施形態による、予後に対するＴＭＴＶの関連性を示す、これらのクラスタのカプランマイヤー推定量を示している。対象レベルでは、これらのクラスタは、単純なＴＭＴＶ四分位または最大ＳＵＶまたは総腫瘍代謝量を使用するクラスタよりも弁別的であった。図１２Ａおよび図１２Ｂは、自動化ＴＭＴＶが手動ＴＭＴＶ査定と一致するベースラインの予後測定基準を提供することを示している。これらの予後測定基準を自動的かつ正確に定量化できることによって、他の臨床マーカーと迅速に統合することが可能になり、治験の層別化、および時間とコストの削減が容易になり得る。図１３Ａおよび図１３Ｂは、ベースラインＴＭＴＶがＮＳＣＬＣおよび黒色腫の予後であることを示している。
図１０Ａおよび図１０Ｂは、この例示の実施形態による、予測されたマスクからの腫瘍体積およびＳＵＶｍａｘをそれぞれ示している。腫瘍体積およびＳＵＶｍａｘは予後値を有するものとして示されている。具体的には、アルゴリズム予測ＴＭＴＶ値に対するｋ平均クラスタ化によって、低速からより高速のＰＦＳを有するシグネチャが特定された。ｋ平均の方策で、予測されたベースラインＴＭＴＶに基づいて、４つの別個のクラスタが特定された。図１１Ａおよび図１１Ｂは、例示の実施形態による、予後に対するＴＭＴＶの関連性を示す、これらのクラスタのカプランマイヤー推定量を示している。対象レベルでは、これらのクラスタは、単純なＴＭＴＶ四分位または最大ＳＵＶまたは総腫瘍代謝量を使用するクラスタよりも弁別的であった。図１２Ａおよび図１２Ｂは、自動化ＴＭＴＶが手動ＴＭＴＶ査定と一致するベースラインの予後測定基準を提供することを示している。これらの予後測定基準を自動的かつ正確に定量化できることによって、他の臨床マーカーと迅速に統合することが可能になり、治験の層別化、および時間とコストの削減が容易になり得る。図１３Ａおよび図１３Ｂは、ベースラインＴＭＴＶがＮＳＣＬＣおよび黒色腫の予後であることを示している。
Ｖ．Ｇ．実施例２－びまん性大細胞型ｂ細胞リンパ腫および濾胞性リンパ腫における節外性病変の自動化査定の独立した予後値
ＤＬＢＣＬおよびＦＬにおいてＦＤＧ－ＰＥＴ／ＣＴによって検出されるような、節外性疾患の存在は、不十分な成果と関連付けられる。ＦＤＧ－ＰＥＴ／ＣＴを使用して腫瘍を検出し、リンパ腫の代謝活性を査定するのには、正確で再現可能な定量的画像読影ツールが必要である。本明細書で考察する様々な態様によれば、モデルアーキテクチャは、ＰＥＴ／ＣＴ画像における完全自動化腫瘍および臓器セグメンテーション、ならびに臓器（肝臓、脾臓、および腎臓）特異的な代謝腫瘍量に基づいた、ＤＬＢＣＬおよびＦＬを有する対象の予後診断のために提供される。
ＤＬＢＣＬおよびＦＬにおいてＦＤＧ－ＰＥＴ／ＣＴによって検出されるような、節外性疾患の存在は、不十分な成果と関連付けられる。ＦＤＧ－ＰＥＴ／ＣＴを使用して腫瘍を検出し、リンパ腫の代謝活性を査定するのには、正確で再現可能な定量的画像読影ツールが必要である。本明細書で考察する様々な態様によれば、モデルアーキテクチャは、ＰＥＴ／ＣＴ画像における完全自動化腫瘍および臓器セグメンテーション、ならびに臓器（肝臓、脾臓、および腎臓）特異的な代謝腫瘍量に基づいた、ＤＬＢＣＬおよびＦＬを有する対象の予後診断のために提供される。
Ｖ．Ｈ．データ
データセットは、合計で、ＤＬＢＣＬにおけるＧＯＹＡ研究（ＮＣＴ０１２８７７４１）からの１，１３９件の治療前ＰＥＴ／ＣＴスキャンと、ＦＬにおけるＧＡＬＬＩＵＭ研究（ＮＣＴ０１３３２９６８）からの５４１件の治療前スキャンとで構成される。データはＤＩＣＯＭフォーマットで格納した。
データセットは、合計で、ＤＬＢＣＬにおけるＧＯＹＡ研究（ＮＣＴ０１２８７７４１）からの１，１３９件の治療前ＰＥＴ／ＣＴスキャンと、ＦＬにおけるＧＡＬＬＩＵＭ研究（ＮＣＴ０１３３２９６８）からの５４１件の治療前スキャンとで構成される。データはＤＩＣＯＭフォーマットで格納した。
Ｖ．Ｉ．方法
二次元および三次元カスケード畳み込みニューラルネットワークを備える画像処理パイプラインを、ＧＯＹＡデータセットに対して訓練し、ＧＡＬＬＩＵＭデータセットで試験して腫瘍セグメンテーションを行った。三次元カスケード畳み込みニューラルネットワークはまた、肝臓、脾臓、および腎臓セグメンテーション（それぞれ、検証ＤＳＣ＝０．９４、０．９５、および０．９１）に関して、公衆利用可能なデータセットに対して訓練を行った。セグメンテーションにより、脾臓、肝臓、および腎臓に関して、総代謝腫瘍体積（ＴＭＴＶ）の抽出および臓器特異的な測定が可能になった（代謝腫瘍体積［ＭＴＶ］および病巣の数＞１ｍＬ）。臓器の病変は、ノイズ低減の目的で、自動化臓器ＭＴＶ＞０．１ｍＬとして規定された。無増悪生存（ＰＦＳ）を査定するのにカプランマイヤー分析が使用され、臓器特異的な病変の予後値を推定するのに、コックス比例ハザードモデルが使用された。
二次元および三次元カスケード畳み込みニューラルネットワークを備える画像処理パイプラインを、ＧＯＹＡデータセットに対して訓練し、ＧＡＬＬＩＵＭデータセットで試験して腫瘍セグメンテーションを行った。三次元カスケード畳み込みニューラルネットワークはまた、肝臓、脾臓、および腎臓セグメンテーション（それぞれ、検証ＤＳＣ＝０．９４、０．９５、および０．９１）に関して、公衆利用可能なデータセットに対して訓練を行った。セグメンテーションにより、脾臓、肝臓、および腎臓に関して、総代謝腫瘍体積（ＴＭＴＶ）の抽出および臓器特異的な測定が可能になった（代謝腫瘍体積［ＭＴＶ］および病巣の数＞１ｍＬ）。臓器の病変は、ノイズ低減の目的で、自動化臓器ＭＴＶ＞０．１ｍＬとして規定された。無増悪生存（ＰＦＳ）を査定するのにカプランマイヤー分析が使用され、臓器特異的な病変の予後値を推定するのに、コックス比例ハザードモデルが使用された。
Ｖ．Ｊ．結果
ＧＯＹＡ研究からの治療前ＰＥＴ／ＣＴスキャンの自動化解析により、肝臓および／または脾臓内における≧２の病巣＞１ｍＬの存在は、単変量解析におけるより低いＰＦＳと関連付けられることが示された（ハザード比ＨＲ＝１．７３、９５％信頼区間ＣＩ＝１．２９～２．３２、ｐ＝０．０００２）。この関連性は、ＴＭＴＶ＞中央値および肝臓／脾臓内の≧２の病巣（ＨＲ＝１．５２、９５％ＣＩ＝１．１０～２．０７、ｐ＝０．００９）に対して調節した後、また国際予後指標（ＩＰＩ）、起始細胞（ＣＯＯ）、およびイメージング由来の特徴（≧２の節外部位、ＨＲ＝１．４９、９５％ＣＩ＝１．０２～２．１８、ｐ＝０．０３７）に対して調節した後、多変量解析で維持された。カプランマイヤー分析でも、節外性の病変（肝臓および／または脾臓内の≧２の節外性病巣）がＧＯＹＡにおける不十分なＰＦＳと顕著に関連付けられることが実証された（図１４Ａ）。肝臓および腎臓の病変は両方とも、ＤＬＢＣＬにおける単変量解析（それぞれ、ＨＲ＝１．４８、９５％ＣＩ＝１．１３～１．９４、ｐ＝０．００４、およびＨＲ＝１．４４、９５％ＣＩ＝１．０８～１．９１、ｐ＝０．０１３、ならびに図１４Ｂおよび図１４Ｃ）により、予後であったが、脾臓の病変は予後ではなかった。多変量解析でも、イメージング由来の因子に対する調節を行う際、ＰＦＳに関する肝臓および腎臓の病変の予後値が確認された（それぞれ、ＨＲ＝１．４０、９５％ＣＩ＝１．０６～１．８５、ｐ＝０．０１７、およびＨＲ＝１．３４、９５％ＣＩ＝１．００～１．８０、ｐ＝０．０４９）。
ＧＯＹＡ研究からの治療前ＰＥＴ／ＣＴスキャンの自動化解析により、肝臓および／または脾臓内における≧２の病巣＞１ｍＬの存在は、単変量解析におけるより低いＰＦＳと関連付けられることが示された（ハザード比ＨＲ＝１．７３、９５％信頼区間ＣＩ＝１．２９～２．３２、ｐ＝０．０００２）。この関連性は、ＴＭＴＶ＞中央値および肝臓／脾臓内の≧２の病巣（ＨＲ＝１．５２、９５％ＣＩ＝１．１０～２．０７、ｐ＝０．００９）に対して調節した後、また国際予後指標（ＩＰＩ）、起始細胞（ＣＯＯ）、およびイメージング由来の特徴（≧２の節外部位、ＨＲ＝１．４９、９５％ＣＩ＝１．０２～２．１８、ｐ＝０．０３７）に対して調節した後、多変量解析で維持された。カプランマイヤー分析でも、節外性の病変（肝臓および／または脾臓内の≧２の節外性病巣）がＧＯＹＡにおける不十分なＰＦＳと顕著に関連付けられることが実証された（図１４Ａ）。肝臓および腎臓の病変は両方とも、ＤＬＢＣＬにおける単変量解析（それぞれ、ＨＲ＝１．４８、９５％ＣＩ＝１．１３～１．９４、ｐ＝０．００４、およびＨＲ＝１．４４、９５％ＣＩ＝１．０８～１．９１、ｐ＝０．０１３、ならびに図１４Ｂおよび図１４Ｃ）により、予後であったが、脾臓の病変は予後ではなかった。多変量解析でも、イメージング由来の因子に対する調節を行う際、ＰＦＳに関する肝臓および腎臓の病変の予後値が確認された（それぞれ、ＨＲ＝１．４０、９５％ＣＩ＝１．０６～１．８５、ｐ＝０．０１７、およびＨＲ＝１．３４、９５％ＣＩ＝１．００～１．８０、ｐ＝０．０４９）。
ＧＡＬＬＩＵＭ研究からのＦＬを有する対象では、肝臓および／または脾臓の≧２の病巣＞１ｍＬは、単変量解析（ＨＲ＝１．６１、９５％ＣＩ＝１．０９～２．３８、ｐ＝０．０１７）によって、またカプランマイヤー分析によってＰＦＳと関連付けられた（図１４Ｄ）。肝臓および脾臓の病変は両方とも、単変量解析（それぞれ、ＨＲ＝１．６４、９５％ＣＩ＝１．１２～２．３８、ｐ＝０．０１０、およびＨＲ＝１．６７、９５％ＣＩ＝１．１６～２．４０、ｐ＝０．００６、ならびに図１４Ｅおよび図１４Ｆ）により、予後であったが、ＦＬにおいて腎臓の病変は予後ではなかった。イメージング由来の特徴を調節する際、多変量解析により、脾臓の病変はＰＦＳに関して予後のままである（ＨＲ＝１．５１、９５％ＣＩ＝１．０３～２．２１、ｐ＝０．０３４）ことが示されたが、肝臓の病変は顕著な関係性がなくなっていた（ＨＲ＝１．４４、９５％ＣＩ＝０．９７～２．１４、ｐ＝０．０６８）。濾胞性リンパ腫国際予後指標（ＦＬＩＰＩ）を調節する際、肝臓の病変は予後のままであった（ＨＲ＝１．５２、９５％ＣＩ＝１．０３～２．２３、ｐ＝０．０３６）。
ＧＯＹＡからのＤＬＢＣＬを有する対象では、ＰＥＴ／ＣＴの自動化解析により、肝臓および／または脾臓内における≧２の節外性の病巣の存在は、独立予後因子であり、予後値をＴＭＴＶ＞中央値、ＩＰＩ、およびＣＯＯに加えることが実証された。ＤＬＢＣＬにおいて脾臓の病変のみが予後ではなかった。ＦＬを有する対象では、節外性の病変（肝臓および／または脾臓において≧２の病巣）、および脾臓の病巣の存在は、独立予後因子であった。
ＶＩ．追加の検討事項
本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つまたは複数のデータプロセッサで実行されると、１つまたは複数のデータプロセッサに、本明細書に開示する１つまたは複数の方法の一部もしくは全てならびに／あるいは１つまたは複数のプロセスの一部もしくは全てを実施させる命令を含む、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示する１つまたは複数の方法の一部もしくは全てならびに／あるいは１つまたは複数のプロセスの一部もしくは全てを実施させるように構成された命令を含む、非一時的機械可読記憶媒体において有形的に具体化されたコンピュータプログラム製品を含む。
本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つまたは複数のデータプロセッサで実行されると、１つまたは複数のデータプロセッサに、本明細書に開示する１つまたは複数の方法の一部もしくは全てならびに／あるいは１つまたは複数のプロセスの一部もしくは全てを実施させる命令を含む、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示する１つまたは複数の方法の一部もしくは全てならびに／あるいは１つまたは複数のプロセスの一部もしくは全てを実施させるように構成された命令を含む、非一時的機械可読記憶媒体において有形的に具体化されたコンピュータプログラム製品を含む。
用いられている用語および表現は、説明の用語として非限定的に使用されるものであり、かかる用語および表現の使用において、図示され記載される特徴およびそれらの部分のいかなる等価物も除外しようとするものではなく、請求される発明の範囲内で様々な修正が可能であることが認識される。したがって、請求される本発明は実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示する概念の修正および変形を当業者であれば用いることができ、かかる修正および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあるとみなされることが理解されるべきである。
次に続く記載は好ましい例示的実施形態のみを提供するものであり、本開示の範囲、適用可能性、または構成を限定しようとするものではない。それよりもむしろ、好ましい例示的実施形態の次に続く記載は、様々な実施形態を実現するのを可能にする記載を当業者に提供する。添付の特許請求の範囲に記述される趣旨および範囲から逸脱することなく、要素の機能および配置の様々な変更が行われてもよいことが理解される。
実施形態の徹底した理解を提供するため、具体的な詳細が以下の記載において付与される。しかしながら、実施形態はこれらの具体的な詳細なしに実践されてもよいことが理解されるであろう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、不要な詳細で実施形態を不明瞭にしないように、ブロック図の形態で構成要素として示されることがある。他の例では、良く知られている回路、プロセス、アルゴリズム、構造、および技術は、実施形態を不明瞭にするのを回避するために、不要な詳細なしで示されることがある。
Claims (57)
- 対象の複数の陽電子放射断層撮影（ＰＥＴ）スキャンおよび複数のコンピュータ断層撮影（ＣＴ）または磁気共鳴イメージング（ＭＲＩ）スキャンを取得することと、
前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンを前処理して、前記対象の第１の面または領域に対する標準化画像の第１のサブセットと前記対象の第２の面または領域に対する標準化画像の第２のサブセットとを生成することであって、前記標準化画像の第１のサブセットおよび前記標準化画像の第２のサブセットが前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンからの情報を組み込む、前記標準化画像の第１のサブセットと第２のサブセットとを生成することと、
前記標準化画像の第１のサブセットを入力とする畳み込みニューラルネットワークアーキテクチャの一部として実現される第１の二次元セグメンテーションモデルを使用して、第１の二次元セグメンテーションマスクを生成することであって、前記第１の二次元セグメンテーションモデルが、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第１のレイヤから複数レイヤ離れたレイヤに直接供給する、前記第１のレイヤを含む第１の残差ブロックを使用する、前記第１の二次元セグメンテーションマスクを生成することと、
前記標準化画像の第２のサブセットを入力とする前記畳み込みニューラルネットワークアーキテクチャの一部として実現される第２の二次元セグメンテーションモデルを使用して、第２の二次元セグメンテーションマスクを生成することであって、前記第２の二次元セグメンテーションモデルが、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第２のレイヤから複数レイヤ離れたレイヤに直接供給する、前記第２のレイヤを含む第２の残差ブロックを使用する、前記第２の二次元セグメンテーションマスクを生成することと、
前記第１の二次元セグメンテーションマスクおよび前記第２の二次元セグメンテーションマスクからの情報を組み合わせることによって、最終の画像化されたマスクを生成することと、を含む、方法。 - 前記第１のレイヤおよび前記第２のレイヤが、１つまたは複数の拡大レベルで分離可能な畳み込みが実施されるピラミッドレイヤである、請求項１に記載の方法。
- 前記最終の画像化されたマスクを使用して、総代謝腫瘍量（ＴＭＴＶ）を決定することと、前記ＴＭＴＶを提供することと、を更に含む、請求項１または２に記載の方法。
- 前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンを入力とする三次元臓器セグメンテーションモデルを使用して、三次元臓器マスクを生成することと、
前記最終の画像化されたマスクおよび前記三次元臓器マスクを使用して、前記三次元臓器セグメンテーションの１つまたは複数の臓器に関して、代謝腫瘍量（ＭＴＶ）および病巣の数を決定することと、
前記１つまたは複数の臓器に関する前記ＭＴＶおよび病巣の数を提供することと、を更に含む、請求項１または２に記載の方法。 - 前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数を入力とする分類器を使用して、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて前記対象に対する臨床予測を生成することを更に含み、
前記臨床予測が、
前記対象の無増悪生存（ＰＦＳ）の尤度、
前記対象の病期、および、
前記対象を治験に含む選択決定、のうち１つである、請求項３または４に記載の方法。 - ユーザによって、前記対象の前記複数のＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンを、前記畳み込みニューラルネットワークアーキテクチャを備えるデータ処理システムに入力することと、
前記最終の画像化されたマスクを提供することと、
前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数を、コンピューティングデバイスのディスプレイ上に受信することと、を更に含む、請求項１から５のいずれか一項に記載の方法。 - 前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて、治療を前記対象に施すことを更に含む、請求項１から６のいずれか一項に記載の方法。
- 前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて、診断を前記対象に提供することを更に含む、請求項１から６のいずれか一項に記載の方法。
- 非一時的機械可読記憶媒体において有形的に具体化され、１つまたは複数のデータプロセッサに動作を実施させるように構成された命令を含む、コンピュータプログラム製品であって、前記動作が、
対象の複数の陽電子放射断層撮影（ＰＥＴ）スキャンおよび複数のコンピュータ断層撮影（ＣＴ）または磁気共鳴イメージング（ＭＲＩ）スキャンを取得することと、
前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンを前処理して、前記対象の第１の面または領域に対する標準化画像の第１のサブセットと前記対象の第２の面または領域に対する標準化画像の第２のサブセットとを生成することであって、前記標準化画像の第１のサブセットおよび前記標準化画像の第２のサブセットが前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンからの情報を組み込む、前記標準化画像の第１のサブセットと第２のサブセットとを生成することと、
前記標準化画像の第１のサブセットを入力とする畳み込みニューラルネットワークアーキテクチャの一部として実現される第１の二次元セグメンテーションモデルを使用して、第１の二次元セグメンテーションマスクを生成することであって、前記第１の二次元セグメンテーションモデルが、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第１のレイヤから複数レイヤ離れたレイヤに直接供給する、前記第１のレイヤを含む第１の残差ブロックを使用する、前記第１の二次元セグメンテーションマスクを生成することと、
前記標準化画像の第２のサブセットを入力とする前記畳み込みニューラルネットワークアーキテクチャの一部として実現される第２の二次元セグメンテーションモデルを使用して、第２の二次元セグメンテーションマスクを生成することであって、前記第２の二次元セグメンテーションモデルが、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第２のレイヤから複数レイヤ離れたレイヤに直接供給する、前記第２のレイヤを含む第２の残差ブロックを使用する、前記第２の二次元セグメンテーションマスクを生成することと、
前記第１の二次元セグメンテーションマスクおよび前記第２の二次元セグメンテーションマスクからの情報を組み合わせることによって、最終の画像化されたマスクを生成することと、を含む、コンピュータプログラム製品。 - 前記第１のレイヤおよび前記第２のレイヤが、１つまたは複数の拡大レベルで分離可能な畳み込みが実施されるピラミッドレイヤである、請求項９に記載のコンピュータプログラム製品。
- 前記動作が、前記最終の画像化されたマスクを使用して、総代謝腫瘍量（ＴＭＴＶ）を決定することと、前記ＴＭＴＶを提供することと、を更に含む、請求項９または１０に記載のコンピュータプログラム製品。
- 前記動作が、
前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンを入力とする三次元臓器セグメンテーションモデルを使用して、三次元臓器マスクを生成することと、
前記最終の画像化されたマスクおよび前記三次元臓器マスクを使用して、前記三次元臓器セグメンテーションの１つまたは複数の臓器に関して、代謝腫瘍量（ＭＴＶ）および病巣の数を決定することと、
前記１つまたは複数の臓器に関する前記ＭＴＶおよび病巣の数を提供することと、を更に含む、請求項９または１０に記載のコンピュータプログラム製品。 - 前記動作が、
前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数を入力とする分類器を使用して、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて前記対象に対する臨床予測を生成することを更に含み、
前記臨床予測が、
前記対象の無増悪生存（ＰＦＳ）の尤度、
前記対象の病期、および、
前記対象を治験に含む選択決定、のうち１つである、請求項１１または１２に記載のコンピュータプログラム製品。 - 前記動作が、
ユーザによって、前記対象の前記複数のＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンを、前記畳み込みニューラルネットワークアーキテクチャを備えるデータ処理システムに入力することと、
前記最終の画像化されたマスクを提供することと、
前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数を、コンピューティングデバイスのディスプレイ上に受信することと、を更に含む、請求項９から１３のいずれか一項に記載のコンピュータプログラム製品。 - 前記動作が、前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて、治療を前記対象に施すことを更に含む、請求項９から１４のいずれか一項に記載のコンピュータプログラム製品。
- 前記動作が、前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて、診断を前記対象に提供することを更に含む、請求項９から１４のいずれか一項に記載のコンピュータプログラム製品。
- １つまたは複数のデータプロセッサと、
前記１つまたは複数のデータプロセッサで実行されると、前記１つまたは複数のデータプロセッサに動作を実施させる命令を含む、非一時的コンピュータ可読記憶媒体と、を備え、前記動作が、
対象の複数の陽電子放射断層撮影（ＰＥＴ）スキャンおよび複数のコンピュータ断層撮影（ＣＴ）または磁気共鳴イメージング（ＭＲＩ）スキャンを取得することと、
前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンを前処理して、前記対象の第１の面または領域に対する標準化画像の第１のサブセットと前記対象の第２の面または領域に対する標準化画像の第２のサブセットとを生成することであって、前記標準化画像の第１のサブセットおよび前記標準化画像の第２のサブセットが前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンからの情報を組み込む、前記標準化画像の第１のサブセットと第２のサブセットとを生成することと、
前記標準化画像の第１のサブセットを入力とする畳み込みニューラルネットワークアーキテクチャの一部として実現される第１の二次元セグメンテーションモデルを使用して、第１の二次元セグメンテーションマスクを生成することであって、前記第１の二次元セグメンテーションモデルが、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第１のレイヤから複数レイヤ離れたレイヤに直接供給する、前記第１のレイヤを含む第１の残差ブロックを使用する、前記第１の二次元セグメンテーションマスクを生成することと、
前記標準化画像の第２のサブセットを入力とする前記畳み込みニューラルネットワークアーキテクチャの一部として実現される第２の二次元セグメンテーションモデルを使用して、第２の二次元セグメンテーションマスクを生成することであって、前記第２の二次元セグメンテーションモデルが、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第２のレイヤから複数レイヤ離れたレイヤに直接供給する、前記第２のレイヤを含む第２の残差ブロックを使用する、前記第２の二次元セグメンテーションマスクを生成することと、
前記第１の二次元セグメンテーションマスクおよび前記第２の二次元セグメンテーションマスクからの情報を組み合わせることによって、最終の画像化されたマスクを生成することと、を含む、システム。 - 前記第１のレイヤおよび前記第２のレイヤが、１つまたは複数の拡大レベルで分離可能な畳み込みが実施されるピラミッドレイヤである、請求項１７に記載のシステム。
- 前記動作が、前記最終の画像化されたマスクを使用して、総代謝腫瘍量（ＴＭＴＶ）を決定することと、前記ＴＭＴＶを提供することと、を更に含む、請求項１７または１８に記載のシステム。
- 前記動作が、
前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンを入力とする三次元臓器セグメンテーションモデルを使用して、三次元臓器マスクを生成することと、
前記最終の画像化されたマスクおよび前記三次元臓器マスクを使用して、前記三次元臓器セグメンテーションの１つまたは複数の臓器に関して、代謝腫瘍量（ＭＴＶ）および病巣の数を決定することと、
前記１つまたは複数の臓器に関する前記ＭＴＶおよび病巣の数を提供することと、を更に含む、請求項１７または１８に記載のシステム。 - 前記動作が、
前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数を入力とする分類器を使用して、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて前記対象に対する臨床予測を生成することを更に含み、
前記臨床予測が、
前記対象の無増悪生存（ＰＦＳ）の尤度、
前記対象の病期、および、
前記対象を治験に含む選択決定、のうち１つである、請求項１９または２０に記載のシステム。 - 前記動作が、
ユーザによって、前記対象の前記複数のＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンを、前記畳み込みニューラルネットワークアーキテクチャを備えるデータ処理システムに入力することと、
前記最終の画像化されたマスクを提供することと、
前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数を、コンピューティングデバイスのディスプレイ上に受信することと、を更に含む、請求項１７から２１のいずれか一項に記載のシステム。 - 前記動作が、前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて、治療を前記対象に施すことを更に含む、請求項１７から２２のいずれか一項に記載のシステム。
- 前記動作が、前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて、診断を前記対象に提供することを更に含む、請求項１７から２２のいずれか一項に記載のシステム。
- 対象の複数の陽電子放射断層撮影（ＰＥＴ）スキャンおよび複数のコンピュータ断層撮影（ＣＴ）または磁気共鳴イメージング（ＭＲＩ）スキャンを取得することと、
前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンを前処理して、前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンからの情報を組み込んだ標準化画像を生成することと、
前記標準化画像を入力とする畳み込みニューラルネットワークアーキテクチャの一部として実現される１つまたは複数の二次元セグメンテーションモデルを使用して、１つまたは複数の二次元セグメンテーションマスクを生成することと、
前記二次元セグメンテーションマスクからのセグメントと関連付けられた画像データのパッチを入力とする前記畳み込みニューラルネットワークアーキテクチャの一部として実現される１つまたは複数の三次元セグメンテーションモデルを使用して、１つまたは複数の三次元セグメンテーションマスクを生成することと、
前記１つまたは複数の二次元セグメンテーションマスクおよび前記１つまたは複数の三次元セグメンテーションマスクからの情報を組み合わせることによって、最終の画像化されたマスクを生成することと、を含む、方法。 - 前記１つまたは複数の三次元セグメンテーションモデルが、第１の三次元セグメンテーションモデルと第２の三次元セグメンテーションモデルとを含み、
画像データの前記パッチが、第１のセグメントと関連付けられた画像データの第１のパッチと、第２のセグメントと関連付けられた画像データの第２のパッチとを含み、
前記１つまたは複数の三次元セグメンテーションマスクの前記生成が、画像データの前記第１のパッチを入力とする前記第１の三次元セグメンテーションモデルを使用して、第１の三次元セグメンテーションマスクを生成することと、画像データの前記第２のパッチを入力とする前記第２の三次元セグメンテーションモデルを使用して、第２の三次元セグメンテーションマスクを生成することと、を含む、請求項２５に記載の方法。 - 前記標準化画像においてキャプチャされた領域または身体の構成要素の位置を基準点として査定することと、
前記基準点に基づいて、前記領域または身体を複数の解剖学的領域に分割することと、
前記複数の解剖学的領域に対する位置ラベルを生成することと、
前記位置ラベルを前記二次元セグメンテーションマスク内に組み込むことと、
前記位置ラベルに基づいて、前記第１のセグメントが前記複数の解剖学的領域のうち第１の解剖学的領域内に位置すると判定することと、
前記位置ラベルに基づいて、前記第２のセグメントが前記複数の解剖学的領域のうち第２の解剖学的領域内に位置すると判定することと、
前記第１のセグメントが前記第１の解剖学的領域内に位置するとの前記判定に基づいて、前記第１のセグメントと関連付けられた画像データの前記第１のパッチを前記第１の三次元セグメンテーションマスクに入力することと、
前記第２のセグメントが前記第２の解剖学的領域内に位置するとの前記判定に基づいて、前記第２のセグメントと関連付けられた画像データの前記第２のパッチを前記第２の三次元セグメンテーションマスクに入力することと、を更に含む、請求項２６に記載の方法。 - 前記標準化画像が、前記対象の第１の面または領域に対する標準化画像の第１のサブセットと前記対象の第２の面または領域に対する標準化画像の第２のサブセットとを含み、前記標準化画像の第１のサブセットおよび前記標準化画像の第２のサブセットが前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンからの情報を組み込み、
前記１つまたは複数の二次元セグメンテーションモデルが、第１の二次元セグメンテーションモデルと第２の二次元セグメンテーションモデルとを含み、
前記１つまたは複数の二次元セグメンテーションマスクの前記生成が、
前記標準化画像の第１のサブセットを入力とする実装される前記第１の二次元セグメンテーションモデルを使用して、第１の二次元セグメンテーションマスクを生成することであって、前記第１の二次元セグメンテーションモデルが、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第１のレイヤから複数レイヤ離れたレイヤに直接供給する、前記第１のレイヤを含む第１の残差ブロックを使用する、前記第１の二次元セグメンテーションマスクを生成することと、
前記標準化画像の第２のサブセットを入力とする前記第２の二次元セグメンテーションモデルを使用して、第２の二次元セグメンテーションマスクを生成することであって、前記第２の二次元セグメンテーションモデルが、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第２のレイヤから複数レイヤ離れたレイヤに直接供給する、前記第２のレイヤを含む第２の残差ブロックを使用する、前記第２の二次元セグメンテーションマスクを生成することと、を含む、請求項２５、２６、または２７に記載の方法。 - 前記第１のレイヤおよび前記第２のレイヤが、１つまたは複数の拡大レベルで分離可能な畳み込みが実施されるピラミッドレイヤである、請求項２８に記載の方法。
- 前記最終の画像化されたマスクを使用して、総代謝腫瘍量（ＴＭＴＶ）を決定することと、前記ＴＭＴＶを提供することと、を更に含む、請求項２５から２９のいずれか一項に記載の方法。
- 前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンを入力とする三次元臓器セグメンテーションモデルを使用して、三次元臓器マスクを生成することと、
前記最終の画像化されたマスクおよび前記三次元臓器マスクを使用して、前記三次元臓器セグメンテーションの１つまたは複数の臓器に関して、代謝腫瘍量（ＭＴＶ）および病巣の数を決定することと、
前記１つまたは複数の臓器に関する前記ＭＴＶおよび病巣の数を提供することと、を更に含む、請求項２５から２９のいずれか一項に記載の方法。 - 前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数を入力とする分類器を使用して、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて前記対象に対する臨床予測を生成することを更に含み、
前記臨床予測が、
前記対象の無増悪生存（ＰＦＳ）の尤度、
前記対象の病期、および、
前記対象を治験に含む選択決定、のうち１つである、請求項３０または３１に記載の方法。 - ユーザによって、前記対象の前記複数のＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンを、前記畳み込みニューラルネットワークアーキテクチャを備えるデータ処理システムに入力することと、
前記最終の画像化されたマスクを提供することと、
前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数を、コンピューティングデバイスのディスプレイ上に受信することと、を更に含む、請求項２５から３２のいずれか一項に記載の方法。 - 前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて、治療を前記対象に施すことを更に含む、請求項２５から３３のいずれか一項に記載の方法。
- 前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて、診断を前記対象に提供することを更に含む、請求項２５から３３のいずれか一項に記載の方法。
- 非一時的機械可読記憶媒体において有形的に具体化され、１つまたは複数のデータプロセッサに動作を実施させるように構成された命令を含む、コンピュータプログラム製品であって、前記動作が、
対象の複数の陽電子放射断層撮影（ＰＥＴ）スキャンおよび複数のコンピュータ断層撮影（ＣＴ）または磁気共鳴イメージング（ＭＲＩ）スキャンを取得することと、
前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンを前処理して、前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンからの情報を組み込んだ標準化画像を生成することと、
前記標準化画像を入力とする畳み込みニューラルネットワークアーキテクチャの一部として実現される１つまたは複数の二次元セグメンテーションモデルを使用して、１つまたは複数の二次元セグメンテーションマスクを生成することと、
前記二次元セグメンテーションマスクからのセグメントと関連付けられた画像データのパッチを入力とする前記畳み込みニューラルネットワークアーキテクチャの一部として実現される１つまたは複数の三次元セグメンテーションモデルを使用して、１つまたは複数の三次元セグメンテーションマスクを生成することと、
前記１つまたは複数の二次元セグメンテーションマスクおよび前記１つまたは複数の三次元セグメンテーションマスクからの情報を組み合わせることによって、最終の画像化されたマスクを生成することと、を含む、コンピュータプログラム製品。 - 前記１つまたは複数の三次元セグメンテーションモデルが、第１の三次元セグメンテーションモデルと第２の三次元セグメンテーションモデルとを含み、
画像データの前記パッチが、第１のセグメントと関連付けられた画像データの第１のパッチと、第２のセグメントと関連付けられた画像データの第２のパッチとを含み、
前記１つまたは複数の三次元セグメンテーションマスクの前記生成が、画像データの前記第１のパッチを入力とする前記第１の三次元セグメンテーションモデルを使用して、第１の三次元セグメンテーションマスクを生成することと、画像データの前記第２のパッチを入力とする前記第２の三次元セグメンテーションモデルを使用して、第２の三次元セグメンテーションマスクを生成することと、を含む、請求項３６に記載のコンピュータプログラム製品。 - 前記動作が、
前記標準化画像においてキャプチャされた領域または身体の構成要素の位置を基準点として査定することと、
前記基準点に基づいて、前記領域または身体を複数の解剖学的領域に分割することと、
前記複数の解剖学的領域に対する位置ラベルを生成することと、
前記位置ラベルを前記二次元セグメンテーションマスク内に組み込むことと、
前記位置ラベルに基づいて、前記第１のセグメントが前記複数の解剖学的領域のうち第１の解剖学的領域内に位置すると判定することと、
前記位置ラベルに基づいて、前記第２のセグメントが前記複数の解剖学的領域のうち第２の解剖学的領域内に位置すると判定することと、
前記第１のセグメントが前記第１の解剖学的領域内に位置するとの前記判定に基づいて、前記第１のセグメントと関連付けられた画像データの前記第１のパッチを前記第１の三次元セグメンテーションマスクに入力することと、
前記第２のセグメントが前記第２の解剖学的領域内に位置するとの前記判定に基づいて、前記第２のセグメントと関連付けられた画像データの前記第２のパッチを前記第２の三次元セグメンテーションマスクに入力することと、を更に含む、請求項３７に記載のコンピュータプログラム製品。 - 前記標準化画像が、前記対象の第１の面または領域に対する標準化画像の第１のサブセットと前記対象の第２の面または領域に対する標準化画像の第２のサブセットとを含み、前記標準化画像の第１のサブセットおよび前記標準化画像の第２のサブセットが前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンからの情報を組み込み、
前記１つまたは複数の二次元セグメンテーションモデルが、第１の二次元セグメンテーションモデルと第２の二次元セグメンテーションモデルとを含み、
前記１つまたは複数の二次元セグメンテーションマスクの前記生成が、
前記標準化画像の第１のサブセットを入力とする前記第１の二次元セグメンテーションモデルを使用して、第１の二次元セグメンテーションマスクを生成することであって、前記第１の二次元セグメンテーションモデルが、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第１のレイヤから複数レイヤ離れたレイヤに直接供給する、前記第１のレイヤを含む第１の残差ブロックを使用する、前記第１の二次元セグメンテーションマスクを生成することと、
前記標準化画像の第２のサブセットを入力とする前記第２の二次元セグメンテーションモデルを使用して、第２の二次元セグメンテーションマスクを生成することであって、前記第２の二次元セグメンテーションモデルが、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第２のレイヤから複数レイヤ離れたレイヤに直接供給する、前記第２のレイヤを含む第２の残差ブロックを使用する、前記第２の二次元セグメンテーションマスクを生成することと、を含む、請求項３６、３７、または３８に記載のコンピュータプログラム製品。 - 前記第１のレイヤおよび前記第２のレイヤが、１つまたは複数の拡大レベルで分離可能な畳み込みが実施されるピラミッドレイヤである、請求項３９に記載のコンピュータプログラム製品。
- 前記動作が、前記最終の画像化されたマスクを使用して、総代謝腫瘍量（ＴＭＴＶ）を決定することと、前記ＴＭＴＶを提供することと、を更に含む、請求項３６から４０のいずれか一項に記載のコンピュータプログラム製品。
- 前記動作が、
前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンを入力とする三次元臓器セグメンテーションモデルを使用して、三次元臓器マスクを生成することと、
前記最終の画像化されたマスクおよび前記三次元臓器マスクを使用して、前記三次元臓器セグメンテーションの１つまたは複数の臓器に関して、代謝腫瘍量（ＭＴＶ）および病巣の数を決定することと、
前記１つまたは複数の臓器に関する前記ＭＴＶおよび病巣の数を提供することと、を更に含む、請求項３６から４０のいずれか一項に記載のコンピュータプログラム製品。 - 前記動作が、
前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数を入力とする分類器を使用して、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて前記対象に対する臨床予測を生成することを更に含み、
前記臨床予測が、
前記対象の無増悪生存（ＰＦＳ）の尤度、
前記対象の病期、および、
前記対象を治験に含む選択決定、のうち１つである、請求項４１または４２に記載のコンピュータプログラム製品。 - 前記動作が、
ユーザによって、前記対象の前記複数のＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンを、前記畳み込みニューラルネットワークアーキテクチャを備えるデータ処理システムに入力することと、
前記最終の画像化されたマスクを提供することと、
前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数を、コンピューティングデバイスのディスプレイ上に受信することと、を更に含む、請求項３６から４３のいずれか一項に記載のコンピュータプログラム製品。 - 前記動作が、前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて、治療を前記対象に施すことを更に含む、請求項３６から４４のいずれか一項に記載のコンピュータプログラム製品。
- 前記動作が、前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて、診断を前記対象に提供することを更に含む、請求項３６から４４のいずれか一項に記載のコンピュータプログラム製品。
- １つまたは複数のデータプロセッサと、
前記１つまたは複数のデータプロセッサで実行されると、前記１つまたは複数のデータプロセッサに動作を実施させる命令を含む、非一時的コンピュータ可読記憶媒体と、を備え、前記動作が、
対象の複数の陽電子放射断層撮影（ＰＥＴ）スキャンおよび複数のコンピュータ断層撮影（ＣＴ）または磁気共鳴イメージング（ＭＲＩ）スキャンを取得することと、
前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンを前処理して、前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンからの情報を組み込んだ標準化画像を生成することと、
前記標準化画像を入力とする畳み込みニューラルネットワークアーキテクチャの一部として実現される１つまたは複数の二次元セグメンテーションモデルを使用して、１つまたは複数の二次元セグメンテーションマスクを生成することと、
前記二次元セグメンテーションマスクからのセグメントと関連付けられた画像データのパッチを入力とする前記畳み込みニューラルネットワークアーキテクチャの一部として実現される１つまたは複数の三次元セグメンテーションモデルを使用して、１つまたは複数の三次元セグメンテーションマスクを生成することと、
前記１つまたは複数の二次元セグメンテーションマスクおよび前記１つまたは複数の三次元セグメンテーションマスクからの情報を組み合わせることによって、最終の画像化されたマスクを生成することと、を含む、システム。 - 前記１つまたは複数の三次元セグメンテーションモデルが、第１の三次元セグメンテーションモデルと第２の三次元セグメンテーションモデルとを含み、
画像データの前記パッチが、第１のセグメントと関連付けられた画像データの第１のパッチと、第２のセグメントと関連付けられた画像データの第２のパッチとを含み、
前記１つまたは複数の三次元セグメンテーションマスクの前記生成が、画像データの前記第１のパッチを入力とする前記第１の三次元セグメンテーションモデルを使用して、第１の三次元セグメンテーションマスクを生成することと、画像データの前記第２のパッチを入力とする前記第２の三次元セグメンテーションモデルを使用して、第２の三次元セグメンテーションマスクを生成することと、を含む、請求項４７に記載のシステム。 - 前記動作が、
前記標準化画像においてキャプチャされた領域または身体の構成要素の位置を基準点として査定することと、
前記基準点に基づいて、前記領域または身体を複数の解剖学的領域に分割することと、
前記複数の解剖学的領域に対する位置ラベルを生成することと、
前記位置ラベルを前記二次元セグメンテーションマスク内に組み込むことと、
前記位置ラベルに基づいて、前記第１のセグメントが前記複数の解剖学的領域のうち第１の解剖学的領域内に位置すると判定することと、
前記位置ラベルに基づいて、前記第２のセグメントが前記複数の解剖学的領域のうち第２の解剖学的領域内に位置すると判定することと、
前記第１のセグメントが前記第１の解剖学的領域内に位置するとの前記判定に基づいて、前記第１のセグメントと関連付けられた画像データの前記第１のパッチを前記第１の三次元セグメンテーションマスクに入力することと、
前記第２のセグメントが前記第２の解剖学的領域内に位置するとの前記判定に基づいて、前記第２のセグメントと関連付けられた画像データの前記第２のパッチを前記第２の三次元セグメンテーションマスクに入力することと、を更に含む、請求項４８に記載のシステム。 - 前記標準化画像が、前記対象の第１の面または領域に対する標準化画像の第１のサブセットと前記対象の第２の面または領域に対する標準化画像の第２のサブセットとを含み、前記標準化画像の第１のサブセットおよび前記標準化画像の第２のサブセットが前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンからの情報を組み込み、
前記１つまたは複数の二次元セグメンテーションモデルが、第１の二次元セグメンテーションモデルと第２の二次元セグメンテーションモデルとを含み、
前記１つまたは複数の二次元セグメンテーションマスクの前記生成が、
前記標準化画像の第１のサブセットを入力とする前記第１の二次元セグメンテーションモデルを使用して、第１の二次元セグメンテーションマスクを生成することであって、前記第１の二次元セグメンテーションモデルが、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第１のレイヤから複数レイヤ離れたレイヤに直接供給する、前記第１のレイヤを含む第１の残差ブロックを使用する、前記第１の二次元セグメンテーションマスクを生成することと、
前記標準化画像の第２のサブセットを入力とする前記第２の二次元セグメンテーションモデルを使用して、第２の二次元セグメンテーションマスクを生成することであって、前記第２の二次元セグメンテーションモデルが、（ｉ）後続のレイヤに直接供給する、および（ｉｉ）スキップ接続を使用して第２のレイヤから複数レイヤ離れたレイヤに直接供給する、前記第２のレイヤを含む第２の残差ブロックを使用する、前記第２の二次元セグメンテーションマスクを生成することと、を含む、請求項４６、４７、または４８に記載のシステム。 - 前記第１のレイヤおよび前記第２のレイヤが、１つまたは複数の拡大レベルで分離可能な畳み込みが実施されるピラミッドレイヤである、請求項５０に記載のシステム。
- 前記動作が、前記最終の画像化されたマスクを使用して、総代謝腫瘍量（ＴＭＴＶ）を決定することと、前記ＴＭＴＶを提供することと、を更に含む、請求項４７から５１のいずれか一項に記載のシステム。
- 前記動作が、
前記ＰＥＴスキャンおよび前記ＣＴまたはＭＲＩスキャンを入力とする三次元臓器セグメンテーションモデルを使用して、三次元臓器マスクを生成することと、
前記最終の画像化されたマスクおよび前記三次元臓器マスクを使用して、前記三次元臓器セグメンテーションの１つまたは複数の臓器に関して、代謝腫瘍量（ＭＴＶ）および病巣の数を決定することと、
前記１つまたは複数の臓器に関する前記ＭＴＶおよび病巣の数を提供することと、を更に含む、請求項４７から５１のいずれか一項に記載のシステム。 - 前記動作が、
前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数を入力とする分類器を使用して、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて前記対象に対する臨床予測を生成することを更に含み、
前記臨床予測が、
前記対象の無増悪生存（ＰＦＳ）の尤度、
前記対象の病期、および、
前記対象を治験に含む選択決定、のうち１つである、請求項５２または５３に記載のシステム。 - 前記動作が、
ユーザによって、前記対象の前記複数のＰＥＴスキャンおよびＣＴまたはＭＲＩスキャンを、前記畳み込みニューラルネットワークアーキテクチャを備えるデータ処理システムに入力することと、
前記最終の画像化されたマスクを提供することと、
前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数を、コンピューティングデバイスのディスプレイ上に受信することと、を更に含む、請求項４７から５４のいずれか一項に記載のシステム。 - 前記動作が、前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて、治療を前記対象に施すことを更に含む、請求項４７から５５のいずれか一項に記載のシステム。
- 前記動作が、前記ユーザによって、前記最終の画像化されたマスク、前記ＴＭＴＶ、前記ＭＴＶ、および前記病巣の数のうち１つまたは複数に基づいて、診断を前記対象に提供することを更に含む、請求項４７から５５のいずれか一項に記載のシステム。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962819275P | 2019-03-15 | 2019-03-15 | |
| US62/819,275 | 2019-03-15 | ||
| US201962880898P | 2019-07-31 | 2019-07-31 | |
| US62/880,898 | 2019-07-31 | ||
| PCT/US2020/022864 WO2020190821A1 (en) | 2019-03-15 | 2020-03-14 | Deep convolutional neural networks for tumor segmentation with positron emission tomography |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022525198A true JP2022525198A (ja) | 2022-05-11 |
Family
ID=70228847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021555453A Pending JP2022525198A (ja) | 2019-03-15 | 2020-03-14 | 陽電子放射断層撮影を用いた腫瘍セグメンテーションのための深層畳み込みニューラルネットワーク |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20210401392A1 (ja) |
| EP (1) | EP3939002A1 (ja) |
| JP (1) | JP2022525198A (ja) |
| CN (1) | CN113711271A (ja) |
| WO (1) | WO2020190821A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4332888A1 (en) | 2022-08-29 | 2024-03-06 | Fujitsu Limited | Lesion detection method and lesion detection program |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018081354A1 (en) | 2016-10-27 | 2018-05-03 | Progenics Pharmaceuticals, Inc. | Network for medical image analysis, decision support system, and related graphical user interface (gui) applications |
| US10973486B2 (en) | 2018-01-08 | 2021-04-13 | Progenics Pharmaceuticals, Inc. | Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination |
| JP2022516316A (ja) | 2019-01-07 | 2022-02-25 | エクシーニ ディアグノスティクス アーべー | プラットホーム非依存の全身画像セグメント化のためのシステムおよび方法 |
| AU2020261370A1 (en) | 2019-04-24 | 2021-10-14 | Exini Diagnostics Ab | Systems and methods for automated and interactive analysis of bone scan images for detection of metastases |
| EP3959683A1 (en) | 2019-04-24 | 2022-03-02 | Progenics Pharmaceuticals, Inc. | Systems and methods for interactive adjustment of intensity windowing in nuclear medicine images |
| US11544407B1 (en) | 2019-09-27 | 2023-01-03 | Progenics Pharmaceuticals, Inc. | Systems and methods for secure cloud-based medical image upload and processing |
| US11900597B2 (en) | 2019-09-27 | 2024-02-13 | Progenics Pharmaceuticals, Inc. | Systems and methods for artificial intelligence-based image analysis for cancer assessment |
| US11564621B2 (en) | 2019-09-27 | 2023-01-31 | Progenies Pharmacenticals, Inc. | Systems and methods for artificial intelligence-based image analysis for cancer assessment |
| US11334995B2 (en) * | 2019-11-27 | 2022-05-17 | Shanghai United Imaging Intelligence Co., Ltd. | Hierarchical systems and methods for image segmentation |
| CN111340768B (zh) * | 2020-02-21 | 2021-03-09 | 之江实验室 | 一种基于pet/ct智能诊断系统的多中心效应补偿方法 |
| US11321844B2 (en) | 2020-04-23 | 2022-05-03 | Exini Diagnostics Ab | Systems and methods for deep-learning-based segmentation of composite images |
| US11386988B2 (en) | 2020-04-23 | 2022-07-12 | Exini Diagnostics Ab | Systems and methods for deep-learning-based segmentation of composite images |
| US11501107B2 (en) * | 2020-05-07 | 2022-11-15 | Adobe Inc. | Key-value memory network for predicting time-series metrics of target entities |
| EP3923183A1 (en) * | 2020-06-11 | 2021-12-15 | Tata Consultancy Services Limited | Method and system for video analysis |
| US11721428B2 (en) | 2020-07-06 | 2023-08-08 | Exini Diagnostics Ab | Systems and methods for artificial intelligence-based image analysis for detection and characterization of lesions |
| CN112348839B (zh) * | 2020-10-27 | 2024-03-15 | 重庆大学 | 一种基于深度学习的图像分割方法及系统 |
| CN112365980B (zh) * | 2020-11-16 | 2024-03-01 | 复旦大学附属华山医院 | 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统 |
| US11886975B2 (en) * | 2020-11-20 | 2024-01-30 | The Johns Hopkins University | Methods and related aspects for pathology prognosis |
| CN112489060B (zh) * | 2020-12-07 | 2022-05-10 | 北京医准智能科技有限公司 | 一种用于肺炎病灶分割的系统及方法 |
| CN112633348B (zh) * | 2020-12-17 | 2022-03-15 | 首都医科大学附属北京天坛医院 | 一种检测脑动静脉畸形并判断其弥散性的方法和装置 |
| CN112699937B (zh) * | 2020-12-29 | 2022-06-21 | 江苏大学 | 基于特征引导网络的图像分类与分割的装置、方法、设备及介质 |
| KR102283265B1 (ko) * | 2020-12-31 | 2021-07-29 | 가천대학교 산학협력단 | 스케일 확장 기반의 컨볼루션 신경망을 이용한 대장 질환 분류 방법 및 그 장치 |
| US11854192B2 (en) | 2021-03-03 | 2023-12-26 | International Business Machines Corporation | Multi-phase object contour refinement |
| US11923071B2 (en) | 2021-03-03 | 2024-03-05 | International Business Machines Corporation | Multi-phase object contour refinement |
| US11776132B2 (en) | 2021-03-03 | 2023-10-03 | International Business Machines Corporation | Multi-phase object contour refinement |
| JP7462188B2 (ja) | 2021-03-12 | 2024-04-05 | 株式会社スペック・システム | 医用画像処理装置、医用画像処理方法、およびプログラム |
| EP4064179A1 (en) * | 2021-03-24 | 2022-09-28 | Koninklijke Philips N.V. | Masking unwanted pixels in an image |
| CN113012170B (zh) * | 2021-03-25 | 2022-02-15 | 推想医疗科技股份有限公司 | 一种食管肿瘤区域分割及模型训练方法、装置及电子设备 |
| CN112991522B (zh) * | 2021-03-30 | 2023-03-24 | 华南理工大学 | 一种个性化二尖瓣自动建模方法、系统及设备 |
| CN113192076B (zh) * | 2021-04-09 | 2022-03-15 | 湖北工业大学 | 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法 |
| US11367289B1 (en) * | 2021-07-16 | 2022-06-21 | Motional Ad Llc | Machine learning-based framework for drivable surface annotation |
| CN113838026B (zh) * | 2021-09-22 | 2024-02-02 | 中南大学 | 非小细胞肺癌检测方法、装置、计算机设备和存储介质 |
| CN113920313B (zh) * | 2021-09-29 | 2022-09-09 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| EP4202827A1 (en) * | 2021-12-21 | 2023-06-28 | Koninklijke Philips N.V. | System and method for classifying lesions |
| WO2023117740A1 (en) * | 2021-12-21 | 2023-06-29 | Koninklijke Philips N.V. | System and method for classifying lesions |
| CN114334130B (zh) * | 2021-12-25 | 2023-08-22 | 浙江大学 | 一种基于脑对称性的pet分子影像计算机辅助诊断系统 |
| US20230237612A1 (en) * | 2022-01-26 | 2023-07-27 | Intuitive Research And Technology Corporation | Determining volume of a selectable region using extended reality |
| WO2024002221A1 (zh) * | 2022-06-30 | 2024-01-04 | 武汉联影智融医疗科技有限公司 | 介入手术影像辅助方法、系统、装置及存储介质 |
| WO2024010882A1 (en) * | 2022-07-06 | 2024-01-11 | The Johns Hopkins University | System and method for coarse-to-fine segmentation of images to detect kidney and renal growths |
| GB2621332A (en) * | 2022-08-08 | 2024-02-14 | Twinn Health Ltd | A method and an artificial intelligence system for assessing an MRI image |
| CN115239688B (zh) * | 2022-08-09 | 2024-03-12 | 四川大学华西医院 | 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统 |
| WO2024046142A1 (en) * | 2022-08-30 | 2024-03-07 | Subtle Medical, Inc. | Systems and methods for image segmentation of pet/ct using cascaded and ensembled convolutional neural networks |
| WO2024054961A1 (en) * | 2022-09-08 | 2024-03-14 | The Trustees Of Columbia University In The City Of New York | Frequency-and-phase correction for magnetic resonance spectroscopy |
| WO2024077293A1 (en) * | 2022-10-07 | 2024-04-11 | Washington University | Convolutional neural network classification of pretreatment biopsies |
| CN116168823A (zh) * | 2022-12-09 | 2023-05-26 | 深圳大学 | 基于pet/ct影像的肺癌全身检测方法及相关装置 |
| CN116630358B (zh) * | 2023-07-25 | 2023-09-26 | 潍坊医学院附属医院 | 一种脑部肿瘤ct影像的阈值分割方法 |
| CN117541797A (zh) * | 2023-12-21 | 2024-02-09 | 浙江飞图影像科技有限公司 | 用于胸部ct平扫的交互式三维支气管分割系统及方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8467856B2 (en) * | 2009-07-17 | 2013-06-18 | Koninklijke Philips Electronics N.V. | Anatomy modeling for tumor region of interest definition |
| US11361868B2 (en) * | 2017-08-16 | 2022-06-14 | The Johns Hopkins University | Abnormal tissue detection via modal upstream data fusion |
| CN111527467A (zh) * | 2017-11-02 | 2020-08-11 | 航空解决方案股份有限公司 | 使用机器学习、图像分析和/或计算机视觉自动限定计算机辅助设计文件的方法和装置 |
| US11551353B2 (en) * | 2017-11-22 | 2023-01-10 | Arterys Inc. | Content based image retrieval for lesion analysis |
| EP3537447A1 (en) * | 2018-03-07 | 2019-09-11 | Koninklijke Philips N.V. | Display of medical image data |
| US10762398B2 (en) * | 2018-04-30 | 2020-09-01 | Elekta Ab | Modality-agnostic method for medical image representation |
-
2020
- 2020-03-14 EP EP20718068.8A patent/EP3939002A1/en active Pending
- 2020-03-14 JP JP2021555453A patent/JP2022525198A/ja active Pending
- 2020-03-14 CN CN202080021150.4A patent/CN113711271A/zh active Pending
- 2020-03-14 WO PCT/US2020/022864 patent/WO2020190821A1/en active Application Filing
-
2021
- 2021-09-13 US US17/473,495 patent/US20210401392A1/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4332888A1 (en) | 2022-08-29 | 2024-03-06 | Fujitsu Limited | Lesion detection method and lesion detection program |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210401392A1 (en) | 2021-12-30 |
| WO2020190821A1 (en) | 2020-09-24 |
| CN113711271A (zh) | 2021-11-26 |
| EP3939002A1 (en) | 2022-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2022525198A (ja) | 陽電子放射断層撮影を用いた腫瘍セグメンテーションのための深層畳み込みニューラルネットワーク | |
| US11967072B2 (en) | Three-dimensional object segmentation of medical images localized with object detection | |
| Parvaiz et al. | Vision transformers in medical computer vision—A contemplative retrospection | |
| Liu et al. | Multi-view multi-scale CNNs for lung nodule type classification from CT images | |
| JP7179757B2 (ja) | ディープ畳み込みニューラルネットワークを使用した医用画像化のための線量低減 | |
| Caballo et al. | Deep learning-based segmentation of breast masses in dedicated breast CT imaging: Radiomic feature stability between radiologists and artificial intelligence | |
| Bi et al. | Automatic detection and classification of regions of FDG uptake in whole-body PET-CT lymphoma studies | |
| Xu et al. | Texture analysis on 18 F-FDG PET/CT images to differentiate malignant and benign bone and soft-tissue lesions | |
| Dey et al. | Soft computing based medical image analysis | |
| US20080021301A1 (en) | Methods and Apparatus for Volume Computer Assisted Reading Management and Review | |
| US11308611B2 (en) | Reducing false positive detections of malignant lesions using multi-parametric magnetic resonance imaging | |
| Hao et al. | Lung adenocarcinoma diagnosis in one stage | |
| Xiao et al. | A cascade and heterogeneous neural network for CT pulmonary nodule detection and its evaluation on both phantom and patient data | |
| Apostolopoulos et al. | Deep learning-enhanced nuclear medicine SPECT imaging applied to cardiac studies | |
| Pawełczyk et al. | Towards detecting high-uptake lesions from lung CT scans using deep learning | |
| JP2012504003A (ja) | コンピュータを用いて実行される障害検出方法及び装置 | |
| Jalab et al. | Fractional Renyi entropy image enhancement for deep segmentation of kidney MRI | |
| Xu et al. | Improved cascade R-CNN for medical images of pulmonary nodules detection combining dilated HRNet | |
| Garcia et al. | Multimodal breast parenchymal patterns correlation using a patient-specific biomechanical model | |
| Retico et al. | A voxel-based neural approach (VBNA) to identify lung nodules in the ANODE09 study | |
| Papandrianos et al. | Development of Convolutional Neural Networkbased models for bone metastasis classification in nuclear medicine | |
| Luu et al. | Automatic scan range for dose-reduced multiphase ct imaging of the liver utilizing cnns and gaussian models | |
| Yao et al. | Computer aided detection of lytic bone metastases in the spine using routine CT images | |
| Chan et al. | Computer-aided diagnosis of breast cancer with tomosynthesis imaging | |
| Bangara et al. | Tumor detection by color segmentation of PET/CT liver images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230314 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240507 |