JP2022536107A - 変形可能な層を有するＣｙｃｌｅＧＡＮを用いたｓＣＴ画像生成 - Google Patents
変形可能な層を有するＣｙｃｌｅＧＡＮを用いたｓＣＴ画像生成 Download PDFInfo
- Publication number
- JP2022536107A JP2022536107A JP2021572324A JP2021572324A JP2022536107A JP 2022536107 A JP2022536107 A JP 2022536107A JP 2021572324 A JP2021572324 A JP 2021572324A JP 2021572324 A JP2021572324 A JP 2021572324A JP 2022536107 A JP2022536107 A JP 2022536107A
- Authority
- JP
- Japan
- Prior art keywords
- image
- cbct
- images
- model
- sct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title description 34
- 238000007408 cone-beam computed tomography Methods 0.000 claims abstract description 352
- 238000002591 computed tomography Methods 0.000 claims abstract description 239
- 238000000034 method Methods 0.000 claims abstract description 113
- 238000012545 processing Methods 0.000 claims abstract description 101
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 172
- 230000006870 function Effects 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 40
- 238000003860 storage Methods 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 20
- 239000002131 composite material Substances 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012952 Resampling Methods 0.000 claims 1
- 238000001959 radiotherapy Methods 0.000 description 71
- 238000009826 distribution Methods 0.000 description 36
- 230000015654 memory Effects 0.000 description 30
- 230000005855 radiation Effects 0.000 description 30
- 210000003484 anatomy Anatomy 0.000 description 29
- 238000013459 approach Methods 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 21
- 230000000694 effects Effects 0.000 description 20
- 238000002595 magnetic resonance imaging Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 16
- 238000010801 machine learning Methods 0.000 description 16
- 238000013507 mapping Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 8
- 238000002560 therapeutic procedure Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000013439 planning Methods 0.000 description 6
- 230000001052 transient effect Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000002604 ultrasonography Methods 0.000 description 5
- 238000007476 Maximum Likelihood Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000002786 image-guided radiation therapy Methods 0.000 description 3
- 230000001337 psychedelic effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 239000003826 tablet Substances 0.000 description 3
- 238000012384 transportation and delivery Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013079 data visualisation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000012879 PET imaging Methods 0.000 description 1
- 108091071257 Phi family Proteins 0.000 description 1
- 239000011358 absorbing material Substances 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013502 data validation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 230000003400 hallucinatory effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010603 microCT Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 210000003240 portal vein Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 238000010791 quenching Methods 0.000 description 1
- 230000000171 quenching effect Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/424—Iterative
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Radiation-Therapy Devices (AREA)
Abstract
コーンビームコンピュータ断層撮影（ＣＢＣＴ）画像から合成のコンピュータ断層撮影（ｓＣＴ）画像を生成する技術を提供する。この技術は、被検体のＣＢＣＴ画像を受け取るステップと、生成モデルを使用して、ＣＢＣＴ画像に対応するｓＣＴ画像を生成するステップであって、生成モデルは、敵対的生成ネットワーク（ＧＡＮ）における１つまたはそれ以上の変形可能なオフセット層に基づいてトレーニングされ、ＣＢＣＴ画像を入力として処理し、ｓＣＴ画像を出力として提供するステップと、被検体の医療分析のために、ｓＣＴ画像の表示を生成するステップとを含む。【選択図】図６Ａ
Description
（優先権の主張）
［０００１］
本特許出願は、２０１９年６月６日に出願された米国仮出願第６２／８５８，１５６号明細書の優先権の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
［０００１］
本特許出願は、２０１９年６月６日に出願された米国仮出願第６２／８５８，１５６号明細書の優先権の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。
（技術分野）
［０００２］
本開示の実施形態は、一般に、コーンビームコンピュータ断層撮影（ＣＢＣＴ）撮像、コンピュータ断層撮影および人工知能処理技術に関する。特に、本開示は、ＣＢＣＴおよびコンピュータ断層撮影画像およびシステム操作で使用するために適合された敵対的生成ネットワーク（ＧＡＮ）におけるデータモデルの生成および使用に関する。
［０００２］
本開示の実施形態は、一般に、コーンビームコンピュータ断層撮影（ＣＢＣＴ）撮像、コンピュータ断層撮影および人工知能処理技術に関する。特に、本開示は、ＣＢＣＴおよびコンピュータ断層撮影画像およびシステム操作で使用するために適合された敵対的生成ネットワーク（ＧＡＮ）におけるデータモデルの生成および使用に関する。
［０００１］
Ｘ線コーンビームコンピュータ断層（ＣＢＣＴ）撮影は、放射線治療において、患者のセットアップや適応的な再計画のために使用されている。状況によっては、歯科用画像診断やインプラントの計画などの診断目的にもＣＢＣＴ撮影が採用されている。また、Ｘ線ＣＢＣＴ撮影は、マイクロコンピュータ断層撮影をはじめとする撮影関連の多くのアプリケーションに採用されている。しかし、ＣＢＣＴ画像の画質は、医学物理学者、医師、研究者が観察しているように、かなり低い。一般に、ＣＢＣＴ画像は、異なるタイプのアーチファクト（調査中の本物の物体（real object）には存在しない様々なタイプのノイズまたは再構成データ中の可視化された構造を含む）を含む可能性がある。
Ｘ線コーンビームコンピュータ断層（ＣＢＣＴ）撮影は、放射線治療において、患者のセットアップや適応的な再計画のために使用されている。状況によっては、歯科用画像診断やインプラントの計画などの診断目的にもＣＢＣＴ撮影が採用されている。また、Ｘ線ＣＢＣＴ撮影は、マイクロコンピュータ断層撮影をはじめとする撮影関連の多くのアプリケーションに採用されている。しかし、ＣＢＣＴ画像の画質は、医学物理学者、医師、研究者が観察しているように、かなり低い。一般に、ＣＢＣＴ画像は、異なるタイプのアーチファクト（調査中の本物の物体（real object）には存在しない様々なタイプのノイズまたは再構成データ中の可視化された構造を含む）を含む可能性がある。
［０００２］
ＣＢＣＴ画像中のアーチファクトやノイズは、適応的治療の再計画を妨害したり、診断に影響を与えたり、（画像のセグメンテーションのような）他の多くの画像処理ステップを困難にしたり、不可能にしたりする可能性がある。それぞれのアーチファクトは、１つまたはそれ以上の異なる要因によって引き起こされ得るので、異なる方法を用いて異なるアーチファクトを抑制する。放射線治療および他の臨床用途では、一般に、（毎日取得され得る）ＣＢＣＴ画像の他に、１つまたはそれ以上の他のコンピュータ断層（ＣＴ）画像データセットが（例えば、計画ＣＴ画像と）一緒に利用可能であり得る。一般的にＣＴ画像は、コントラストなどの情報がより正確で、アーチファクトが少ない画像品質の方がより高品質であるとされている。ＣＢＣＴ画像中のアーチファクトを低減するために、研究者は多くの研究を行い、いくつかの関連する手法を開発してきたが、現在のところ、一般的なアーチファクトのすべてまたは大部分を抑制することができる簡単で効率的な手法は存在していない。そのため、ＣＢＣＴ画像中のアーチファクトやノイズを抑制・除去するための、新規で効率的かつ簡便な手法の開発が求められている。
ＣＢＣＴ画像中のアーチファクトやノイズは、適応的治療の再計画を妨害したり、診断に影響を与えたり、（画像のセグメンテーションのような）他の多くの画像処理ステップを困難にしたり、不可能にしたりする可能性がある。それぞれのアーチファクトは、１つまたはそれ以上の異なる要因によって引き起こされ得るので、異なる方法を用いて異なるアーチファクトを抑制する。放射線治療および他の臨床用途では、一般に、（毎日取得され得る）ＣＢＣＴ画像の他に、１つまたはそれ以上の他のコンピュータ断層（ＣＴ）画像データセットが（例えば、計画ＣＴ画像と）一緒に利用可能であり得る。一般的にＣＴ画像は、コントラストなどの情報がより正確で、アーチファクトが少ない画像品質の方がより高品質であるとされている。ＣＢＣＴ画像中のアーチファクトを低減するために、研究者は多くの研究を行い、いくつかの関連する手法を開発してきたが、現在のところ、一般的なアーチファクトのすべてまたは大部分を抑制することができる簡単で効率的な手法は存在していない。そのため、ＣＢＣＴ画像中のアーチファクトやノイズを抑制・除去するための、新規で効率的かつ簡便な手法の開発が求められている。
［０００３］
本開示には、入力されたＣＢＣＴ画像に対応するか、それを代表する模擬のまたは合成のＣＴ（ｓＣＴ）画像を生成するために、人工知能（ＡＩ）処理技術を開発、訓練（トレーニング）、および利用する手順を含む。このようなＡＩ処理技術は、敵対的生成ネットワーク（ＧＡＮ）、サイクル敵対的生成ネットワーク（ＣｙｃｌｅＧＡＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、深層畳み込みニューラルネットワーク（ＤＣＮＮ）、変形可能な畳み込みネットワーク、変形可能なオフセット層、空間変換器ネットワーク、および他の形態の機械学習（ＭＬ）実装を含む。本開示は、具体的には、アーチファクトフリーまたは実質的にアーチファクトフリーのＣＢＣＴ画像または実質的にアーチファクトの数が減少したＣＢＣＴ画像を強化して生成するために、ペアのＣＢＣＴ画像および本物のＣＴ画像のモデルを学習するために、ＧＡＮまたはＣｙｃｌｅＧＡＮ内で動作する識別器モデルおよび生成器モデルの使用に関連したいくつかの例示的な例を含む。ＧＡＮまたはＣｙｃｌｅＧＡＮ（および他の開示されたＡＩおよびＭＬ技法）の一部としてのイメージングデータ（例えば、ＣＢＣＴ画像）の本明細書に記載された使用および分析は、様々な診断、評価、解釈、または治療の設定のために使用される他の医療ワークフローに組み込まれ得ることが明らかになるであろう。
本開示には、入力されたＣＢＣＴ画像に対応するか、それを代表する模擬のまたは合成のＣＴ（ｓＣＴ）画像を生成するために、人工知能（ＡＩ）処理技術を開発、訓練（トレーニング）、および利用する手順を含む。このようなＡＩ処理技術は、敵対的生成ネットワーク（ＧＡＮ）、サイクル敵対的生成ネットワーク（ＣｙｃｌｅＧＡＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、深層畳み込みニューラルネットワーク（ＤＣＮＮ）、変形可能な畳み込みネットワーク、変形可能なオフセット層、空間変換器ネットワーク、および他の形態の機械学習（ＭＬ）実装を含む。本開示は、具体的には、アーチファクトフリーまたは実質的にアーチファクトフリーのＣＢＣＴ画像または実質的にアーチファクトの数が減少したＣＢＣＴ画像を強化して生成するために、ペアのＣＢＣＴ画像および本物のＣＴ画像のモデルを学習するために、ＧＡＮまたはＣｙｃｌｅＧＡＮ内で動作する識別器モデルおよび生成器モデルの使用に関連したいくつかの例示的な例を含む。ＧＡＮまたはＣｙｃｌｅＧＡＮ（および他の開示されたＡＩおよびＭＬ技法）の一部としてのイメージングデータ（例えば、ＣＢＣＴ画像）の本明細書に記載された使用および分析は、様々な診断、評価、解釈、または治療の設定のために使用される他の医療ワークフローに組み込まれ得ることが明らかになるであろう。
［０００４］
いくつかの実施形態では、コーンビームコンピュータ断層撮影（ＣＢＣＴ）画像から合成のコンピュータ断層撮影（ｓＣＴ）画像を生成するための方法、システム、および一過性または非一過性のコンピュータ可読媒体が提供され、前記方法は、被検体（subject：被験体；被験者）のＣＢＣＴ画像を受け取るステップと、生成モデルを使用して、前記ＣＢＣＴ画像に対応するｓＣＴ画像を生成するステップであって、前記生成モデルは、敵対的生成ネットワーク（ＧＡＮ）における１つまたはそれ以上の変形可能なオフセット層に基づいてトレーニングされ、前記ＣＢＣＴ画像を入力として処理し、前記ｓＣＴ画像を出力として提供するステップと、前記被検体の医療分析のために、前記ｓＣＴ画像の表示を生成するステップとを有する。
いくつかの実施形態では、コーンビームコンピュータ断層撮影（ＣＢＣＴ）画像から合成のコンピュータ断層撮影（ｓＣＴ）画像を生成するための方法、システム、および一過性または非一過性のコンピュータ可読媒体が提供され、前記方法は、被検体（subject：被験体；被験者）のＣＢＣＴ画像を受け取るステップと、生成モデルを使用して、前記ＣＢＣＴ画像に対応するｓＣＴ画像を生成するステップであって、前記生成モデルは、敵対的生成ネットワーク（ＧＡＮ）における１つまたはそれ以上の変形可能なオフセット層に基づいてトレーニングされ、前記ＣＢＣＴ画像を入力として処理し、前記ｓＣＴ画像を出力として提供するステップと、前記被検体の医療分析のために、前記ｓＣＴ画像の表示を生成するステップとを有する。
［０００５］
いくつかの実装では、前記敵対的生成ネットワークは、識別モデルを使用して前記生成モデルをトレーニングするように構成され、前記生成モデルおよび前記識別モデルによって適用される値が、前記識別モデルと前記生成モデルの間の敵対的トレーニングを使用して確立され、前記生成モデルと前記識別モデルは、それぞれ畳み込みニューラルネットワークを有する。
いくつかの実装では、前記敵対的生成ネットワークは、識別モデルを使用して前記生成モデルをトレーニングするように構成され、前記生成モデルおよび前記識別モデルによって適用される値が、前記識別モデルと前記生成モデルの間の敵対的トレーニングを使用して確立され、前記生成モデルと前記識別モデルは、それぞれ畳み込みニューラルネットワークを有する。
［０００６］
いくつかの実装では、前記敵対的トレーニングは、与えられたＣＢＣＴ画像に前記１つまたはそれ以上の変形可能なオフセット層の第１のセットを適用することにより、前記与えられたＣＢＣＴ画像から第１のｓＣＴ画像を生成するために、前記生成モデルをトレーニングするステップと、前記与えられたＣＢＣＴ画像に前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを適用することなく、前記与えられたＣＢＣＴ画像から第２のｓＣＴ画像を生成するために、前記生成モデルをトレーニングするステップと、前記第１のｓＣＴ画像を合成のまたは本物のコンピュータ断層撮影（ＣＴ）画像として分類するために前記識別モデルをトレーニングするステップとを有し、前記生成モデルの出力は、前記識別モデルをトレーニングするために使用され、前記識別モデルの出力は、前記生成モデルをトレーニングするために使用される。
いくつかの実装では、前記敵対的トレーニングは、与えられたＣＢＣＴ画像に前記１つまたはそれ以上の変形可能なオフセット層の第１のセットを適用することにより、前記与えられたＣＢＣＴ画像から第１のｓＣＴ画像を生成するために、前記生成モデルをトレーニングするステップと、前記与えられたＣＢＣＴ画像に前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを適用することなく、前記与えられたＣＢＣＴ画像から第２のｓＣＴ画像を生成するために、前記生成モデルをトレーニングするステップと、前記第１のｓＣＴ画像を合成のまたは本物のコンピュータ断層撮影（ＣＴ）画像として分類するために前記識別モデルをトレーニングするステップとを有し、前記生成モデルの出力は、前記識別モデルをトレーニングするために使用され、前記識別モデルの出力は、前記生成モデルをトレーニングするために使用される。
［０００７］
いくつかの実装では、前記ＧＡＮは、前記生成モデルと前記識別モデルを有するサイクル敵対的生成ネットワーク（ＣｙｃｌｅＧＡＮ）を用いてトレーニングされ、前記生成モデルは、第１の生成モデルであり、前記識別モデルは、第１の識別モデルであり、前記ＣｙｃｌｅＧＡＮは、与えられたＣＴ画像を入力として処理し、前記１つまたはそれ以上の変形可能なオフセット層の第２のセットを前記与えられたＣＴ画像に適用することにより、第１の合成の（ｓＣＢＣＴ）画像を出力として提供し、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットを前記与えられたＣＴ画像に適用することなく、第２の合成の（ｓＣＢＣＴ）画像を出力として提供するようにトレーニングされた第２の生成モデルと、前記第１の合成のｓＣＢＣＴ画像を、合成のまたは本物のＣＢＣＴ画像として分類するようにトレーニングされた第２の識別モデルとを有する。
いくつかの実装では、前記ＧＡＮは、前記生成モデルと前記識別モデルを有するサイクル敵対的生成ネットワーク（ＣｙｃｌｅＧＡＮ）を用いてトレーニングされ、前記生成モデルは、第１の生成モデルであり、前記識別モデルは、第１の識別モデルであり、前記ＣｙｃｌｅＧＡＮは、与えられたＣＴ画像を入力として処理し、前記１つまたはそれ以上の変形可能なオフセット層の第２のセットを前記与えられたＣＴ画像に適用することにより、第１の合成の（ｓＣＢＣＴ）画像を出力として提供し、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットを前記与えられたＣＴ画像に適用することなく、第２の合成の（ｓＣＢＣＴ）画像を出力として提供するようにトレーニングされた第２の生成モデルと、前記第１の合成のｓＣＢＣＴ画像を、合成のまたは本物のＣＢＣＴ画像として分類するようにトレーニングされた第２の識別モデルとを有する。
［０００８］
いくつかの実装では、前記ＣｙｃｌｅＧＡＮは、第１の生成モデルをトレーニングするための第１の部分を有し、前記第１の生成モデルは、第１および第２の入力インターフェースと第１の共有生成器部を含み、前記第２の生成モデルは、第３および第４の入力インターフェースと第２の共有生成器部を含み、前記第１の部分は、本物のＣＴ画像とペアになったトレーニングＣＢＣＴ画像を取得し、前記トレーニングＣＢＣＴ画像を、第１のパスおよび第２のパスを介して前記第１の生成モデルの入力に送信して、前記第１のｓＣＴ画像および前記第２のｓＣＴ画像をそれぞれ出力し、前記第１のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットと、１つまたはそれ以上の畳み込み層の第１のセットとを含む、前記第１の入力インターフェースを有し、前記第２のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを含まず、前記１つまたはそれ以上の畳み込み層を含む、第２の入力インターフェースを有し、前記第１の識別モデルの入力で前記第１のｓＣＴ画像を受け取り、前記第１のｓＣＴ画像を前記合成のまたは本物のＣＴ画像に分類し、前記第２の生成モデルの入力で第１のｓＣＴ画像および第２のｓＣＴ画像を第３のパスおよび第４のパスを介して受け取り、サイクル－コンシステンシー（cycle-consistency）損失を計算するために第１のサイクルＣＢＣＴ画像および第２のサイクルＣＢＣＴ画像をそれぞれ生成し、前記第３のパスは、前記１つまたはそれ以上の変形可能なオフセット層の第２のセットと、前記１つまたはそれ以上の畳み込み層の第２のセットとを含む前記第３の入力インターフェースを有し、前記第４のパスは、前記１つまたはそれ以上の変形可能なオフセット層の第２のセットを含まず、前記１つまたはそれ以上の畳み込み層の第２のセットを含む前記第４の入力インターフェースを有するようにトレーニングされている。
いくつかの実装では、前記ＣｙｃｌｅＧＡＮは、第１の生成モデルをトレーニングするための第１の部分を有し、前記第１の生成モデルは、第１および第２の入力インターフェースと第１の共有生成器部を含み、前記第２の生成モデルは、第３および第４の入力インターフェースと第２の共有生成器部を含み、前記第１の部分は、本物のＣＴ画像とペアになったトレーニングＣＢＣＴ画像を取得し、前記トレーニングＣＢＣＴ画像を、第１のパスおよび第２のパスを介して前記第１の生成モデルの入力に送信して、前記第１のｓＣＴ画像および前記第２のｓＣＴ画像をそれぞれ出力し、前記第１のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットと、１つまたはそれ以上の畳み込み層の第１のセットとを含む、前記第１の入力インターフェースを有し、前記第２のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを含まず、前記１つまたはそれ以上の畳み込み層を含む、第２の入力インターフェースを有し、前記第１の識別モデルの入力で前記第１のｓＣＴ画像を受け取り、前記第１のｓＣＴ画像を前記合成のまたは本物のＣＴ画像に分類し、前記第２の生成モデルの入力で第１のｓＣＴ画像および第２のｓＣＴ画像を第３のパスおよび第４のパスを介して受け取り、サイクル－コンシステンシー（cycle-consistency）損失を計算するために第１のサイクルＣＢＣＴ画像および第２のサイクルＣＢＣＴ画像をそれぞれ生成し、前記第３のパスは、前記１つまたはそれ以上の変形可能なオフセット層の第２のセットと、前記１つまたはそれ以上の畳み込み層の第２のセットとを含む前記第３の入力インターフェースを有し、前記第４のパスは、前記１つまたはそれ以上の変形可能なオフセット層の第２のセットを含まず、前記１つまたはそれ以上の畳み込み層の第２のセットを含む前記第４の入力インターフェースを有するようにトレーニングされている。
［０００９］
いくつかの実装では、前記ＣｙｃｌｅＧＡＮは、第２の部分を有し、前記第２の部分は、前記本物のＣＴ画像を、第５のパスおよび第６のパスを介して前記第２の生成モデルの前記入力に送信して第１の合成のＣＢＣＴ画像および第２の合成のＣＢＣＴ画像をそれぞれ出力し、前記第５のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットと、前記１つまたはそれ以上の畳み込み層の前記第２のセットとを含む第３の入力インターフェースを有し、前記第６のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットを含まず、前記１つまたはそれ以上の畳み込み層の前記第２のセットを含む第４の入力インターフェースを有し、前記第２の識別モデルの前記入力で前記第１の合成のＣＢＣＴ画像を受け取り、前記第１の合成のＣＢＣＴ画像を合成のまたは本物のＣＢＣＴ画像として分類し、前記第１の合成のＣＢＣＴ画像および前記第２の合成のＣＢＣＴ画像を、第７のパスおよび第８のパスを介して、前記第１の生成モデルの前記入力で受け取り、サイクル－コンシステンシー損失を計算するための第１のサイクルＣＴ画像および第２のサイクルＣＴ画像を生成し、前記第７のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットと、前記１つまたはそれ以上の畳み込み層の前記第１のセットとを含む前記第１の入力インターフェースを有し、前記第８のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを含まず、前記１つまたはそれ以上の畳み込み層の前記第１のセットを含む前記第２の入力インターフェースを有するようにトレーニングされている。
いくつかの実装では、前記ＣｙｃｌｅＧＡＮは、第２の部分を有し、前記第２の部分は、前記本物のＣＴ画像を、第５のパスおよび第６のパスを介して前記第２の生成モデルの前記入力に送信して第１の合成のＣＢＣＴ画像および第２の合成のＣＢＣＴ画像をそれぞれ出力し、前記第５のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットと、前記１つまたはそれ以上の畳み込み層の前記第２のセットとを含む第３の入力インターフェースを有し、前記第６のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットを含まず、前記１つまたはそれ以上の畳み込み層の前記第２のセットを含む第４の入力インターフェースを有し、前記第２の識別モデルの前記入力で前記第１の合成のＣＢＣＴ画像を受け取り、前記第１の合成のＣＢＣＴ画像を合成のまたは本物のＣＢＣＴ画像として分類し、前記第１の合成のＣＢＣＴ画像および前記第２の合成のＣＢＣＴ画像を、第７のパスおよび第８のパスを介して、前記第１の生成モデルの前記入力で受け取り、サイクル－コンシステンシー損失を計算するための第１のサイクルＣＴ画像および第２のサイクルＣＴ画像を生成し、前記第７のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットと、前記１つまたはそれ以上の畳み込み層の前記第１のセットとを含む前記第１の入力インターフェースを有し、前記第８のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを含まず、前記１つまたはそれ以上の畳み込み層の前記第１のセットを含む前記第２の入力インターフェースを有するようにトレーニングされている。
［００１０］
いくつかの実装では、前記サイクル－コンシステンシー損失は、前記第１のサイクルＣＢＣＴ画像および前記第２のサイクルＣＢＣＴ画像と前記トレーニングＣＢＣＴ画像との比較と、前記第１のサイクルＣＴ画像および前記第２のサイクルＣＴ画像と前記本物のＣＴ画像との比較とに基づいて生成され、前記第１の生成モデルは、前記第２のｓＣＴ画像を用いて第１のピクセルベースの損失項を最小化または低減するようにトレーニングされ、前記第１のピクセルベースの損失項は、複数の合成のＣＴ画像と、それぞれペアになった本物のＣＴ画像との間の差の期待値を表し、前記第２の生成モデルは、前記第２の合成の（ｓＣＢＣＴ）画像を用いて、第２のピクセルベースの損失項を最小化または低減するようにトレーニングされ、前記第２のピクセルベースの損失項は、複数の合成のＣＢＣＴ画像と、それぞれペアになった本物のＣＢＣＴ画像との間の差の期待値を表す。
いくつかの実装では、前記サイクル－コンシステンシー損失は、前記第１のサイクルＣＢＣＴ画像および前記第２のサイクルＣＢＣＴ画像と前記トレーニングＣＢＣＴ画像との比較と、前記第１のサイクルＣＴ画像および前記第２のサイクルＣＴ画像と前記本物のＣＴ画像との比較とに基づいて生成され、前記第１の生成モデルは、前記第２のｓＣＴ画像を用いて第１のピクセルベースの損失項を最小化または低減するようにトレーニングされ、前記第１のピクセルベースの損失項は、複数の合成のＣＴ画像と、それぞれペアになった本物のＣＴ画像との間の差の期待値を表し、前記第２の生成モデルは、前記第２の合成の（ｓＣＢＣＴ）画像を用いて、第２のピクセルベースの損失項を最小化または低減するようにトレーニングされ、前記第２のピクセルベースの損失項は、複数の合成のＣＢＣＴ画像と、それぞれペアになった本物のＣＢＣＴ画像との間の差の期待値を表す。
［００１１］
いくつかの実装では、前記ＣｙｃｌｅＧＡＮは、前記第１ピクセルベースの損失項および第２のピクセルベースの損失項にメトリックを適用するようにトレーニングされ、前記メトリックは、ＣＢＣＴ画像と本物のＣＴ画像のペアと同じサイズを有するマップに基づいて生成され、前記マップの各ピクセル値は、与えられたＣＢＣＴ画像と、前記与えられたＣＢＣＴ画像とペアになっている与えられた本物のＣＴ画像との間の類似性レベルを表し、前記ＣｙｃｌｅＧＡＮは、前記メトリックに閾値を適用するようにトレーニングされ、前記類似性レベルが前記閾値を超えたときには、前記メトリックが前記第１のピクセルベースの損失項および第２のピクセルベースの損失項に適用され、そうでないときには、ゼロ値が前記第１のピクセルベースの損失項および第２のピクセルベースの損失項に適用される。
いくつかの実装では、前記ＣｙｃｌｅＧＡＮは、前記第１ピクセルベースの損失項および第２のピクセルベースの損失項にメトリックを適用するようにトレーニングされ、前記メトリックは、ＣＢＣＴ画像と本物のＣＴ画像のペアと同じサイズを有するマップに基づいて生成され、前記マップの各ピクセル値は、与えられたＣＢＣＴ画像と、前記与えられたＣＢＣＴ画像とペアになっている与えられた本物のＣＴ画像との間の類似性レベルを表し、前記ＣｙｃｌｅＧＡＮは、前記メトリックに閾値を適用するようにトレーニングされ、前記類似性レベルが前記閾値を超えたときには、前記メトリックが前記第１のピクセルベースの損失項および第２のピクセルベースの損失項に適用され、そうでないときには、ゼロ値が前記第１のピクセルベースの損失項および第２のピクセルベースの損失項に適用される。
［００１２］
いくつかの実装では、前記ＣｙｃｌｅＧＡＮは、複数のメトリックのうちの１つを前記第１のピクセルベースの損失項および前記第２のピクセルベースの損失項に適用するようにトレーニングされ、前記メトリックは、異なる画像解像度またはビューレベルでの前記ペアのＣＢＣＴ画像およびＣＴ画像のローのパスフィルタリングおよびダウンサンプリングを用いて生成される。
いくつかの実装では、前記ＣｙｃｌｅＧＡＮは、複数のメトリックのうちの１つを前記第１のピクセルベースの損失項および前記第２のピクセルベースの損失項に適用するようにトレーニングされ、前記メトリックは、異なる画像解像度またはビューレベルでの前記ペアのＣＢＣＴ画像およびＣＴ画像のローのパスフィルタリングおよびダウンサンプリングを用いて生成される。
［００１３］
いくつかの実装では、前記１つまたはそれ以上の変形可能なオフセット層は、前記敵対的トレーニングに基づいてトレーニングされ、前記ペアになったＣＢＣＴ画像およびＣＴ画像の間の変形した構造情報を保存または吸収するために、サンプリング量を変更し、座標オフセットを導入し、補間を用いて画像を再サンプリングする。
いくつかの実装では、前記１つまたはそれ以上の変形可能なオフセット層は、前記敵対的トレーニングに基づいてトレーニングされ、前記ペアになったＣＢＣＴ画像およびＣＴ画像の間の変形した構造情報を保存または吸収するために、サンプリング量を変更し、座標オフセットを導入し、補間を用いて画像を再サンプリングする。
［００１４］
いくつかの実施形態では、コーンビームコンピュータ断層撮影（ＣＢＣＴ）画像から合成のコンピュータ断層撮影（ｓＣＴ）画像を生成するために、モデルをトレーニングするための方法、システム、および一過性または非一過性のコンピュータ可読媒体が提供され、前記方法は、被検体のＣＢＣＴ画像を生成モデルの入力として受け取るステップと、前記生成モデルを、第１および第２のパスを介して、生成的敵対ネットワーク（ＧＡＮ）内でトレーニングし、前記ＣＢＣＴ画像を処理して、前記生成モデルの出力として、前記ＣＢＣＴ画像に対応する第１の合成のコンピュータ断層撮影（ｓＣＴ）画像および第２の合成のコンピュータ断層撮影（ｓＣＴ）画像を提供するステップであって、前記第１のパスは、１つまたはそれ以上の変形可能なオフセット層の第１のセットと、１つまたはそれ以上の畳み込み層の第１のセットを含み、前記第２のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを含まず、前記１つまたはそれ以上の畳み込み層の前記第１のセットを含むステップとを有する。
いくつかの実施形態では、コーンビームコンピュータ断層撮影（ＣＢＣＴ）画像から合成のコンピュータ断層撮影（ｓＣＴ）画像を生成するために、モデルをトレーニングするための方法、システム、および一過性または非一過性のコンピュータ可読媒体が提供され、前記方法は、被検体のＣＢＣＴ画像を生成モデルの入力として受け取るステップと、前記生成モデルを、第１および第２のパスを介して、生成的敵対ネットワーク（ＧＡＮ）内でトレーニングし、前記ＣＢＣＴ画像を処理して、前記生成モデルの出力として、前記ＣＢＣＴ画像に対応する第１の合成のコンピュータ断層撮影（ｓＣＴ）画像および第２の合成のコンピュータ断層撮影（ｓＣＴ）画像を提供するステップであって、前記第１のパスは、１つまたはそれ以上の変形可能なオフセット層の第１のセットと、１つまたはそれ以上の畳み込み層の第１のセットを含み、前記第２のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを含まず、前記１つまたはそれ以上の畳み込み層の前記第１のセットを含むステップとを有する。
［００１５］
いくつかの実装では、前記ＧＡＮは、前記生成モデルと識別モデルを有するサイクル敵対的生成ネットワーク（ＣｙｃｌｅＧＡＮ）を用いてトレーニングされ、前記生成モデルは、第１の生成モデルであり、前記識別モデルは、第１の識別モデルであり、前記方法は、第２の生成モデルをトレーニングして、生成された第１のｓＣＴ画像および第２のｓＣＴ画像を入力として処理し、第３のパスおよび第４のパスを介して、第１のサイクルＣＢＣＴ画像および第２のサイクルＣＢＣＴ画像をそれぞれ出力として提供するステップであって、前記第３のパスは、前記１つまたはそれ以上の変形可能なオフセット層の第２のセットと、前記１つまたはそれ以上の畳み込み層の第２のセットとを含み、前記第４のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットを含まずに、前記１つまたはそれ以上の畳み込み層の第２のセットを含むステップと、前記第１のサイクルＣＢＣＴ画像を合成のＣＢＣＴ画像または本物のＣＢＣＴ画像として分類するために第２の識別モデルをトレーニングするステップとを更に有する。
いくつかの実装では、前記ＧＡＮは、前記生成モデルと識別モデルを有するサイクル敵対的生成ネットワーク（ＣｙｃｌｅＧＡＮ）を用いてトレーニングされ、前記生成モデルは、第１の生成モデルであり、前記識別モデルは、第１の識別モデルであり、前記方法は、第２の生成モデルをトレーニングして、生成された第１のｓＣＴ画像および第２のｓＣＴ画像を入力として処理し、第３のパスおよび第４のパスを介して、第１のサイクルＣＢＣＴ画像および第２のサイクルＣＢＣＴ画像をそれぞれ出力として提供するステップであって、前記第３のパスは、前記１つまたはそれ以上の変形可能なオフセット層の第２のセットと、前記１つまたはそれ以上の畳み込み層の第２のセットとを含み、前記第４のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットを含まずに、前記１つまたはそれ以上の畳み込み層の第２のセットを含むステップと、前記第１のサイクルＣＢＣＴ画像を合成のＣＢＣＴ画像または本物のＣＢＣＴ画像として分類するために第２の識別モデルをトレーニングするステップとを更に有する。
［００１６］
いくつかの実装では、前記ＣｙｃｌｅＧＡＮは、前記第１の生成モデルをトレーニングするための第１の部分および第２の部分を有し、前記方法は、本物のＣＴ画像とペアになったトレーニングＣＢＣＴ画像を獲得するステップと、前記トレーニングＣＢＣＴ画像を、前記第１のパスおよび第２のパスを介して、前記第１の生成モデルの前記入力に送信し、前記第１の合成のＣＴ画像および第２の合成のＣＴ画像を出力するステップと、前記第１の識別モデルの前記入力で、前記第１の合成のＣＴ画像を受け取るステップと、前記第１の識別モデルを用いて、前記第１の合成のＣＴ画像を合成のＣＴ画像または本物のＣＴ画像として分類するステップと、前記第２の生成モデルの前記入力で、前記第３のパスおよび第４のパスを介して、前記第１の合成のＣＴ画像および第２の合成のＣＴ画像を受け取り、サイクル－コンシステンシー損失を計算するための前記第１のサイクルＣＢＣＴ画像および第２のサイクルＣＢＣＴ画像を生成するステップと、前記本物のＣＴ画像を、第５のパスおよび第６のパスを介して、前記第２の生成モデルの前記入力に送信して、前記第１の合成のトレーニングＣＢＣＴ画像および第２の合成のトレーニングＣＢＣＴ画像を出力するステップであって、前記第５のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットと、前記１つまたはそれ以上の畳み込み層の前記第２のセットとを含み、前記第６のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットを含まずに、前記１つまたはそれ以上の畳み込み層の前記第２のセットを含むステップと、前記第２の識別モデルの前記入力に、前記第１の合成のトレーニングＣＢＣＴ画像を受け取るステップと、前記第２の識別モデルを用いて、前記第１の合成のトレーニングＣＢＣＴ画像を合成のＣＢＣＴ画像または本物のＣＢＣＴ画像として分類するステップと、前記第１の生成モデルの入力で、前記第１の合成のＣＢＣＴ画像および第２の合成のＣＢＣＴ画像を、第７のパスおよび第８のパスを介して受け取り、サイクル－コンシステンシー損失を計算するために第１のサイクルＣＴ画像および第２のサイクルＣＴ画像を生成するステップであって、前記第７のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットと、前記１つまたはそれ以上の畳み込み層の前記第１のセットとを含み、第８のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを含まず、前記１つまたはそれ以上の畳み込み層の前記第１のセットを含むステップと、前記第２のｓＣＴ画像を用いて、第１のピクセルベースの損失項を最小化または低減するように前記第１の生成モデルをトレーニングするステップであって、前記第１のピクセルベースの損失項は、複数の合成のＣＴ画像と、それぞれペアになった本物のＣＴ画像との間の差の期待値を表すステップと、前記第２の合成の（ｓＣＢＣＴ）画像を用いて、第２のピクセルベースの損失を最小化または低減するように、前記第２の生成モデルをトレーニングするステップであって、前記第２のピクセルベースの損失項は、複数の合成のＣＢＣＴ画像と、それぞれペアになった本物のＣＢＣＴ画像との間の差の期待値を表すステップとを更に有する。
いくつかの実装では、前記ＣｙｃｌｅＧＡＮは、前記第１の生成モデルをトレーニングするための第１の部分および第２の部分を有し、前記方法は、本物のＣＴ画像とペアになったトレーニングＣＢＣＴ画像を獲得するステップと、前記トレーニングＣＢＣＴ画像を、前記第１のパスおよび第２のパスを介して、前記第１の生成モデルの前記入力に送信し、前記第１の合成のＣＴ画像および第２の合成のＣＴ画像を出力するステップと、前記第１の識別モデルの前記入力で、前記第１の合成のＣＴ画像を受け取るステップと、前記第１の識別モデルを用いて、前記第１の合成のＣＴ画像を合成のＣＴ画像または本物のＣＴ画像として分類するステップと、前記第２の生成モデルの前記入力で、前記第３のパスおよび第４のパスを介して、前記第１の合成のＣＴ画像および第２の合成のＣＴ画像を受け取り、サイクル－コンシステンシー損失を計算するための前記第１のサイクルＣＢＣＴ画像および第２のサイクルＣＢＣＴ画像を生成するステップと、前記本物のＣＴ画像を、第５のパスおよび第６のパスを介して、前記第２の生成モデルの前記入力に送信して、前記第１の合成のトレーニングＣＢＣＴ画像および第２の合成のトレーニングＣＢＣＴ画像を出力するステップであって、前記第５のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットと、前記１つまたはそれ以上の畳み込み層の前記第２のセットとを含み、前記第６のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットを含まずに、前記１つまたはそれ以上の畳み込み層の前記第２のセットを含むステップと、前記第２の識別モデルの前記入力に、前記第１の合成のトレーニングＣＢＣＴ画像を受け取るステップと、前記第２の識別モデルを用いて、前記第１の合成のトレーニングＣＢＣＴ画像を合成のＣＢＣＴ画像または本物のＣＢＣＴ画像として分類するステップと、前記第１の生成モデルの入力で、前記第１の合成のＣＢＣＴ画像および第２の合成のＣＢＣＴ画像を、第７のパスおよび第８のパスを介して受け取り、サイクル－コンシステンシー損失を計算するために第１のサイクルＣＴ画像および第２のサイクルＣＴ画像を生成するステップであって、前記第７のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットと、前記１つまたはそれ以上の畳み込み層の前記第１のセットとを含み、第８のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを含まず、前記１つまたはそれ以上の畳み込み層の前記第１のセットを含むステップと、前記第２のｓＣＴ画像を用いて、第１のピクセルベースの損失項を最小化または低減するように前記第１の生成モデルをトレーニングするステップであって、前記第１のピクセルベースの損失項は、複数の合成のＣＴ画像と、それぞれペアになった本物のＣＴ画像との間の差の期待値を表すステップと、前記第２の合成の（ｓＣＢＣＴ）画像を用いて、第２のピクセルベースの損失を最小化または低減するように、前記第２の生成モデルをトレーニングするステップであって、前記第２のピクセルベースの損失項は、複数の合成のＣＢＣＴ画像と、それぞれペアになった本物のＣＢＣＴ画像との間の差の期待値を表すステップとを更に有する。
［００１７］
上記の概要は、本特許出願の主題の概要を提供することを目的としている。本発明の主題の排他的または網羅的な説明を提供することを意図したものではない。発明の詳細な説明は、本特許出願に関する更なる情報を提供するために含まれる。
上記の概要は、本特許出願の主題の概要を提供することを目的としている。本発明の主題の排他的または網羅的な説明を提供することを意図したものではない。発明の詳細な説明は、本特許出願に関する更なる情報を提供するために含まれる。
［００１８］
必ずしも縮尺で描かれていない図面において、同様の数字は、いくつかの図面全体にわたって実質的に類似した構成要素を表す。異なる文字の接尾辞を持つ数字のようなものは、実質的に類似した構成要素の異なる実例を表す。図面は、本明細書で論じられている様々な実施形態を一般的に例示しているが、これに限定されるものではない。
必ずしも縮尺で描かれていない図面において、同様の数字は、いくつかの図面全体にわたって実質的に類似した構成要素を表す。異なる文字の接尾辞を持つ数字のようなものは、実質的に類似した構成要素の異なる実例を表す。図面は、本明細書で論じられている様々な実施形態を一般的に例示しているが、これに限定されるものではない。
［００１９］
図１は、いくつかの実施例による治療計画生成処理を実行するために適合された例示的な放射線治療システムを示す。
［００２０］
図２Ａ及び図２Ｂは、本開示のいくつかの実施例による例示的な画像誘導放射線治療装置を示す。
［００２１］
図３Ａ及び図３Ｂは、本開示のいくつかの実施例による、受け取られたＣＢＣＴ画像からｓＣＴ画像を生成および識別するために適合した例示的な畳み込みニューラルネットワークモデルを示す。
［００２２］
図４は、本開示のいくつかの実施例による、受け取られたＣＢＣＴ画像からｓＣＴ画像を生成するために適合された敵対的生成ネットワークのトレーニングおよび使用のための例示的なデータフローを示す。
［００２３］
図５は、本開示のいくつかの実施例による、受け取られたＣＢＣＴ画像からｓＣＴ画像を生成するための生成的逆境ネットワークのトレーニングを示す。
［００２４］
図６Ａ乃至図６Ｄは、本開示のいくつかの例による、受信したＣＢＣＴ画像からｓＣＴ画像を生成するためのサイクル生成敵対ネットワークのトレーニングおよび使用を示す図である。
［００２５］
図７は、本開示のいくつかの実施例による、受け取られたＣＢＣＴ画像からのｓＣＴ画像のトレーニングおよび生成に関連して使用される解剖学的領域情報および入力画像のバリエーションを示す。
［００２６］
図８は、本開示のいくつかの実施例による、受け取られたＣＢＣＴ画像からｓＣＴ画像を出力するために適合された生成モデルをトレーニングするための例示的な操作のフローチャートを示す。
［００２７］
本開示は、ｓＣＴ画像（受け取ったＣＢＣＴ画像を表す合成または模擬（シミュレーション）のＣＴ画像）を生成することによってＣＢＣＴ画像を改善および強化するための様々な技術を含み、ＣＢＣＴ画像を改善するための手動（例えば、人間が指示した、人間にアシストされた、または人間にガイドされた）および従来のアプローチよりも技術的な利点を提供する方法を含む。これらの技術的利点には、強化されたＣＢＣＴ画像またはｓＣＴ画像を生成するためのコンピューティング処理時間の短縮、ＣＢＣＴ画像中のアーチファクトの除去、および強化されたＣＢＣＴ画像、更には、ＣＢＣＴ画像およびｓＣＴ画像の生成および強化に使用される処理、メモリ、およびネットワークリソースの改善が含まれる。これらの改善されたＣＢＣＴ画像またはｓＣＴ画像は、このような改善されたＣＢＣＴ画像またはｓＣＴ画像を支援するためにデータを管理するデータ管理、可視化および制御システムの改善に加えて、様々な医療および診断の設定およびそのような設定で使用される情報技術システムに適用することができる。したがって、本技術は、これらの技術的利点に加えて、多くの見かけ上の医療上の利点（放射線治療の治療精度の向上、意図しない放射線への被曝の低減などを含む）をもたらす可能性がある。
本開示は、ｓＣＴ画像（受け取ったＣＢＣＴ画像を表す合成または模擬（シミュレーション）のＣＴ画像）を生成することによってＣＢＣＴ画像を改善および強化するための様々な技術を含み、ＣＢＣＴ画像を改善するための手動（例えば、人間が指示した、人間にアシストされた、または人間にガイドされた）および従来のアプローチよりも技術的な利点を提供する方法を含む。これらの技術的利点には、強化されたＣＢＣＴ画像またはｓＣＴ画像を生成するためのコンピューティング処理時間の短縮、ＣＢＣＴ画像中のアーチファクトの除去、および強化されたＣＢＣＴ画像、更には、ＣＢＣＴ画像およびｓＣＴ画像の生成および強化に使用される処理、メモリ、およびネットワークリソースの改善が含まれる。これらの改善されたＣＢＣＴ画像またはｓＣＴ画像は、このような改善されたＣＢＣＴ画像またはｓＣＴ画像を支援するためにデータを管理するデータ管理、可視化および制御システムの改善に加えて、様々な医療および診断の設定およびそのような設定で使用される情報技術システムに適用することができる。したがって、本技術は、これらの技術的利点に加えて、多くの見かけ上の医療上の利点（放射線治療の治療精度の向上、意図しない放射線への被曝の低減などを含む）をもたらす可能性がある。
［００２８］
本明細書でさらに議論されるように、教師付き人工知能（ＡＩ）機械学習の一形態である敵対的生成ネットワーク（ＧＡＮ）の以下の使用および展開は、学習モデルを介してｓＣＴ画像を生成することにより、ＣＢＣＴ画像の精度および有用性の向上を可能にする。一実施例では、本技術は、（例えば、人間の被検体の）入力されたＣＢＣＴ画像に対応する合成の（synthetic）ＣＴ画像を出力し、本物の（real：本物の）、真実の（true：真の）、または現実の（actual）ＣＴ画像データと一致する、または匹敵する精度を有するピクセル値を含むことができる（そのようなＣＴ画像は、全体を通して、本物の、真実の、または現実のＣＴ画像と称されることがある）。また、本明細書で議論される学習モデルは、元の低画像品質のＣＢＣＴ画像から優れた高画像品質の合成のＣＴ画像（ｓＣＴ）を生成することができる。このようなｓＣＴ画像は、元のＣＢＣＴ画像内の解剖学的構造を保存し、正確で正しいＨＵ値を有する高画質を得るために、全てまたは実質的に全ての散乱、ストリーキングアーテファクトおよび他のノイズアーチファクトを取り除く、または除去することができる。ｓＣＴ画像は、リアルタイムにオンザフライで生成することができる（例えば、開示されたモデルは、ＣＢＣＴ画像を受け取ると、ＣＢＣＴ画像を生成し、増強することができる）。
本明細書でさらに議論されるように、教師付き人工知能（ＡＩ）機械学習の一形態である敵対的生成ネットワーク（ＧＡＮ）の以下の使用および展開は、学習モデルを介してｓＣＴ画像を生成することにより、ＣＢＣＴ画像の精度および有用性の向上を可能にする。一実施例では、本技術は、（例えば、人間の被検体の）入力されたＣＢＣＴ画像に対応する合成の（synthetic）ＣＴ画像を出力し、本物の（real：本物の）、真実の（true：真の）、または現実の（actual）ＣＴ画像データと一致する、または匹敵する精度を有するピクセル値を含むことができる（そのようなＣＴ画像は、全体を通して、本物の、真実の、または現実のＣＴ画像と称されることがある）。また、本明細書で議論される学習モデルは、元の低画像品質のＣＢＣＴ画像から優れた高画像品質の合成のＣＴ画像（ｓＣＴ）を生成することができる。このようなｓＣＴ画像は、元のＣＢＣＴ画像内の解剖学的構造を保存し、正確で正しいＨＵ値を有する高画質を得るために、全てまたは実質的に全ての散乱、ストリーキングアーテファクトおよび他のノイズアーチファクトを取り除く、または除去することができる。ｓＣＴ画像は、リアルタイムにオンザフライで生成することができる（例えば、開示されたモデルは、ＣＢＣＴ画像を受け取ると、ＣＢＣＴ画像を生成し、増強することができる）。
［００２９］
一実施例において、学習されたモデルは、ＧＡＮまたはＣｙｃｌｅＧＡＮ、すなわち、トレーニングデータを記述する確率分布の推定値を生成する生成器（「生成モデル」とも呼ばれる）、および生成器のサンプルを生成器または学習データに属するものとして分類する識別器（「識別モデル」とも呼ばれる）で動作する一対の深層畳み込みニューラルネットワークを使用して生成される。生成器は、学習データのデータ分布を可能な限り完全にエミュレートし、それによって識別器を最大に混乱させることを目的としている。その結果、予測モデリングにおける回帰の結果を最大化するようにトレーニングされた（本質的には「調整された」）生成器が生成される。
一実施例において、学習されたモデルは、ＧＡＮまたはＣｙｃｌｅＧＡＮ、すなわち、トレーニングデータを記述する確率分布の推定値を生成する生成器（「生成モデル」とも呼ばれる）、および生成器のサンプルを生成器または学習データに属するものとして分類する識別器（「識別モデル」とも呼ばれる）で動作する一対の深層畳み込みニューラルネットワークを使用して生成される。生成器は、学習データのデータ分布を可能な限り完全にエミュレートし、それによって識別器を最大に混乱させることを目的としている。その結果、予測モデリングにおける回帰の結果を最大化するようにトレーニングされた（本質的には「調整された」）生成器が生成される。
［００３０］
一実施例では、ＧＡＮは、ＣＢＣＴ画像と本物のＣＴ画像とのペアのセットでトレーニングされ、ＣＢＣＴ画像が与えられたｓＣＴ画像を生成するためのモデルをトレーニングする。ＣＢＣＴ画像は、本物のＣＴ画像と共に登録することができる。ＧＡＮの２つのネットワーク（生成器と識別器）アーキテクチャを使用して、ニューラルネットワークおよびＣｙｃｌｅＧＡＮにおける教師付きＭＬの従来のアプローチを含む、従来の実装よりも優れた、受け取られたＣＢＣＴ画像に対応するｓＣＴ画像を生成するトレーニングされた生成モデルを生成することができる。このような、かつバラエティに富んだ技術的、機能的なメリットがあることは、次のセクションで明らかになるだろう。
一実施例では、ＧＡＮは、ＣＢＣＴ画像と本物のＣＴ画像とのペアのセットでトレーニングされ、ＣＢＣＴ画像が与えられたｓＣＴ画像を生成するためのモデルをトレーニングする。ＣＢＣＴ画像は、本物のＣＴ画像と共に登録することができる。ＧＡＮの２つのネットワーク（生成器と識別器）アーキテクチャを使用して、ニューラルネットワークおよびＣｙｃｌｅＧＡＮにおける教師付きＭＬの従来のアプローチを含む、従来の実装よりも優れた、受け取られたＣＢＣＴ画像に対応するｓＣＴ画像を生成するトレーニングされた生成モデルを生成することができる。このような、かつバラエティに富んだ技術的、機能的なメリットがあることは、次のセクションで明らかになるだろう。
［００３１］
特に、開示された技術は、第１の生成器モデルのトレニングのパスでＣＢＣＴ画像またはＣＴ画像に変形可能なオフセット層を適用することによりＧＡＮをトレーニングし、第２の生成器モデルのトレニングのパスで変形可能なオフセット層を適用せずにＧＡＮをトレーニングする。開示された技術の識別器は、変形可能なオフセット層が適用された生成器の出力でのみ動作するようにトレーニングされている。サイクル－コンシステンシー損失の項は、両方の生成器のパスで生成された画像に基づいて生成器モデルをトレーニングするために使用される。このようにして、ある程度の人工的な解剖学的構造または変形した解剖学的構造を導入する敵対的損失（adversarial lose：アドバーサリーロス）は、生成器の変形された画像出力にのみ適用される。これにより、生成器のトレーニングにおいて、人工的な解剖学的構造または変形した解剖学的構造の敵対的損失の影響が制限され、それは生成器により生成されるｓＣＴ画像を改善する。すなわち、敵対的損失により引き起こされる、不要な構造情報を学習する可能性があり、そして、幻の人工的な構造を生成する可能性があるという効果は、サイクル－コンシステンシー損失の項により引き起こされる、オリジナルな構造を保存するという効果とは切り離されている。「サイクル－コンシステンシー」損失の項を最小化することにより、オフセット層を持たない生成器により生成されるｓＣＴ画像は、オリジナルのＣＢＣＴ画像に存在するすべての真の解剖学的構造を保持する。一方、変形可能なオフセット層に基づいて生成される画像にのみ「敵対的」な損失が課せられるため、そのようなオフセット層は、すべての望ましくない形状の変形または潜在的に生成される幻覚構造を収容する。
特に、開示された技術は、第１の生成器モデルのトレニングのパスでＣＢＣＴ画像またはＣＴ画像に変形可能なオフセット層を適用することによりＧＡＮをトレーニングし、第２の生成器モデルのトレニングのパスで変形可能なオフセット層を適用せずにＧＡＮをトレーニングする。開示された技術の識別器は、変形可能なオフセット層が適用された生成器の出力でのみ動作するようにトレーニングされている。サイクル－コンシステンシー損失の項は、両方の生成器のパスで生成された画像に基づいて生成器モデルをトレーニングするために使用される。このようにして、ある程度の人工的な解剖学的構造または変形した解剖学的構造を導入する敵対的損失（adversarial lose：アドバーサリーロス）は、生成器の変形された画像出力にのみ適用される。これにより、生成器のトレーニングにおいて、人工的な解剖学的構造または変形した解剖学的構造の敵対的損失の影響が制限され、それは生成器により生成されるｓＣＴ画像を改善する。すなわち、敵対的損失により引き起こされる、不要な構造情報を学習する可能性があり、そして、幻の人工的な構造を生成する可能性があるという効果は、サイクル－コンシステンシー損失の項により引き起こされる、オリジナルな構造を保存するという効果とは切り離されている。「サイクル－コンシステンシー」損失の項を最小化することにより、オフセット層を持たない生成器により生成されるｓＣＴ画像は、オリジナルのＣＢＣＴ画像に存在するすべての真の解剖学的構造を保持する。一方、変形可能なオフセット層に基づいて生成される画像にのみ「敵対的」な損失が課せられるため、そのようなオフセット層は、すべての望ましくない形状の変形または潜在的に生成される幻覚構造を収容する。
［００３２］
本明細書で議論されるアプローチは、ＣＢＣＴ画像および本物のＣＴ画像の特性を発見して、ＣＢＣＴ画像が受け取られると同時にリアルタイムで新しいｓＣＴ画像を生成することを可能にする。これらのアプローチは、ＣＢＣＴ画像と本物のＣＴ画像の間のリンクのより詳細なモデルを得るためにＧＡＮによって採用された一種の統計的学習を使用している。
本明細書で議論されるアプローチは、ＣＢＣＴ画像および本物のＣＴ画像の特性を発見して、ＣＢＣＴ画像が受け取られると同時にリアルタイムで新しいｓＣＴ画像を生成することを可能にする。これらのアプローチは、ＣＢＣＴ画像と本物のＣＴ画像の間のリンクのより詳細なモデルを得るためにＧＡＮによって採用された一種の統計的学習を使用している。
［００３３］
あるアプローチでは、ＣＢＣＴ画像からｓＣＴ画像を生成するためにＣｙｃｌｅＧＡＮを使用する。このようなアプローチは、共に出願中で、共に譲渡されたＪｉａｏｆｅｎｇ Ｘｕ等の米国特許出願第１６／０４４，２４５号（２０１８年７月２４日出願：タイトル「ＣＯＮＥ－ＢＥＡＭ ＣＴ ＩＭＡＧＥ ＥＮＨＡＮＣＥＭＥＮＴ ＵＳＩＮＧ ＧＥＮＥＲＡＴＩＶＥ ＡＤＶＥＲＳＡＲＩＡＬ ＮＥＴＷＯＲＫＳ」事務所ドケット番号４１８６．０４２ＵＳ１）で議論されており、その全体が参照により本明細書に組み込まれる。このアプローチでは、ペアのＣＢＣＴ－ＣＴデータに基づくＣｙｃｌｅＧＡＮ加重Ｌ１－ｌｏｓｓ用語を組み合わせている。特に、このアプローチでは、ｓＣＴ画像と実在のＣＴ画像の間、合成のＣＢＣＴ画像と実在のＣＢＣＴ画像の間にＬ１損失項を加え、加重ピクセルベースの項を用いて不完全なマッチングを補正していた。このアプローチは、ＣＢＣＴ画像とＣＴ画像の形状分布が似ている、または、劇的な違いがない場合にｓＣＴ画像を生成するのに適している。しかしながら、ＣＴ画像の形状分布やその他の特徴分布が元のＣＢＣＴ画像と比較して大きな違いがある場合、「敵対的損失（adversarial losses：アドバーセリーアル ロス）」が、ｓＣＴ画像に人工的な解剖学的構造や変形した解剖学的構造を導入し、生成されたｓＣＴ画像に予期しない結果を生じさせる可能性がある。これは、このアプローチでは、特定の領域に対して予想外の形状変形を学習するために、敵対的損失に基づいて生成器がトレーニングされるためである。
あるアプローチでは、ＣＢＣＴ画像からｓＣＴ画像を生成するためにＣｙｃｌｅＧＡＮを使用する。このようなアプローチは、共に出願中で、共に譲渡されたＪｉａｏｆｅｎｇ Ｘｕ等の米国特許出願第１６／０４４，２４５号（２０１８年７月２４日出願：タイトル「ＣＯＮＥ－ＢＥＡＭ ＣＴ ＩＭＡＧＥ ＥＮＨＡＮＣＥＭＥＮＴ ＵＳＩＮＧ ＧＥＮＥＲＡＴＩＶＥ ＡＤＶＥＲＳＡＲＩＡＬ ＮＥＴＷＯＲＫＳ」事務所ドケット番号４１８６．０４２ＵＳ１）で議論されており、その全体が参照により本明細書に組み込まれる。このアプローチでは、ペアのＣＢＣＴ－ＣＴデータに基づくＣｙｃｌｅＧＡＮ加重Ｌ１－ｌｏｓｓ用語を組み合わせている。特に、このアプローチでは、ｓＣＴ画像と実在のＣＴ画像の間、合成のＣＢＣＴ画像と実在のＣＢＣＴ画像の間にＬ１損失項を加え、加重ピクセルベースの項を用いて不完全なマッチングを補正していた。このアプローチは、ＣＢＣＴ画像とＣＴ画像の形状分布が似ている、または、劇的な違いがない場合にｓＣＴ画像を生成するのに適している。しかしながら、ＣＴ画像の形状分布やその他の特徴分布が元のＣＢＣＴ画像と比較して大きな違いがある場合、「敵対的損失（adversarial losses：アドバーセリーアル ロス）」が、ｓＣＴ画像に人工的な解剖学的構造や変形した解剖学的構造を導入し、生成されたｓＣＴ画像に予期しない結果を生じさせる可能性がある。これは、このアプローチでは、特定の領域に対して予想外の形状変形を学習するために、敵対的損失に基づいて生成器がトレーニングされるためである。
［００３４］
具体的には、従来のアプローチの根本的な問題点は、これらの損失項がすべて同じ生成器をトレーニングするために機能していることである。そのように、同じ生成器が複数の異なる目的を達成するようにトレーニングされるので、ある場合には、同じ生成器ではそのようなすべての目的を最適な方法で達成できないことがある。例えば、単一の生成器は、オリジナルのＣＢＣＴ画像のアーチファクト（artefacts）を除去し、正しいＣＴ番号に変換する方法でＣＢＣＴ画像の外観をＣＴ画像に変換するようにトレーニングされ、同時に、ある程度の構造変形に基づいてトレーニングされる。ＣＴ画像の領域における形状分布やその他の特徴分布が、オリジナルのＣＢＣＴ画像領域と比較して大きな差異がある場合、この不要な構造変形や他の変形をなくすことに失敗し、その結果、生成されたｓＣＴ画像にそのような不要な構造変形やその他の人工的な構造が存在することになる可能性がある。
具体的には、従来のアプローチの根本的な問題点は、これらの損失項がすべて同じ生成器をトレーニングするために機能していることである。そのように、同じ生成器が複数の異なる目的を達成するようにトレーニングされるので、ある場合には、同じ生成器ではそのようなすべての目的を最適な方法で達成できないことがある。例えば、単一の生成器は、オリジナルのＣＢＣＴ画像のアーチファクト（artefacts）を除去し、正しいＣＴ番号に変換する方法でＣＢＣＴ画像の外観をＣＴ画像に変換するようにトレーニングされ、同時に、ある程度の構造変形に基づいてトレーニングされる。ＣＴ画像の領域における形状分布やその他の特徴分布が、オリジナルのＣＢＣＴ画像領域と比較して大きな差異がある場合、この不要な構造変形や他の変形をなくすことに失敗し、その結果、生成されたｓＣＴ画像にそのような不要な構造変形やその他の人工的な構造が存在することになる可能性がある。
［００３５］
従来のシステムでは、ＣｙｃｌｅＧＡＮの動作と精度を向上させる方法として、敵対的損失による不要な構造情報の学習や幻の人工的な構造の生成の可能性と、サイクルコンシステンス損失項によるオリジナルの構造の保存の可能性を切り離す方法は検討されていなかった。特に、従来のシステムでは、複数のパスでｓＣＴ画像を生成する生成器を並列または同時にトレーニングし、変形可能なオフセット層が適用されたのパスのひとつで生成された画像にのみ敵対的な損失を適用する方法は検討されていなかった。
従来のシステムでは、ＣｙｃｌｅＧＡＮの動作と精度を向上させる方法として、敵対的損失による不要な構造情報の学習や幻の人工的な構造の生成の可能性と、サイクルコンシステンス損失項によるオリジナルの構造の保存の可能性を切り離す方法は検討されていなかった。特に、従来のシステムでは、複数のパスでｓＣＴ画像を生成する生成器を並列または同時にトレーニングし、変形可能なオフセット層が適用されたのパスのひとつで生成された画像にのみ敵対的な損失を適用する方法は検討されていなかった。
［００３６］
図１は、本明細書で議論される１つまたはそれ以上のアプローチを使用して放射線治療計画の処理操作を実行するように適合された例示的な放射線治療システム１００を示す。これらの放射線治療計画の処理動作は、撮影された医用画像データの特定の側面と治療線量計算とに基づいて、放射線治療システム１００が患者に放射線治療を提供することを可能にするために実行される。具体的には、画像処理ロジック１２０によって実行される画像生成ワークフロー１３０及び画像生成トレーニングワークフロー１４０の一部として、以下の処理動作を実行する。しかしながら、データ検証、可視化、および他の医学的評価および診断の設定を含む、以下のトレーニングされたモデルおよび画像処理ロジック１２０の多くのバリエーションおよび使用例が提供されてもよいことが理解されるであろう。放射線治療システム１００は、受け取ったＣＢＣＴ画像からｓＣＴ画像を生成するためにＧＡＮを使用することができる。ｓＣＴ画像は、本物のＣＴ画像に似たシャープなエッジを持つ改良されたＣＢＣＴ画像を表している可能性がある。したがって、放射線治療システム１００は、被検体の領域を撮影した低品質のＣＢＣＴ画像を使用して、リアルタイムで医療分析のためのｓＣＴタイプの画像を生成することができる。
図１は、本明細書で議論される１つまたはそれ以上のアプローチを使用して放射線治療計画の処理操作を実行するように適合された例示的な放射線治療システム１００を示す。これらの放射線治療計画の処理動作は、撮影された医用画像データの特定の側面と治療線量計算とに基づいて、放射線治療システム１００が患者に放射線治療を提供することを可能にするために実行される。具体的には、画像処理ロジック１２０によって実行される画像生成ワークフロー１３０及び画像生成トレーニングワークフロー１４０の一部として、以下の処理動作を実行する。しかしながら、データ検証、可視化、および他の医学的評価および診断の設定を含む、以下のトレーニングされたモデルおよび画像処理ロジック１２０の多くのバリエーションおよび使用例が提供されてもよいことが理解されるであろう。放射線治療システム１００は、受け取ったＣＢＣＴ画像からｓＣＴ画像を生成するためにＧＡＮを使用することができる。ｓＣＴ画像は、本物のＣＴ画像に似たシャープなエッジを持つ改良されたＣＢＣＴ画像を表している可能性がある。したがって、放射線治療システム１００は、被検体の領域を撮影した低品質のＣＢＣＴ画像を使用して、リアルタイムで医療分析のためのｓＣＴタイプの画像を生成することができる。
［００３７］
放射線治療システム１００は、画像処理ロジック１２０を主催する放射線治療処理計算システム１１０を含む。放射線治療処理計算システム１１０は、ネットワーク（図示せず）に接続することができ、そのようなネットワークは、インターネットに接続することができる。例えば、ネットワークは、放射線治療処理計算システム１１０を、１つまたはそれ以上の医療情報源（例えば、放射線学情報システム（ＲＩＳ）、医療記録システム（例えば、電子カルテ（ＥＭＲ）／電子健康記録（ＥＨＲ）システム）、腫瘍学情報システム（ＯＩＳ））、１つまたはそれ以上の画像データソース１５０、画像取得装置１７０（例えば、撮像モダリティ）、治療装置１８０（例えば、放射線治療装置）、および治療データソース１６０と接続することができる。一実施例として、放射線治療処理計算システム１１０は、治療装置１８０によって使用され、および／または装置１４６の出力のために使用される、改良されたＣＢＣＴ画像を生成するための操作の一部として、画像処理ロジック１２０からの命令またはデータを実行することによって、被検体のＣＢＣＴ画像を受け取り、ＣＢＣＴ画像に対応するｓＣＴ画像を生成するように構成することができる。
放射線治療システム１００は、画像処理ロジック１２０を主催する放射線治療処理計算システム１１０を含む。放射線治療処理計算システム１１０は、ネットワーク（図示せず）に接続することができ、そのようなネットワークは、インターネットに接続することができる。例えば、ネットワークは、放射線治療処理計算システム１１０を、１つまたはそれ以上の医療情報源（例えば、放射線学情報システム（ＲＩＳ）、医療記録システム（例えば、電子カルテ（ＥＭＲ）／電子健康記録（ＥＨＲ）システム）、腫瘍学情報システム（ＯＩＳ））、１つまたはそれ以上の画像データソース１５０、画像取得装置１７０（例えば、撮像モダリティ）、治療装置１８０（例えば、放射線治療装置）、および治療データソース１６０と接続することができる。一実施例として、放射線治療処理計算システム１１０は、治療装置１８０によって使用され、および／または装置１４６の出力のために使用される、改良されたＣＢＣＴ画像を生成するための操作の一部として、画像処理ロジック１２０からの命令またはデータを実行することによって、被検体のＣＢＣＴ画像を受け取り、ＣＢＣＴ画像に対応するｓＣＴ画像を生成するように構成することができる。
［００３８］
放射線治療処理計算システム１１０は、処理回路１１２と、メモリ１１４と、記憶装置１１６と、ユーザインターフェース１４２と、通信インタフェース（図示せず）などの他のハードウェアおよびソフトウェア操作可能な機能を含むことができる。記憶装置１１６は、オペレーティングシステム、放射線治療計画（例えば、トレーニングＣＢＣＴ画像、本物のＣＴ画像、トレーニング画像と本物のＣＴ画像を関連付けるペアリング情報、生成されたｓＣＴ画像、適応または修正されたＣＢＣＴ画像など）、ソフトウェアプログラム（例えば、画像処理ソフトウェア、画像または解剖学的可視化ソフトウェア、ＤＬモデル、ＭＬモデル、ニューラルネットワークなどによって提供されるようなＡＩ実装およびアルゴリズムなど）、および処理回路１１２によって実行される他の任意のコンピュータ実行可能な命令を記憶することができる。
放射線治療処理計算システム１１０は、処理回路１１２と、メモリ１１４と、記憶装置１１６と、ユーザインターフェース１４２と、通信インタフェース（図示せず）などの他のハードウェアおよびソフトウェア操作可能な機能を含むことができる。記憶装置１１６は、オペレーティングシステム、放射線治療計画（例えば、トレーニングＣＢＣＴ画像、本物のＣＴ画像、トレーニング画像と本物のＣＴ画像を関連付けるペアリング情報、生成されたｓＣＴ画像、適応または修正されたＣＢＣＴ画像など）、ソフトウェアプログラム（例えば、画像処理ソフトウェア、画像または解剖学的可視化ソフトウェア、ＤＬモデル、ＭＬモデル、ニューラルネットワークなどによって提供されるようなＡＩ実装およびアルゴリズムなど）、および処理回路１１２によって実行される他の任意のコンピュータ実行可能な命令を記憶することができる。
［００３９］
一実施例では、処理回路１１２は、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）などの１つまたはそれ以上の汎用処理装置などの処理装置を含むことができる。より具体的には、処理回路１１２は、複雑命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、非常に長い命令ワード（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであってもよい。また、処理回路１１２は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、システムオンチップ（ＳｏＣ）などの１つまたはそれ以上の特別目的処理装置によって実装されてもよい。当業者には理解されるであろうが、いくつかの例では、処理回路１１２は、汎用プロセッサではなく、特殊用途プロセッサであってもよい。処理回路１１２は、Ｉｎｔｅｌ（登録商標）によって製造されたＰｅｎｔｉｕｍ（登録商標）、Ｃｏｒｅ（登録商標）、Ｘｅｏｎ（登録商標）、またはＩｔａｎｉｕｍ（登録商標）ファミリー、ＡＭＤ（登録商標）によって製造されたＴｕｒｉｏｎ（登録商標）、Ａｔｈｌｏｎ（登録商標）、Ｓｅｍｐｒｏｎ（登録商標）、Ｏｐｔｅｒｏｎ（登録商標）、ＦＸ（登録商標）、Ｐｈｅｎｏｎ（登録商標）ファミリー、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓによって製造された様々なプロセッサのいずれかのような１つまたはそれ以上の既知の処理装置を含むことができる。処理回路１１２は、Ｎｖｉｄｉａ（登録商標）によって製造されたＧｅＦｏｒｃｅ（登録商標）、Ｑｕａｄｒｏ（登録商標）、Ｔｅｓｌａ（登録商標）ファミリー、Ｉｎｔｅｌ（登録商標）によって製造されたＧＭＡ、Ｉｒｉｓ（登録商標）ファミリー、またはＡＭＤ（登録商標）によって製造されたＲａｄｅｏｎ（登録商標）ファミリーのような、グラフィック処理ユニットを含むことができる。処理回路１１２は、Ｉｎｔｅｌ（登録商標）によって製造されたＸｅｏｎ Ｐｈｉ（登録商標）ファミリーのような、加速処理ユニットを含むことができる。開示された実施形態は、本明細書に開示された方法を実行するために、大量のデータを特定し、分析し、維持し、生成し、および／または提供し、またはそのようなデータを操作するというコンピューティング要求を満たすように構成された任意のタイプのプロセッサ（複数可）に限定されるものではない。さらに、「プロセッサ」という用語は、複数の物理的（回路ベースの）またはソフトウェアベースのプロセッサ、例えば、マルチコア設計または複数のプロセッサのそれぞれがマルチコア設計を有するプロセッサを含んでもよい。処理回路１１２は、メモリ１１４に記憶され、記憶装置１１６からアクセスされる、一過性または非一過性のコンピュータプログラム命令のシーケンスを実行して、以下でより詳細に説明する様々な操作、プロセス、方法を実行することができる。システム１００内の任意のコンポーネントは、別個に実装され、独立した装置として動作してもよく、本開示に記載された技術を実行するために、システム１００内の任意の他のコンポーネントに結合されてもよいことが理解されるべきである。
一実施例では、処理回路１１２は、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）などの１つまたはそれ以上の汎用処理装置などの処理装置を含むことができる。より具体的には、処理回路１１２は、複雑命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、非常に長い命令ワード（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであってもよい。また、処理回路１１２は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、システムオンチップ（ＳｏＣ）などの１つまたはそれ以上の特別目的処理装置によって実装されてもよい。当業者には理解されるであろうが、いくつかの例では、処理回路１１２は、汎用プロセッサではなく、特殊用途プロセッサであってもよい。処理回路１１２は、Ｉｎｔｅｌ（登録商標）によって製造されたＰｅｎｔｉｕｍ（登録商標）、Ｃｏｒｅ（登録商標）、Ｘｅｏｎ（登録商標）、またはＩｔａｎｉｕｍ（登録商標）ファミリー、ＡＭＤ（登録商標）によって製造されたＴｕｒｉｏｎ（登録商標）、Ａｔｈｌｏｎ（登録商標）、Ｓｅｍｐｒｏｎ（登録商標）、Ｏｐｔｅｒｏｎ（登録商標）、ＦＸ（登録商標）、Ｐｈｅｎｏｎ（登録商標）ファミリー、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓによって製造された様々なプロセッサのいずれかのような１つまたはそれ以上の既知の処理装置を含むことができる。処理回路１１２は、Ｎｖｉｄｉａ（登録商標）によって製造されたＧｅＦｏｒｃｅ（登録商標）、Ｑｕａｄｒｏ（登録商標）、Ｔｅｓｌａ（登録商標）ファミリー、Ｉｎｔｅｌ（登録商標）によって製造されたＧＭＡ、Ｉｒｉｓ（登録商標）ファミリー、またはＡＭＤ（登録商標）によって製造されたＲａｄｅｏｎ（登録商標）ファミリーのような、グラフィック処理ユニットを含むことができる。処理回路１１２は、Ｉｎｔｅｌ（登録商標）によって製造されたＸｅｏｎ Ｐｈｉ（登録商標）ファミリーのような、加速処理ユニットを含むことができる。開示された実施形態は、本明細書に開示された方法を実行するために、大量のデータを特定し、分析し、維持し、生成し、および／または提供し、またはそのようなデータを操作するというコンピューティング要求を満たすように構成された任意のタイプのプロセッサ（複数可）に限定されるものではない。さらに、「プロセッサ」という用語は、複数の物理的（回路ベースの）またはソフトウェアベースのプロセッサ、例えば、マルチコア設計または複数のプロセッサのそれぞれがマルチコア設計を有するプロセッサを含んでもよい。処理回路１１２は、メモリ１１４に記憶され、記憶装置１１６からアクセスされる、一過性または非一過性のコンピュータプログラム命令のシーケンスを実行して、以下でより詳細に説明する様々な操作、プロセス、方法を実行することができる。システム１００内の任意のコンポーネントは、別個に実装され、独立した装置として動作してもよく、本開示に記載された技術を実行するために、システム１００内の任意の他のコンポーネントに結合されてもよいことが理解されるべきである。
［００４０］
メモリ１１４は、読み出し専用メモリ（ＲＯＭ）、相変化ランダムアクセスメモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）などのダイナミックランダムアクセスメモリ（ＤＲＡＭ）、電気的に消去可能なプログラム可能な読み出し専用メモリ（ＥＥＥＰＲＯＭ）、スタティックメモリ（例えば、フラッシュメモリ、フラッシュディスク、静的ランダムアクセスメモリ）、および他のタイプのランダムアクセスメモリ、キャッシュ、レジスタ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）または他の光ストレージ、カセットテープ、他の磁気記憶装置、または画像、データ、または処理回路１１２または他のタイプのコンピュータ装置によってアクセスされることが可能な一過性または非一過性のコンピュータ実行可能命令（例えば、任意の形式で格納されているもの）を含む情報を格納するために使用され得る他の非一過性の媒体を含み得る。例えば、コンピュータプログラム命令は、処理回路１１２によってアクセスされ、ＲＯＭ、または他の任意の適切なメモリ位置から読み出され、処理回路１１２によって実行されるためにＲＡＭにロードすることができる。
メモリ１１４は、読み出し専用メモリ（ＲＯＭ）、相変化ランダムアクセスメモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）などのダイナミックランダムアクセスメモリ（ＤＲＡＭ）、電気的に消去可能なプログラム可能な読み出し専用メモリ（ＥＥＥＰＲＯＭ）、スタティックメモリ（例えば、フラッシュメモリ、フラッシュディスク、静的ランダムアクセスメモリ）、および他のタイプのランダムアクセスメモリ、キャッシュ、レジスタ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）または他の光ストレージ、カセットテープ、他の磁気記憶装置、または画像、データ、または処理回路１１２または他のタイプのコンピュータ装置によってアクセスされることが可能な一過性または非一過性のコンピュータ実行可能命令（例えば、任意の形式で格納されているもの）を含む情報を格納するために使用され得る他の非一過性の媒体を含み得る。例えば、コンピュータプログラム命令は、処理回路１１２によってアクセスされ、ＲＯＭ、または他の任意の適切なメモリ位置から読み出され、処理回路１１２によって実行されるためにＲＡＭにロードすることができる。
［００４１］
記憶装置１１６は、本明細書に記載された方法論または機能（様々な例では、画像処理ロジック１２０およびユーザインターフェース１４２を含む）のうちの任意の１つまたはそれ以上の方法論または機能を具現化または利用する１つまたはそれ以上の一組の、一過性または非一過性の機械読み取り可能な媒体を含む駆動装置を構成してもよい。命令は、また、放射線治療処理計算システム１１０による実行中に、メモリ１１４内および／または処理回路１１２内に、完全にまたは少なくとも部分的に存在してもよく、メモリ１１４および処理回路１１２は、また、一過性または非一過性の機械可読媒体を構成することができる。
記憶装置１１６は、本明細書に記載された方法論または機能（様々な例では、画像処理ロジック１２０およびユーザインターフェース１４２を含む）のうちの任意の１つまたはそれ以上の方法論または機能を具現化または利用する１つまたはそれ以上の一組の、一過性または非一過性の機械読み取り可能な媒体を含む駆動装置を構成してもよい。命令は、また、放射線治療処理計算システム１１０による実行中に、メモリ１１４内および／または処理回路１１２内に、完全にまたは少なくとも部分的に存在してもよく、メモリ１１４および処理回路１１２は、また、一過性または非一過性の機械可読媒体を構成することができる。
［００４２］
メモリ１１４および記憶装置１１６は、非一過性のコンピュータ読み取り可能な媒体を構成することができる。例えば、メモリ１１４および記憶装置１１６は、コンピュータ読み取り可能な媒体上に、１つまたはそれ以上のソフトウェアアプリケーションのための一過性または非一過性の命令を記憶またはロードすることができる。メモリ１１４および記憶装置１１６に記憶またはロードされたソフトウェアアプリケーションは、例えば、一般的なコンピュータシステム用のオペレーティングシステムおよびソフトウェア制御装置用のオペレーティングシステムを含むことができる。また、放射線治療処理計算システム１１０は、画像処理ロジック１２０およびユーザインターフェース１４２を実装するためのソフトウェアコードからなる様々なソフトウェアプログラムを動作させることができる。さらに、メモリ１１４および記憶装置１１６は、処理回路１１２によって実行可能なソフトウェアアプリケーション全体、ソフトウェアアプリケーションの一部、またはソフトウェアアプリケーションに関連付けられたコードまたはデータを記憶またはロードすることができる。更なる実施例では、メモリ１１４および記憶装置１１６は、１つまたはそれ以上の放射線治療計画、画像データ、セグメンテーションデータ、治療可視化、ヒストグラムまたは測定値、ＡＩモデルデータ（例えば、重みおよびパラメータ）、ラベルおよびマッピングデータなどを記憶し、ロードし、操作することができる。ソフトウェアプログラムは、記憶装置１１６およびメモリ１１４だけでなく、ハードドライブ、コンピュータディスク、ＣＤ－ＲＯＭ、ＤＶＤ、ブルーレイＤＶＤ、ＵＳＢフラッシュドライブ、ＳＤカード、メモリスティック、または任意の他の適切な媒体などの取り外し可能なコンピュータ媒体に格納することができ、そのようなソフトウェアプログラムは、ネットワークを介して通信または受信することができる。
メモリ１１４および記憶装置１１６は、非一過性のコンピュータ読み取り可能な媒体を構成することができる。例えば、メモリ１１４および記憶装置１１６は、コンピュータ読み取り可能な媒体上に、１つまたはそれ以上のソフトウェアアプリケーションのための一過性または非一過性の命令を記憶またはロードすることができる。メモリ１１４および記憶装置１１６に記憶またはロードされたソフトウェアアプリケーションは、例えば、一般的なコンピュータシステム用のオペレーティングシステムおよびソフトウェア制御装置用のオペレーティングシステムを含むことができる。また、放射線治療処理計算システム１１０は、画像処理ロジック１２０およびユーザインターフェース１４２を実装するためのソフトウェアコードからなる様々なソフトウェアプログラムを動作させることができる。さらに、メモリ１１４および記憶装置１１６は、処理回路１１２によって実行可能なソフトウェアアプリケーション全体、ソフトウェアアプリケーションの一部、またはソフトウェアアプリケーションに関連付けられたコードまたはデータを記憶またはロードすることができる。更なる実施例では、メモリ１１４および記憶装置１１６は、１つまたはそれ以上の放射線治療計画、画像データ、セグメンテーションデータ、治療可視化、ヒストグラムまたは測定値、ＡＩモデルデータ（例えば、重みおよびパラメータ）、ラベルおよびマッピングデータなどを記憶し、ロードし、操作することができる。ソフトウェアプログラムは、記憶装置１１６およびメモリ１１４だけでなく、ハードドライブ、コンピュータディスク、ＣＤ－ＲＯＭ、ＤＶＤ、ブルーレイＤＶＤ、ＵＳＢフラッシュドライブ、ＳＤカード、メモリスティック、または任意の他の適切な媒体などの取り外し可能なコンピュータ媒体に格納することができ、そのようなソフトウェアプログラムは、ネットワークを介して通信または受信することができる。
［００４３］
図示されていないが、放射線治療処理計算システム１１０は、通信インターフェース、ネットワークインターフェースカード、および通信回路を含むことができる。例示的な通信インターフェースは、例えば、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、ＵＳＢコネクタ、パラレルコネクタ、高速データ伝送アダプタ（例えば、ファイバ、ＵＳＢ ３．０、サンダーボルトなど）、無線ネットワークアダプタ（例えば、ＩＥＥＥ ８０２．１１／Ｗｉ－Ｆｉアダプタなど）、通信アダプタ（例えば、３Ｇ、４Ｇ／ＬＴＥ、５Ｇ、ネットワークなどと通信するためのもの）などを含むことができる。このような通信インターフェースは、機械がネットワークを介して、遠隔地に配置された構成要素のような他の機械および装置と通信することを可能にする、１つまたはそれ以上のデジタルおよび／またはアナログ通信装置を含むことができる。ネットワークは、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャなど）、クライアントサーバー、広域ネットワーク（ＷＡＮ）などの機能を提供することができる。例えば、ネットワークは、他のシステム（追加の画像処理計算システムまたは医用画像処理または放射線治療操作に関連する画像ベースのコンポーネントを含む）を含むことができるＬＡＮまたはＷＡＮであってもよい。
図示されていないが、放射線治療処理計算システム１１０は、通信インターフェース、ネットワークインターフェースカード、および通信回路を含むことができる。例示的な通信インターフェースは、例えば、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、ＵＳＢコネクタ、パラレルコネクタ、高速データ伝送アダプタ（例えば、ファイバ、ＵＳＢ ３．０、サンダーボルトなど）、無線ネットワークアダプタ（例えば、ＩＥＥＥ ８０２．１１／Ｗｉ－Ｆｉアダプタなど）、通信アダプタ（例えば、３Ｇ、４Ｇ／ＬＴＥ、５Ｇ、ネットワークなどと通信するためのもの）などを含むことができる。このような通信インターフェースは、機械がネットワークを介して、遠隔地に配置された構成要素のような他の機械および装置と通信することを可能にする、１つまたはそれ以上のデジタルおよび／またはアナログ通信装置を含むことができる。ネットワークは、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャなど）、クライアントサーバー、広域ネットワーク（ＷＡＮ）などの機能を提供することができる。例えば、ネットワークは、他のシステム（追加の画像処理計算システムまたは医用画像処理または放射線治療操作に関連する画像ベースのコンポーネントを含む）を含むことができるＬＡＮまたはＷＡＮであってもよい。
［００４４］
一実施例では、放射線治療処理計算システム１１０は、記憶装置１１６およびメモリ１１４上でホスティングするために、画像データソース１５０（例えば、ＣＢＣＴ画像）から画像データ１５２を取得することができる。例示的な画像データソース１５０は、図２Ｂに関連して詳細に記載されている。一実施例では、放射線治療処理計算システム１１０上で動作するソフトウェアプログラムは、擬似ＣＴ画像またはｓＣＴ画像のような合成の画像を生成することによって、あるフォーマット（例えば、ＭＲＩ）の医用画像を別のフォーマット（例えば、ＣＴ）に変換することができる。別の実施例では、ソフトウェアプログラムは、対応する画像が適切にペアリングされて関連付けられるように、患者の医用画像（例えば、ＣＴ画像またはＭＲ画像）を、その後に作成または捕捉されたその患者のＣＢＣＴ画像（例えば、画像としても表される）に登録または関連付けることができる。さらに別の実施例では、ソフトウェアプログラムは、符号付き距離関数または画像情報のいくつかの側面を強調する画像の処理済みバージョンのような患者画像の機能を代替することができる。
一実施例では、放射線治療処理計算システム１１０は、記憶装置１１６およびメモリ１１４上でホスティングするために、画像データソース１５０（例えば、ＣＢＣＴ画像）から画像データ１５２を取得することができる。例示的な画像データソース１５０は、図２Ｂに関連して詳細に記載されている。一実施例では、放射線治療処理計算システム１１０上で動作するソフトウェアプログラムは、擬似ＣＴ画像またはｓＣＴ画像のような合成の画像を生成することによって、あるフォーマット（例えば、ＭＲＩ）の医用画像を別のフォーマット（例えば、ＣＴ）に変換することができる。別の実施例では、ソフトウェアプログラムは、対応する画像が適切にペアリングされて関連付けられるように、患者の医用画像（例えば、ＣＴ画像またはＭＲ画像）を、その後に作成または捕捉されたその患者のＣＢＣＴ画像（例えば、画像としても表される）に登録または関連付けることができる。さらに別の実施例では、ソフトウェアプログラムは、符号付き距離関数または画像情報のいくつかの側面を強調する画像の処理済みバージョンのような患者画像の機能を代替することができる。
［００４５］
例示的な実施形態では、放射線治療処理計算システム１１０は、画像データソース１５０から、または画像データソース１５０にＣＢＣＴ撮像データ１５２を取得するか、または通信することができる。このような撮像データは、ＧＡＮまたはＣｙｃｌｅＧＡＮモデリングを使用して撮像データを強化または改善してｓＣＴ画像を生成するために計算システム１１０に提供することができる。ｓＣＴ画像は、治療データソース１６０または装置１８０によって、人間の被検体を治療するために使用することができる。さらなる実施例では、治療データソース１６０は、画像生成ワークフロー１３０によって生成されたｓＣＴ画像の結果として計画データを受信または更新し、画像データソース１５０はまた、画像生成トレーニングワークフロー１４０で使用するために撮像データ１５２を提供またはホストすることができる。
例示的な実施形態では、放射線治療処理計算システム１１０は、画像データソース１５０から、または画像データソース１５０にＣＢＣＴ撮像データ１５２を取得するか、または通信することができる。このような撮像データは、ＧＡＮまたはＣｙｃｌｅＧＡＮモデリングを使用して撮像データを強化または改善してｓＣＴ画像を生成するために計算システム１１０に提供することができる。ｓＣＴ画像は、治療データソース１６０または装置１８０によって、人間の被検体を治療するために使用することができる。さらなる実施例では、治療データソース１６０は、画像生成ワークフロー１３０によって生成されたｓＣＴ画像の結果として計画データを受信または更新し、画像データソース１５０はまた、画像生成トレーニングワークフロー１４０で使用するために撮像データ１５２を提供またはホストすることができる。
［００４６］
一実施例では、計算システム１１０は、画像データソース１５０を使用して、ＣＢＣＴ画像と本物のＣＴ画像のペアを生成することができる。例えば、計算システム１１０は、被検体の標的領域（例えば、脳領域）の画像を取得するようにＣＢＣＴ装置に指示することができる。計算システム１１０は、画像データを、ＣＢＣＴ画像によって捕捉された時間および目標領域の関連付けられた表示とともに記憶装置１１６に格納することができる。また、計算システム１１０は、ＣＴ撮影装置に対して、本物のＣＴ画像と同じ対象領域（例えば、脳領域の同じ断面）の画像を取得するように指示することができる。計算システム１１０は、本物のＣＴ画像を同じ領域の以前に得られたＣＢＣＴ画像と関連付けることができ、それにより、トレーニングペアとして装置１１６に記憶するための本物のＣＴ画像とＣＢＣＴ画像のペアを形成することができる。計算システム１１０は、閾値数のペアが得られるまで、そのようなトレーニング画像のペアを生成し続けてもよい。いくつかの実施形態では、計算システム１１０は、どの標的領域を取得するか、およびどのＣＢＣＴ画像を本物のＣＴ画像とペアにするかについて、人間のオペレータによってガイドするようにしてもよい。
一実施例では、計算システム１１０は、画像データソース１５０を使用して、ＣＢＣＴ画像と本物のＣＴ画像のペアを生成することができる。例えば、計算システム１１０は、被検体の標的領域（例えば、脳領域）の画像を取得するようにＣＢＣＴ装置に指示することができる。計算システム１１０は、画像データを、ＣＢＣＴ画像によって捕捉された時間および目標領域の関連付けられた表示とともに記憶装置１１６に格納することができる。また、計算システム１１０は、ＣＴ撮影装置に対して、本物のＣＴ画像と同じ対象領域（例えば、脳領域の同じ断面）の画像を取得するように指示することができる。計算システム１１０は、本物のＣＴ画像を同じ領域の以前に得られたＣＢＣＴ画像と関連付けることができ、それにより、トレーニングペアとして装置１１６に記憶するための本物のＣＴ画像とＣＢＣＴ画像のペアを形成することができる。計算システム１１０は、閾値数のペアが得られるまで、そのようなトレーニング画像のペアを生成し続けてもよい。いくつかの実施形態では、計算システム１１０は、どの標的領域を取得するか、およびどのＣＢＣＴ画像を本物のＣＴ画像とペアにするかについて、人間のオペレータによってガイドするようにしてもよい。
［００４７］
処理回路１１２は、メモリ１１４および記憶装置１１６に通信的に結合されてもよく、処理回路１１２は、メモリ１１４または記憶装置１１６のいずれかからそこに記憶されたコンピュータ実行可能命令を実行するように構成することができる。処理回路１１２は、画像データ１５２からの医用画像をメモリ１１４で受信または取得し、画像処理ロジック１２０を用いて処理するように命令を実行することができる。さらなる実施例では、処理回路１１２は、画像データ１５２および他の患者データとともにソフトウェアプログラム（例えば、画像処理ソフトウェア）を利用して、ｓＣＴ画像を強化または生成することができる。
処理回路１１２は、メモリ１１４および記憶装置１１６に通信的に結合されてもよく、処理回路１１２は、メモリ１１４または記憶装置１１６のいずれかからそこに記憶されたコンピュータ実行可能命令を実行するように構成することができる。処理回路１１２は、画像データ１５２からの医用画像をメモリ１１４で受信または取得し、画像処理ロジック１２０を用いて処理するように命令を実行することができる。さらなる実施例では、処理回路１１２は、画像データ１５２および他の患者データとともにソフトウェアプログラム（例えば、画像処理ソフトウェア）を利用して、ｓＣＴ画像を強化または生成することができる。
［００４８］
さらに、処理回路１１２は、例えば、ニューラルネットワークモデル、機械学習モデル、画像生成ワークフロー１３０、画像生成トレーニングワークフロー１４０、または本明細書で議論されるようなＧＡＮまたはＣｙｃｌｅＧＡＮによるｓＣＴ画像の生成に関与する他の側面によって使用される更新されたパラメータのような中間データを生成するためのソフトウェアプログラムを利用することができる。さらに、そのようなソフトウェアプログラムは、本明細書でさらに議論される技術を使用して、治療データソース１６０への展開および／または出力装置１４６上での提示のための新しいまたは更新されたｓＣＴ画像を生成するための画像生成ワークフロー１３０を実施するために、画像処理ロジック１２０を利用することができる。処理回路１１２は、その後、通信インターフェースおよびネットワークを介して、新しい画像または更新された画像を治療装置１８０に送信してもよく、ここで、放射線治療計画は、ワークフロー１４０でトレーニングされたワークフロー１３０の結果と一致して、治療装置１８０を介して患者を放射線で治療するために使用される。ソフトウェアプログラムおよびワークフロー１３０、１４０の他の出力および使用は、放射線治療処理計算システム１１０の使用に伴って発生することができる。
さらに、処理回路１１２は、例えば、ニューラルネットワークモデル、機械学習モデル、画像生成ワークフロー１３０、画像生成トレーニングワークフロー１４０、または本明細書で議論されるようなＧＡＮまたはＣｙｃｌｅＧＡＮによるｓＣＴ画像の生成に関与する他の側面によって使用される更新されたパラメータのような中間データを生成するためのソフトウェアプログラムを利用することができる。さらに、そのようなソフトウェアプログラムは、本明細書でさらに議論される技術を使用して、治療データソース１６０への展開および／または出力装置１４６上での提示のための新しいまたは更新されたｓＣＴ画像を生成するための画像生成ワークフロー１３０を実施するために、画像処理ロジック１２０を利用することができる。処理回路１１２は、その後、通信インターフェースおよびネットワークを介して、新しい画像または更新された画像を治療装置１８０に送信してもよく、ここで、放射線治療計画は、ワークフロー１４０でトレーニングされたワークフロー１３０の結果と一致して、治療装置１８０を介して患者を放射線で治療するために使用される。ソフトウェアプログラムおよびワークフロー１３０、１４０の他の出力および使用は、放射線治療処理計算システム１１０の使用に伴って発生することができる。
［００４９］
本明細書の実施例では（例えば、図３および図４を参照して議論された敵対的生成ネットワーク処理を参照して実施例では）、処理回路１１２は、入力ＣＢＣＴ画像からのｓＣＴ画像生成のためのＭＬ、ＤＬ、ニューラルネットワーク、および人工知能の他の側面の機能を実装するために、画像処理ロジック１２０を呼び出すソフトウェアプログラムを実行することができる。例えば、処理回路１１２は、本明細書で議論されるように、受け取ったＣＢＣＴ画像からトレーニング、分析、予測、評価、およびｓＣＴ画像を生成するソフトウェアプログラムを実行することができる。開示された実施形態によれば、ｓＣＴ画像の生成器は、第１のパスが１つまたはそれ以上の変形可能なオフセット層と１つまたはそれ以上の畳み込み層を含み、第２のパスが１つまたはそれ以上の変形可能なオフセット層を含むことなく１つまたはそれ以上の畳み込み層を含むような、複数のパスを介してトレーニングされる。具体的には、生成器は、第１のプロセスが、第１のパスを介してトレーニングＣＢＣＴ画像から第１のｓＣＴ画像を生成し、第２のプロセスが、第２のパスを介してトレーニングＣＢＣＴ画像から第２のｓＣＴ画像を生成するような、２つの並列または逐次プロセスを実行することによりトレーニングされる。第１のｓＣＴ画像は、第１のｓＣＴ画像が本物のＣＴ画像であるか、合成のＣＴ画像であるかを判別するために第１の識別器をトレーニングするために提供される。次に、第１のｓＣＴ画像および第２のｓＣＴ画像は、ＣＢＣＴ画像を生成するために別の生成器に提供され、トレーニング用ＣＢＣＴ画像を用いるサイクル－コンシステンス損失項に基づいてトレーニングする第１のサイクルＣＢＣＴ画像および第２のサイクルＣＢＣＴ画像を提供する。このようにして、敵対的な損失項のトレーニングによる望ましくない構造の変形や、幻の構造の生成の可能性の影響が、サイクル－コンシステンス損失項によるオリジナルの構造を保存すること影響から切り離される。ＣｙｃｌｅＧＡＮの別の部分は、２つの別々のパス１つのパスは、変形可能なオフセット層と１つまたはそれ以上の畳み込み層を有し、他のパスは、変形可能なオフセット層を有さずに１つまたはそれ以上の畳み込み層を有する－を利用して使用されるトレーニングＣＢＣＴ画像のペアのＣＴ画像に基づいて、同様の方法で同じ生成器をトレーニングする。
本明細書の実施例では（例えば、図３および図４を参照して議論された敵対的生成ネットワーク処理を参照して実施例では）、処理回路１１２は、入力ＣＢＣＴ画像からのｓＣＴ画像生成のためのＭＬ、ＤＬ、ニューラルネットワーク、および人工知能の他の側面の機能を実装するために、画像処理ロジック１２０を呼び出すソフトウェアプログラムを実行することができる。例えば、処理回路１１２は、本明細書で議論されるように、受け取ったＣＢＣＴ画像からトレーニング、分析、予測、評価、およびｓＣＴ画像を生成するソフトウェアプログラムを実行することができる。開示された実施形態によれば、ｓＣＴ画像の生成器は、第１のパスが１つまたはそれ以上の変形可能なオフセット層と１つまたはそれ以上の畳み込み層を含み、第２のパスが１つまたはそれ以上の変形可能なオフセット層を含むことなく１つまたはそれ以上の畳み込み層を含むような、複数のパスを介してトレーニングされる。具体的には、生成器は、第１のプロセスが、第１のパスを介してトレーニングＣＢＣＴ画像から第１のｓＣＴ画像を生成し、第２のプロセスが、第２のパスを介してトレーニングＣＢＣＴ画像から第２のｓＣＴ画像を生成するような、２つの並列または逐次プロセスを実行することによりトレーニングされる。第１のｓＣＴ画像は、第１のｓＣＴ画像が本物のＣＴ画像であるか、合成のＣＴ画像であるかを判別するために第１の識別器をトレーニングするために提供される。次に、第１のｓＣＴ画像および第２のｓＣＴ画像は、ＣＢＣＴ画像を生成するために別の生成器に提供され、トレーニング用ＣＢＣＴ画像を用いるサイクル－コンシステンス損失項に基づいてトレーニングする第１のサイクルＣＢＣＴ画像および第２のサイクルＣＢＣＴ画像を提供する。このようにして、敵対的な損失項のトレーニングによる望ましくない構造の変形や、幻の構造の生成の可能性の影響が、サイクル－コンシステンス損失項によるオリジナルの構造を保存すること影響から切り離される。ＣｙｃｌｅＧＡＮの別の部分は、２つの別々のパス１つのパスは、変形可能なオフセット層と１つまたはそれ以上の畳み込み層を有し、他のパスは、変形可能なオフセット層を有さずに１つまたはそれ以上の畳み込み層を有する－を利用して使用されるトレーニングＣＢＣＴ画像のペアのＣＴ画像に基づいて、同様の方法で同じ生成器をトレーニングする。
［００５０］
一実施例では、画像データ１５２は、１つまたはそれ以上のＭＲＩ画像（例えば、２ＤＭＲＩ、３ＤＭＲＩ、２ＤストリーミングＭＲＩ、４ＤＭＲＩ、４ＤボリューメトリックＭＲＩ、４ＤシネＭＲＩなど）、機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ－ＭＲＩ、拡散ＭＲＩ）、コンピュータ断層撮影（ＣＴ）画像（例えば、２ＤＣＴ、コーンビームＣＴ、３ＤＣＴ、４ＤＣＴ）、超音波画像（例えば、２Ｄ超音波、３Ｄ超音波、４Ｄ超音波）、陽電子放出断層撮影（ＰＥＴ）画像、Ｘ線画像、透視画像、放射線治療ポータル画像、シングルフォトエミッションコンピュータ断層撮影（ＳＰＥＣＴ）画像、コンピュータで生成された合成の画像（例えば、疑似ＣＴ画像）などを含み得る。さらに、画像データ１５２は、医用画像処理データ、例えば、トレーニング画像、グラウンドトゥルース画像、輪郭画像、および線量画像を含むか、または関連付けられていてもよい。他の実施例では、解剖学的領域の等価な表現は、非画像フォーマット（例えば、座標、マッピングなど）で表現することができる。
一実施例では、画像データ１５２は、１つまたはそれ以上のＭＲＩ画像（例えば、２ＤＭＲＩ、３ＤＭＲＩ、２ＤストリーミングＭＲＩ、４ＤＭＲＩ、４ＤボリューメトリックＭＲＩ、４ＤシネＭＲＩなど）、機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ－ＭＲＩ、拡散ＭＲＩ）、コンピュータ断層撮影（ＣＴ）画像（例えば、２ＤＣＴ、コーンビームＣＴ、３ＤＣＴ、４ＤＣＴ）、超音波画像（例えば、２Ｄ超音波、３Ｄ超音波、４Ｄ超音波）、陽電子放出断層撮影（ＰＥＴ）画像、Ｘ線画像、透視画像、放射線治療ポータル画像、シングルフォトエミッションコンピュータ断層撮影（ＳＰＥＣＴ）画像、コンピュータで生成された合成の画像（例えば、疑似ＣＴ画像）などを含み得る。さらに、画像データ１５２は、医用画像処理データ、例えば、トレーニング画像、グラウンドトゥルース画像、輪郭画像、および線量画像を含むか、または関連付けられていてもよい。他の実施例では、解剖学的領域の等価な表現は、非画像フォーマット（例えば、座標、マッピングなど）で表現することができる。
［００５１］
一実施例では、画像データ１５２は、画像取得装置１７０から受信され、画像データソース１５０の１つまたはそれ以上（例えば、ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、ＶＮＡ（Ｖｅｎｄｏｒ Ｎｅｕｔｒａｌ Ａｒｃｈｉｖｅ）、医療記録または情報システム、データウェアハウスなど）に格納することができる。したがって、画像取得装置１７０は、患者の医用画像を取得するためのＭＲＩ撮像装置、ＣＴ撮像装置、ＰＥＴ撮像装置、超音波撮像装置、透視装置、ＳＰＥＣＴ撮像装置、リニアアクセラレータとＭＲＩ撮像装置を一体化したもの、ＣＢＣＴ撮像装置、またはその他の医用画像を取得するための医用画像取得装置で構成されていてもよい。画像データ１５２は、画像取得装置１７０および放射線治療処理計算システム１１０が、開示された実施形態と一致する動作を実行するために使用することができる、任意のタイプのデータまたは任意のタイプのフォーマット（例えば、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）フォーマット）で受信および保存することができる。さらに、いくつかの実施例では、本明細書で議論されるモデルは、元の画像データフォーマットまたはその派生物を処理するようにトレーニングすることができる。
一実施例では、画像データ１５２は、画像取得装置１７０から受信され、画像データソース１５０の１つまたはそれ以上（例えば、ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、ＶＮＡ（Ｖｅｎｄｏｒ Ｎｅｕｔｒａｌ Ａｒｃｈｉｖｅ）、医療記録または情報システム、データウェアハウスなど）に格納することができる。したがって、画像取得装置１７０は、患者の医用画像を取得するためのＭＲＩ撮像装置、ＣＴ撮像装置、ＰＥＴ撮像装置、超音波撮像装置、透視装置、ＳＰＥＣＴ撮像装置、リニアアクセラレータとＭＲＩ撮像装置を一体化したもの、ＣＢＣＴ撮像装置、またはその他の医用画像を取得するための医用画像取得装置で構成されていてもよい。画像データ１５２は、画像取得装置１７０および放射線治療処理計算システム１１０が、開示された実施形態と一致する動作を実行するために使用することができる、任意のタイプのデータまたは任意のタイプのフォーマット（例えば、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）フォーマット）で受信および保存することができる。さらに、いくつかの実施例では、本明細書で議論されるモデルは、元の画像データフォーマットまたはその派生物を処理するようにトレーニングすることができる。
［００５２］
一実施例では、画像取得装置１７０は、単一の装置（例えば、リニア加速器と組み合わせたＭＲＩ装置、「ＭＲＩ－Ｌｉｎａｃ」とも呼ばれる）として治療装置１８０と一体化されていてもよい。このようなＭＲＩ－Ｌｉｎａｃは、例えば、放射線治療計画に従って放射線治療を所定の標的に正確に指示するために、患者の標的臓器または標的腫瘍の位置を決定するために使用することができる。例えば、放射線治療計画は、各患者に適用されるべき特定の放射線量に関する情報を提供することができる。また、放射線治療計画には、他の放射線治療情報、例えば、ビーム角度、線量－ヒストグラム－ボリューム情報、治療中に使用する放射線ビームの本数、ビーム当たりの線量などが含まれていてもよい。いくつかの実施例では、画像生成ワークフロー１３０におけるＧＡＮトレーニングされたモデルは、強化されたＣＢＣＴ画像を生成するためにのみ使用され、他のワークフローまたはロジック（図示せず）は、この強化されたＣＢＣＴ画像を、放射線治療を達成するために使用される特定のビーム角および放射線物理学に翻訳するために使用される。
一実施例では、画像取得装置１７０は、単一の装置（例えば、リニア加速器と組み合わせたＭＲＩ装置、「ＭＲＩ－Ｌｉｎａｃ」とも呼ばれる）として治療装置１８０と一体化されていてもよい。このようなＭＲＩ－Ｌｉｎａｃは、例えば、放射線治療計画に従って放射線治療を所定の標的に正確に指示するために、患者の標的臓器または標的腫瘍の位置を決定するために使用することができる。例えば、放射線治療計画は、各患者に適用されるべき特定の放射線量に関する情報を提供することができる。また、放射線治療計画には、他の放射線治療情報、例えば、ビーム角度、線量－ヒストグラム－ボリューム情報、治療中に使用する放射線ビームの本数、ビーム当たりの線量などが含まれていてもよい。いくつかの実施例では、画像生成ワークフロー１３０におけるＧＡＮトレーニングされたモデルは、強化されたＣＢＣＴ画像を生成するためにのみ使用され、他のワークフローまたはロジック（図示せず）は、この強化されたＣＢＣＴ画像を、放射線治療を達成するために使用される特定のビーム角および放射線物理学に翻訳するために使用される。
［００５３］
放射線治療処理計算システム１１０は、ネットワークを介して外部データベースと通信し、画像処理および放射線治療操作に関連する複数の様々なタイプのデータを送受信することができる。例えば、外部データベースは、治療装置１８０、画像取得装置１７０、または放射線治療または医療処置に関連する他の機械に関連する情報を提供する機械データ（装置制約（device constraints）を含む）を含むことができる。機械データ情報は、放射線ビームサイズ、アーク配置、ビームのオンオフ時間、機械パラメータ、セグメント、マルチリーフコリメータ（ＭＬＣ）構成、ガントリ速度、ＭＲＩパルスシーケンスなどを含むことができる。外部データベースは、記憶装置であってもよく、適切なデータベース管理ソフトウェアプログラムを備えていてもよい。さらに、そのようなデータベースまたはデータソースは、中央または分散的に配置された複数のデバイスまたはシステムを含むことができる。
放射線治療処理計算システム１１０は、ネットワークを介して外部データベースと通信し、画像処理および放射線治療操作に関連する複数の様々なタイプのデータを送受信することができる。例えば、外部データベースは、治療装置１８０、画像取得装置１７０、または放射線治療または医療処置に関連する他の機械に関連する情報を提供する機械データ（装置制約（device constraints）を含む）を含むことができる。機械データ情報は、放射線ビームサイズ、アーク配置、ビームのオンオフ時間、機械パラメータ、セグメント、マルチリーフコリメータ（ＭＬＣ）構成、ガントリ速度、ＭＲＩパルスシーケンスなどを含むことができる。外部データベースは、記憶装置であってもよく、適切なデータベース管理ソフトウェアプログラムを備えていてもよい。さらに、そのようなデータベースまたはデータソースは、中央または分散的に配置された複数のデバイスまたはシステムを含むことができる。
［００５４］
放射線治療処理計算システム１１０は、処理回路１１２およびメモリ１１４に通信可能に結合された１つまたはそれ以上の通信インターフェースを使用して、ネットワークを介して、データを収集および取得し、他のシステムと通信することができる。例えば、通信インターフェースは、放射線治療処理計算システム１１０と放射線治療システム構成要素との間の通信接続を提供する（例えば、外部装置とのデータ交換を可能にする）ようにしてもよい。例えば、通信インターフェースは、いくつかの実施例では、ユーザが放射線治療システム１００に情報を入力するためのハードウェアキーボード、キーパッド、またはタッチスクリーンであってもよいユーザインターフェース１４２に接続するための出力装置１４６または入力装置１４８からの適切なインターフェース回路を有することができる。
放射線治療処理計算システム１１０は、処理回路１１２およびメモリ１１４に通信可能に結合された１つまたはそれ以上の通信インターフェースを使用して、ネットワークを介して、データを収集および取得し、他のシステムと通信することができる。例えば、通信インターフェースは、放射線治療処理計算システム１１０と放射線治療システム構成要素との間の通信接続を提供する（例えば、外部装置とのデータ交換を可能にする）ようにしてもよい。例えば、通信インターフェースは、いくつかの実施例では、ユーザが放射線治療システム１００に情報を入力するためのハードウェアキーボード、キーパッド、またはタッチスクリーンであってもよいユーザインターフェース１４２に接続するための出力装置１４６または入力装置１４８からの適切なインターフェース回路を有することができる。
［００５５］
一実施例として、出力装置１４６は、ユーザインターフェース１４２の表現と、医用画像、治療計画、およびそのような計画のトレーニング、生成、検証、または実施の状況の１つまたはそれ以上の側面、可視化、または表現を出力する表示装置を含むことができる。出力装置１４６は、医用画像、インターフェース情報、治療計画パラメータ（例えば、輪郭、線量、ビーム角、ラベル、地図など）、治療計画、目標、目標の定位および／または目標の追跡、または任意の関連情報をユーザに表示する１つまたはそれ以上のディスプレイ画面を含むことができる。ユーザインターフェース１４２に接続された入力装置１４８は、キーボード、キーパッド、タッチスクリーン、またはユーザが放射線治療システム１００に情報を入力することができる任意のタイプのデバイスであってもよい。代替的に、出力装置１４６、入力装置１４８、およびユーザインターフェース１４２の機能は、スマートフォンまたはタブレットコンピュータ（例えば、Ａｐｐｌｅ ｉＰａｄ（登録商標）、Ｌｅｎｏｖｏ Ｔｈｉｎｋｐａｄ（登録商標）、Ｓａｍｓｕｎｇ Ｇａｌａｘｙ（登録商標）など）のような単一のデバイスに統合することができる。
一実施例として、出力装置１４６は、ユーザインターフェース１４２の表現と、医用画像、治療計画、およびそのような計画のトレーニング、生成、検証、または実施の状況の１つまたはそれ以上の側面、可視化、または表現を出力する表示装置を含むことができる。出力装置１４６は、医用画像、インターフェース情報、治療計画パラメータ（例えば、輪郭、線量、ビーム角、ラベル、地図など）、治療計画、目標、目標の定位および／または目標の追跡、または任意の関連情報をユーザに表示する１つまたはそれ以上のディスプレイ画面を含むことができる。ユーザインターフェース１４２に接続された入力装置１４８は、キーボード、キーパッド、タッチスクリーン、またはユーザが放射線治療システム１００に情報を入力することができる任意のタイプのデバイスであってもよい。代替的に、出力装置１４６、入力装置１４８、およびユーザインターフェース１４２の機能は、スマートフォンまたはタブレットコンピュータ（例えば、Ａｐｐｌｅ ｉＰａｄ（登録商標）、Ｌｅｎｏｖｏ Ｔｈｉｎｋｐａｄ（登録商標）、Ｓａｍｓｕｎｇ Ｇａｌａｘｙ（登録商標）など）のような単一のデバイスに統合することができる。
［００５６］
さらに、放射線治療システム１００の任意のおよびすべての構成要素は、仮想マシン（例えば、ＶＭＷａｒｅ、Ｈｙｐｅｒ－Ｖなどの仮想化プラットフォームを介して）または独立したデバイスとして実装することができる。例えば、仮想マシンは、ハードウェアとして機能するソフトウェアである可能性がある。したがって、仮想マシンは、少なくとも１つまたはそれ以上の仮想プロセッサ、１つまたはそれ以上の仮想メモリ、および一緒にハードウェアとして機能する１つまたはそれ以上の仮想通信インターフェースを含むことができる。例えば、放射線治療処理計算システム１１０、画像データソース１５０、または同様の構成要素は、仮想マシンとして、またはクラウドベースの仮想化環境内で実装することができる。
さらに、放射線治療システム１００の任意のおよびすべての構成要素は、仮想マシン（例えば、ＶＭＷａｒｅ、Ｈｙｐｅｒ－Ｖなどの仮想化プラットフォームを介して）または独立したデバイスとして実装することができる。例えば、仮想マシンは、ハードウェアとして機能するソフトウェアである可能性がある。したがって、仮想マシンは、少なくとも１つまたはそれ以上の仮想プロセッサ、１つまたはそれ以上の仮想メモリ、および一緒にハードウェアとして機能する１つまたはそれ以上の仮想通信インターフェースを含むことができる。例えば、放射線治療処理計算システム１１０、画像データソース１５０、または同様の構成要素は、仮想マシンとして、またはクラウドベースの仮想化環境内で実装することができる。
［００５７］
画像処理ロジック１２０または他のソフトウェアプログラムは、計算システムが画像データソース１５０と通信して、メモリ１１４および記憶装置１１６に画像を読み込んだり、メモリ１１４または記憶装置１１６から画像データソース１５０に画像または関連データを格納したり、画像データソース１５０との間で画像データソース１５０と通信するようにすることができる。例えば、画像データソース１５０は、モデルトレーニングまたは生成ユースケースにおいて、画像取得装置１７０を介して１人または複数の患者から取得された画像データ１５２内の画像セットから、画像データソース１５０がホストする複数の画像（例えば、３ＤＭＲＩ、４ＤＭＲＩ、２ＤＭＲＩスライス画像、ＣＴ画像、２Ｄ透視画像、Ｘ線画像、ＭＲスキャンまたはＣＴスキャンからの生データ、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）メタデータなど）を保存して提供するように構成してもよい。また、画像データソース１５０または他のデータベースは、受け取ったＣＢＣＴ画像からｓＣＴ画像を作成、修正、または生成する画像処理動作を実行するソフトウェアプログラムを実行する際に、画像処理ロジック１２０によって使用されるデータを格納することができる。さらに、様々なデータベースは、敵対的生成ネットワークモデル１３８によって学習されたモデルを構成するネットワークパラメータと、その結果得られる予測データとを含む、学習されたモデルによって生成されたデータを格納することができる。したがって、放射線治療処理計算システム１１０は、放射線治療または診断操作の実行に関連して、画像データソース１５０、画像取得装置１７０、治療装置１８０（例えば、ＭＲＩ－Ｌｉｎａｃ）、または他の情報システムから、画像データ１５２（例えば、２ＤＭＲＩスライス画像、ＣＴ画像、２Ｄ透視画像、Ｘ線画像、３ＤＭＲＩ画像、４ＤＭＲＩ画像など）を取得および／または受信することができる。
画像処理ロジック１２０または他のソフトウェアプログラムは、計算システムが画像データソース１５０と通信して、メモリ１１４および記憶装置１１６に画像を読み込んだり、メモリ１１４または記憶装置１１６から画像データソース１５０に画像または関連データを格納したり、画像データソース１５０との間で画像データソース１５０と通信するようにすることができる。例えば、画像データソース１５０は、モデルトレーニングまたは生成ユースケースにおいて、画像取得装置１７０を介して１人または複数の患者から取得された画像データ１５２内の画像セットから、画像データソース１５０がホストする複数の画像（例えば、３ＤＭＲＩ、４ＤＭＲＩ、２ＤＭＲＩスライス画像、ＣＴ画像、２Ｄ透視画像、Ｘ線画像、ＭＲスキャンまたはＣＴスキャンからの生データ、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）メタデータなど）を保存して提供するように構成してもよい。また、画像データソース１５０または他のデータベースは、受け取ったＣＢＣＴ画像からｓＣＴ画像を作成、修正、または生成する画像処理動作を実行するソフトウェアプログラムを実行する際に、画像処理ロジック１２０によって使用されるデータを格納することができる。さらに、様々なデータベースは、敵対的生成ネットワークモデル１３８によって学習されたモデルを構成するネットワークパラメータと、その結果得られる予測データとを含む、学習されたモデルによって生成されたデータを格納することができる。したがって、放射線治療処理計算システム１１０は、放射線治療または診断操作の実行に関連して、画像データソース１５０、画像取得装置１７０、治療装置１８０（例えば、ＭＲＩ－Ｌｉｎａｃ）、または他の情報システムから、画像データ１５２（例えば、２ＤＭＲＩスライス画像、ＣＴ画像、２Ｄ透視画像、Ｘ線画像、３ＤＭＲＩ画像、４ＤＭＲＩ画像など）を取得および／または受信することができる。
［００５８］
画像取得装置１７０は、関心領域（例えば、標的臓器、標的腫瘍、またはその両方）に対する患者の解剖学の１つまたはそれ以上の画像を取得するように構成され得る。一実施例では、各画像、典型的には２Ｄ画像またはスライスは、１つまたはそれ以上のパラメータ（例えば、２Ｄスライスの厚さ、向き、および位置など）を含むことができる。一実施例では、画像取得装置１７０は、任意の向きの２Ｄスライスを取得することができる。例えば、２Ｄスライスの方向は、矢状方向（sagittal orientation）、冠状方向（coronal orientation）または軸方向（axial orientation）を含むことができる。処理回路１１２は、標的臓器および／または標的腫瘍を含むように、２Ｄスライスの厚さおよび／または向きなどの１つまたはそれ以上のパラメータを調整することができる。一実施例では、２Ｄスライスは、３ＤＣＢＣＴまたは３ＤＣＴ、またはＭＲＩボリュームなどの情報から決定することができる。このような２Ｄスライスは、患者が放射線治療を受けている間、例えば治療装置１８０を使用しているときに、画像取得装置１７０によって「ほぼリアルタイム」で取得することができる（「ほぼリアルタイム」とは、少なくともミリ秒以下でデータを取得することを意味する）。
画像取得装置１７０は、関心領域（例えば、標的臓器、標的腫瘍、またはその両方）に対する患者の解剖学の１つまたはそれ以上の画像を取得するように構成され得る。一実施例では、各画像、典型的には２Ｄ画像またはスライスは、１つまたはそれ以上のパラメータ（例えば、２Ｄスライスの厚さ、向き、および位置など）を含むことができる。一実施例では、画像取得装置１７０は、任意の向きの２Ｄスライスを取得することができる。例えば、２Ｄスライスの方向は、矢状方向（sagittal orientation）、冠状方向（coronal orientation）または軸方向（axial orientation）を含むことができる。処理回路１１２は、標的臓器および／または標的腫瘍を含むように、２Ｄスライスの厚さおよび／または向きなどの１つまたはそれ以上のパラメータを調整することができる。一実施例では、２Ｄスライスは、３ＤＣＢＣＴまたは３ＤＣＴ、またはＭＲＩボリュームなどの情報から決定することができる。このような２Ｄスライスは、患者が放射線治療を受けている間、例えば治療装置１８０を使用しているときに、画像取得装置１７０によって「ほぼリアルタイム」で取得することができる（「ほぼリアルタイム」とは、少なくともミリ秒以下でデータを取得することを意味する）。
［００５９］
放射線治療処理計算システム１１０における画像処理ロジック１２０は、トレーニングされた（学習された）生成モデルの使用（例えば、図８を参照して以下に説明する方法を実装する）を含む画像生成ワークフロー１３０を実装するように描かれている。この生成モデルは、敵対的生成ネットワーク（ＧＡＮ）モデル１３８の一部としてトレーニングされた生成器１３８Ｂによって提供することができる。一実施例では、画像処理ロジック１２０が動作する画像生成ワークフロー１３０は、本物のＣＴ画像データ処理１３２とＣＢＣＴ画像データ処理１３４とを統合して、トレーニングで使用したマッピングされた（ペアの）ＣＴ画像とＣＢＣＴ画像とに基づいてｓＣＴ画像を生成し、その生成されたｓＣＴ画像に基づいてＣＢＣＴ画像を生成する。
放射線治療処理計算システム１１０における画像処理ロジック１２０は、トレーニングされた（学習された）生成モデルの使用（例えば、図８を参照して以下に説明する方法を実装する）を含む画像生成ワークフロー１３０を実装するように描かれている。この生成モデルは、敵対的生成ネットワーク（ＧＡＮ）モデル１３８の一部としてトレーニングされた生成器１３８Ｂによって提供することができる。一実施例では、画像処理ロジック１２０が動作する画像生成ワークフロー１３０は、本物のＣＴ画像データ処理１３２とＣＢＣＴ画像データ処理１３４とを統合して、トレーニングで使用したマッピングされた（ペアの）ＣＴ画像とＣＢＣＴ画像とに基づいてｓＣＴ画像を生成し、その生成されたｓＣＴ画像に基づいてＣＢＣＴ画像を生成する。
［００６０］
一実施例では、生成器１３８Ｂは、学習データのペアリング（例えば、ＣＢＣＴ画像および本物のＣＴ画像のペアリング）を処理する画像生成トレーニングワークフロー１４０に関連して、ＧＡＮモデル１３８内の識別器１３８Ａおよび生成器１３８Ｂの使用を含むトレーニングの結果として学習された重みおよび値を含む。上述したように、このトレーニングワークフロー１４０は、データソース１６０、１７０、および関連する画像データ１５２から画像データを取得して利用することができる。
一実施例では、生成器１３８Ｂは、学習データのペアリング（例えば、ＣＢＣＴ画像および本物のＣＴ画像のペアリング）を処理する画像生成トレーニングワークフロー１４０に関連して、ＧＡＮモデル１３８内の識別器１３８Ａおよび生成器１３８Ｂの使用を含むトレーニングの結果として学習された重みおよび値を含む。上述したように、このトレーニングワークフロー１４０は、データソース１６０、１７０、および関連する画像データ１５２から画像データを取得して利用することができる。
［００６１］
図２Ａは、Ｘ線源または線形加速器などの放射線源、カウチ２１６、撮像検出器２１４、および放射線治療出力２０４を含む例示的な画像誘導放射線治療装置２０２を図示する。放射線治療装置２０２は、患者に治療を提供するために放射線治療ビーム２０８を放出するように構成されている。放射線治療出力２０４は、マルチリーフコリメータ（ＭＬＣ）などの１つまたはそれ以上の減衰器またはコリメータを含む。理解されるように、放射線治療出力２０４は、画像生成ワークフロー１３０およびＧＡＮの生成器１３８Ｂからの画像生成の関連使用を実装する画像処理ロジック１２０と関連して提供することができる。
図２Ａは、Ｘ線源または線形加速器などの放射線源、カウチ２１６、撮像検出器２１４、および放射線治療出力２０４を含む例示的な画像誘導放射線治療装置２０２を図示する。放射線治療装置２０２は、患者に治療を提供するために放射線治療ビーム２０８を放出するように構成されている。放射線治療出力２０４は、マルチリーフコリメータ（ＭＬＣ）などの１つまたはそれ以上の減衰器またはコリメータを含む。理解されるように、放射線治療出力２０４は、画像生成ワークフロー１３０およびＧＡＮの生成器１３８Ｂからの画像生成の関連使用を実装する画像処理ロジック１２０と関連して提供することができる。
［００６２］
一例として、患者は、治療カウチ２１６によって支持された領域２１２内に配置され、放射線治療計画に従って放射線治療線量を受けることができる。放射線治療出力２０４は、ガントリ２０６または他の機械的支持体に搭載され、または取り付けられる。１つまたはそれ以上のシャーシモータ（図示せず）は、カウチ２１６が治療領域に挿入されたときに、ガントリ２０６および放射線治療出力２０４をカウチ２１６の周りで回転させることができる。一実施例では、ガントリ２０６は、カウチ２１６が処置領域内に挿入されたときに、カウチ２１６の周りで連続的に回転可能である。別の実施例では、ガントリ２０６は、カウチ２１６が処置領域内に挿入されたときに、所定の位置まで回転する。例えば、ガントリ２０６は、治療出力２０４を軸（「Ａ」）の周りに回転させるように構成することができる。カウチ２１６および放射線治療出力２０４の両方は、横方向（「Ｔ」）に移動可能であるか、横方向（「Ｌ」）に移動可能であるか、または横軸（「Ｒ」と表示される）についての回転など、１つまたはそれ以上の他の軸についての回転として、患者の周囲の他の位置に独立して移動可能である。１つまたはそれ以上のアクチュエータ（図示せず）に通信的に接続されたコントローラは、放射線治療計画に従って患者を放射線治療ビーム２０８内または放射線治療ビーム２０８の外に適切に位置決めするために、カウチ２１６の動きまたは回転を制御することができる。カウチ２１６およびガントリ２０６の両方は、互いに独立して複数の自由度で移動可能であり、これにより、放射線治療ビーム２０８が腫瘍を正確に標的にすることができるように患者を位置決めすることができる。
一例として、患者は、治療カウチ２１６によって支持された領域２１２内に配置され、放射線治療計画に従って放射線治療線量を受けることができる。放射線治療出力２０４は、ガントリ２０６または他の機械的支持体に搭載され、または取り付けられる。１つまたはそれ以上のシャーシモータ（図示せず）は、カウチ２１６が治療領域に挿入されたときに、ガントリ２０６および放射線治療出力２０４をカウチ２１６の周りで回転させることができる。一実施例では、ガントリ２０６は、カウチ２１６が処置領域内に挿入されたときに、カウチ２１６の周りで連続的に回転可能である。別の実施例では、ガントリ２０６は、カウチ２１６が処置領域内に挿入されたときに、所定の位置まで回転する。例えば、ガントリ２０６は、治療出力２０４を軸（「Ａ」）の周りに回転させるように構成することができる。カウチ２１６および放射線治療出力２０４の両方は、横方向（「Ｔ」）に移動可能であるか、横方向（「Ｌ」）に移動可能であるか、または横軸（「Ｒ」と表示される）についての回転など、１つまたはそれ以上の他の軸についての回転として、患者の周囲の他の位置に独立して移動可能である。１つまたはそれ以上のアクチュエータ（図示せず）に通信的に接続されたコントローラは、放射線治療計画に従って患者を放射線治療ビーム２０８内または放射線治療ビーム２０８の外に適切に位置決めするために、カウチ２１６の動きまたは回転を制御することができる。カウチ２１６およびガントリ２０６の両方は、互いに独立して複数の自由度で移動可能であり、これにより、放射線治療ビーム２０８が腫瘍を正確に標的にすることができるように患者を位置決めすることができる。
［００６３］
図２Ａに示す座標系（軸Ａ、軸Ｔ、軸Ｌを含む）は、アイソセンタ２１０に位置する原点を有する。アイソセンタ２１０は、患者上または患者内の場所に所定の放射線量を送達するように、放射線治療ビーム２０８の中心軸が座標軸の原点と交差する位置として定義する。代替的に、アイソセンタ２１０は、ガントリ２０６によって軸Ａの周りに位置決めされた放射線治療出力２０４の様々な回転位置のために、放射線治療ビーム２０８の中心軸が患者と交差する位置として定義することができる。
図２Ａに示す座標系（軸Ａ、軸Ｔ、軸Ｌを含む）は、アイソセンタ２１０に位置する原点を有する。アイソセンタ２１０は、患者上または患者内の場所に所定の放射線量を送達するように、放射線治療ビーム２０８の中心軸が座標軸の原点と交差する位置として定義する。代替的に、アイソセンタ２１０は、ガントリ２０６によって軸Ａの周りに位置決めされた放射線治療出力２０４の様々な回転位置のために、放射線治療ビーム２０８の中心軸が患者と交差する位置として定義することができる。
［００６４］
ガントリ２０６はまた付属の撮像検出器２１４を有していてもよい。撮像検出器２１４は、好ましくは、放射線源（出力２０４）に対向して配置され、一実施例では、撮像検出器２１４は、放射線治療ビーム２０８のフィールド内に配置され得る。撮像検出器２１４は、ＣＢＣＴ画像からｓＣＴ画像をリアルタイムで生成するために、画像処理ロジック１２０（ＦＩＧ１）を実装することができる。撮像検出器２１４は、好ましくは、放射線治療ビーム２０８との整列を維持するように、放射線治療出力２０４に対向して、ガントリ２０６に取り付けられることができる。撮像検出器２１４は、ガントリ２０６の回転に伴って回転軸を中心に回転する。例示的な実施形態では、撮像検出器２１４は、フラットパネル検出器（例えば、直接検出器またはシンチレータ検出器）であってもよい。このように、撮像検出器２１４は、放射線治療ビーム２０８を監視するために使用することができ、または、撮像検出器２１４は、ポータルイメージングのような患者の解剖学的な撮像のために使用することができる。放射線治療装置２０２の制御回路は、放射線治療システム１００内に統合されていてもよいし、放射線治療システム１００から離れていてもよい。
ガントリ２０６はまた付属の撮像検出器２１４を有していてもよい。撮像検出器２１４は、好ましくは、放射線源（出力２０４）に対向して配置され、一実施例では、撮像検出器２１４は、放射線治療ビーム２０８のフィールド内に配置され得る。撮像検出器２１４は、ＣＢＣＴ画像からｓＣＴ画像をリアルタイムで生成するために、画像処理ロジック１２０（ＦＩＧ１）を実装することができる。撮像検出器２１４は、好ましくは、放射線治療ビーム２０８との整列を維持するように、放射線治療出力２０４に対向して、ガントリ２０６に取り付けられることができる。撮像検出器２１４は、ガントリ２０６の回転に伴って回転軸を中心に回転する。例示的な実施形態では、撮像検出器２１４は、フラットパネル検出器（例えば、直接検出器またはシンチレータ検出器）であってもよい。このように、撮像検出器２１４は、放射線治療ビーム２０８を監視するために使用することができ、または、撮像検出器２１４は、ポータルイメージングのような患者の解剖学的な撮像のために使用することができる。放射線治療装置２０２の制御回路は、放射線治療システム１００内に統合されていてもよいし、放射線治療システム１００から離れていてもよい。
［００６５］
例示的な一実施例では、カウチ２１６、治療出力２０４、またはガントリ２０６のうちの１つまたはそれ以上が自動的に位置決めされ、治療出力２０４は、特定の治療送達インスタンスのための指定された線量に従って放射線治療ビーム２０８を確立することができる。ガントリ２０６、カウチ２１６、または治療出力２０４の１つまたはそれ以上の異なる向きまたは位置を使用するなど、放射線治療計画に応じて、治療送達のシーケンスを指定することができる。治療の送達は、順次行われ得るが、アイソセンタ２１０のような患者上または患者内の所望の治療部位で交差させることができる。所定の累積線量の放射線治療は、それによって治療部位に送達され得る一方で、治療部位の近くの組織への損傷を減少させるか、または回避することができる。
例示的な一実施例では、カウチ２１６、治療出力２０４、またはガントリ２０６のうちの１つまたはそれ以上が自動的に位置決めされ、治療出力２０４は、特定の治療送達インスタンスのための指定された線量に従って放射線治療ビーム２０８を確立することができる。ガントリ２０６、カウチ２１６、または治療出力２０４の１つまたはそれ以上の異なる向きまたは位置を使用するなど、放射線治療計画に応じて、治療送達のシーケンスを指定することができる。治療の送達は、順次行われ得るが、アイソセンタ２１０のような患者上または患者内の所望の治療部位で交差させることができる。所定の累積線量の放射線治療は、それによって治療部位に送達され得る一方で、治療部位の近くの組織への損傷を減少させるか、または回避することができる。
［００６６］
したがって、図２Ａは、放射線治療出力が中心軸（例えば、軸「Ａ」）を中心に回転可能な構成で、患者に放射線治療を提供するために操作可能な放射線治療装置２０２の例を具体的に示している。他の放射線治療の出力構成を使用することができる。例えば、放射線治療出力は、複数の自由度を有するロボットアームまたはマニピュレータに取り付けることができる。さらなる別の実施例では、治療出力は、患者から横方向に分離された領域に位置するように固定され、患者を支持するプラットフォームは、放射線治療アイソセンタを患者内の特定の標的軌跡に整列させるために使用され得る。別の実施例では、放射線治療装置は、線形加速器と画像取得装置との組み合わせであってもよい。いくつかの実施例では、画像取得装置は、当業者が認識するであろう、ＭＲＩ、Ｘ線、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、光断層撮影、蛍光撮影、超音波撮影、または放射線治療門脈撮影装置などであってもよい。
したがって、図２Ａは、放射線治療出力が中心軸（例えば、軸「Ａ」）を中心に回転可能な構成で、患者に放射線治療を提供するために操作可能な放射線治療装置２０２の例を具体的に示している。他の放射線治療の出力構成を使用することができる。例えば、放射線治療出力は、複数の自由度を有するロボットアームまたはマニピュレータに取り付けることができる。さらなる別の実施例では、治療出力は、患者から横方向に分離された領域に位置するように固定され、患者を支持するプラットフォームは、放射線治療アイソセンタを患者内の特定の標的軌跡に整列させるために使用され得る。別の実施例では、放射線治療装置は、線形加速器と画像取得装置との組み合わせであってもよい。いくつかの実施例では、画像取得装置は、当業者が認識するであろう、ＭＲＩ、Ｘ線、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、光断層撮影、蛍光撮影、超音波撮影、または放射線治療門脈撮影装置などであってもよい。
［００６７］
図２Ｂは、図２Ａ及び図１の画像取得装置１７０の一例としてのＸ線コーンビームコンピュータ断層撮影スキャナ２２０の一例を示す。Ｘ線コーンビームコンピュータ断層撮影スキャナ２２０は、Ｘ線管２２４および検出器２２２を含むことができる。動作中、光子は、Ｘ線管２２４から放出され、検出器２２２に到達する前に、３次元物体（例えば、患者の解剖学の一部）を通って伝搬する。立体物は、放出された光子の一部を吸収することができる。検出器２２２は、受け取られた光子を対応する電子信号に変換することができる２Ｄ平面を含むことができる。電子信号は、２Ｄ投影空間画像を形成するためのように、特定のＸ線経路（直線経路）に沿った吸収強度を記録することができる。また、３Ｄ物体の３Ｄ構造情報を得るために、３Ｄ物体を回転軸について回転させたり、Ｘ線管２２４及び検出器２２２を軌道状に走査して、異なる視野角からの２Ｄ投影空間画像を得るようにすることができる。一実施例では、２Ｄ投影空間画像は、数百枚の２Ｄ投影空間画像に対応することができるなど、２００度以上の範囲に渡って収集することができる。
図２Ｂは、図２Ａ及び図１の画像取得装置１７０の一例としてのＸ線コーンビームコンピュータ断層撮影スキャナ２２０の一例を示す。Ｘ線コーンビームコンピュータ断層撮影スキャナ２２０は、Ｘ線管２２４および検出器２２２を含むことができる。動作中、光子は、Ｘ線管２２４から放出され、検出器２２２に到達する前に、３次元物体（例えば、患者の解剖学の一部）を通って伝搬する。立体物は、放出された光子の一部を吸収することができる。検出器２２２は、受け取られた光子を対応する電子信号に変換することができる２Ｄ平面を含むことができる。電子信号は、２Ｄ投影空間画像を形成するためのように、特定のＸ線経路（直線経路）に沿った吸収強度を記録することができる。また、３Ｄ物体の３Ｄ構造情報を得るために、３Ｄ物体を回転軸について回転させたり、Ｘ線管２２４及び検出器２２２を軌道状に走査して、異なる視野角からの２Ｄ投影空間画像を得るようにすることができる。一実施例では、２Ｄ投影空間画像は、数百枚の２Ｄ投影空間画像に対応することができるなど、２００度以上の範囲に渡って収集することができる。
［００６８］
画像再構成アルゴリズムは、Ｘ線コーンビームコンピュータ断層撮影スキャナ２２０によって収集された２Ｄ投影空間画像から３Ｄ物体の３Ｄ画像を形成するために採用することができる。再構成アルゴリズムは、解析的再構成アルゴリズムと反復的再構成アルゴリズムを含むことができる。一実施例では、解析アルゴリズム（例えば、ＦｅｌｄｋａｍｐまたはＦｅｌｄｋａｍｐ－ｍｏｄｉｆｉｅｄアルゴリズム）を使用して、スキャナ２２０によって収集された２Ｄ投影空間画像を処理して、３Ｄ再構成画像を得ることができる。一実施例では、解析アルゴリズムは、２Ｄ投影空間画像を数秒で処理することができる。しかし、３Ｄ再構成画像は、収集された２Ｄ投影空間画像と解析アルゴリズムに関連する数学的仮定との間の不一致によってもたらされるようなアーチファクトに悩まされる可能性がある。さらに、アーチファクトは、ノイズなどの他のソースから発生することがあり得る。一実施例では、スキャナ２２０によって収集された２Ｄ投影空間画像を処理して３Ｄ再構成画像を得るために、反復アルゴリズムを使用することができる。反復アルゴリズムは、分析アルゴリズムに関連するアーチファクトの一部を抑制することができるが、すべてのタイプではなく、分析アルゴリズムよりも高品質の画像を得ることができるけれど、反復アルゴリズムは、高度なＧＰＵ技術を使用しても、分析アルゴリズムよりもはるかに長い時間がかかる。解析的アルゴリズムも反復的アルゴリズムも、すべての種類のアーチファクトに対して有効ではない。画像中のアーチファクトは、ノイズ、散乱、消光アーチファクト、ビームハードニングアーチファクト、指数関数的エッジ勾配効果、エイリアシング効果、リングアーチファクト、モーションアーチファクト、位置ずれ効果のうちの任意の１つまたはそれ以上を含む。
画像再構成アルゴリズムは、Ｘ線コーンビームコンピュータ断層撮影スキャナ２２０によって収集された２Ｄ投影空間画像から３Ｄ物体の３Ｄ画像を形成するために採用することができる。再構成アルゴリズムは、解析的再構成アルゴリズムと反復的再構成アルゴリズムを含むことができる。一実施例では、解析アルゴリズム（例えば、ＦｅｌｄｋａｍｐまたはＦｅｌｄｋａｍｐ－ｍｏｄｉｆｉｅｄアルゴリズム）を使用して、スキャナ２２０によって収集された２Ｄ投影空間画像を処理して、３Ｄ再構成画像を得ることができる。一実施例では、解析アルゴリズムは、２Ｄ投影空間画像を数秒で処理することができる。しかし、３Ｄ再構成画像は、収集された２Ｄ投影空間画像と解析アルゴリズムに関連する数学的仮定との間の不一致によってもたらされるようなアーチファクトに悩まされる可能性がある。さらに、アーチファクトは、ノイズなどの他のソースから発生することがあり得る。一実施例では、スキャナ２２０によって収集された２Ｄ投影空間画像を処理して３Ｄ再構成画像を得るために、反復アルゴリズムを使用することができる。反復アルゴリズムは、分析アルゴリズムに関連するアーチファクトの一部を抑制することができるが、すべてのタイプではなく、分析アルゴリズムよりも高品質の画像を得ることができるけれど、反復アルゴリズムは、高度なＧＰＵ技術を使用しても、分析アルゴリズムよりもはるかに長い時間がかかる。解析的アルゴリズムも反復的アルゴリズムも、すべての種類のアーチファクトに対して有効ではない。画像中のアーチファクトは、ノイズ、散乱、消光アーチファクト、ビームハードニングアーチファクト、指数関数的エッジ勾配効果、エイリアシング効果、リングアーチファクト、モーションアーチファクト、位置ずれ効果のうちの任意の１つまたはそれ以上を含む。
［００６９］
ノイズアーチファクトには、ラウンドオフエラーや電気ノイズなどの付加的なノイズが含まれる。ノイズアーチファクトには、ポアソン分布に従うことができる光子数ノイズを含まれる。ＣＢＣＴ装置は、ＣＴ装置に比べて約１桁低いミリアンペアの電流で動作するため、ＣＢＣＴ画像のＳ／ＮをＣＴ画像よりも低くすることができる。散乱アーチファクトは、直線経路に沿って移動から逸脱した物体によって散乱された光子によって引き起こされることがある。フォトンが直線経路を移動すると仮定できる特定の再構成アルゴリズムでは、散乱のためにアーチファクトが導入される可能性がある。散乱アーチファクトには、ＣＢＣＴ ２Ｄ／３Ｄ画像の不均一な暗化を含む。消光アーチファクトは、物体に強い吸収を持つ物質が含まれていて、光子が物体を透過できず、検出器上の信号が非常に弱いかゼロになってしまう場合がある。吸収情報は、検出器上の信号が非常に弱い場合やゼロの場合に失われることがある。２ＤＣＢＣＴ投影空間画像における消光アーチファクトは、再構成されたＣＢＣＴ２Ｄ／３Ｄ画像において、強いブライトストリーク様アーチファクトのようなアーチファクトを引き起こす可能性がある。２ＤＣＢＣＴ投影空間画像を形成するために多色Ｘ線ビームが使用される場合、ビーム硬化アーチファクトが発生する可能性がある。多色Ｘ線ビームにおいて、低エネルギーＸ線は、高エネルギーＸ線と低エネルギーＸ線との比の相対的な増加をもたらすことができるように、患者の組織によって優先的に吸収され得る。比率の相対的な増加は、再構成されたＣＢＣＴ２Ｄ／３Ｄ画像のアーチファクトにつながる可能性がある。指数的エッジ勾配効果（ＥＥＧＥ）は、隣接する構造物とのコントラストが高いシャープなエッジで発生する可能性がある。脳波は測定された強度を有限のビーム幅で平均化することで発生するが、再構成のためのアルゴリズムはゼロビーム幅を想定している。ＥＥＧＥは、低減された計算された密度値を提供することができ、投影方向に長い直線エッジの接線にストリークを発生させることができる。画像のサンプリング周波数（単位面積あたりのピクセル）が、サンプリングされる空間周波数の値の２倍未満である場合に、エイリアシングアーチファクト（Aliasing artefacts）が発生する可能性がある。エイリアシングアーチファクトは、ＣＢＣＴ投影空間画像の収集に使用されるような発散コーンビームの結果としても発生する可能性がある。リングアーチファクト（Ring artefacts）は、欠陥や校正されていない検出器素子によって引き起こされることがある。リングアーチファクトは、回転軸を中心とした同心円状のリングとして現れることがある。モーションアーチファクト（Motion artefacts）や位置ズレの影響は、ＣＢＣＴ画像の収集中にソース、オブジェクト、検出器のいずれかの位置ズレによって引き起こされることがある。
ノイズアーチファクトには、ラウンドオフエラーや電気ノイズなどの付加的なノイズが含まれる。ノイズアーチファクトには、ポアソン分布に従うことができる光子数ノイズを含まれる。ＣＢＣＴ装置は、ＣＴ装置に比べて約１桁低いミリアンペアの電流で動作するため、ＣＢＣＴ画像のＳ／ＮをＣＴ画像よりも低くすることができる。散乱アーチファクトは、直線経路に沿って移動から逸脱した物体によって散乱された光子によって引き起こされることがある。フォトンが直線経路を移動すると仮定できる特定の再構成アルゴリズムでは、散乱のためにアーチファクトが導入される可能性がある。散乱アーチファクトには、ＣＢＣＴ ２Ｄ／３Ｄ画像の不均一な暗化を含む。消光アーチファクトは、物体に強い吸収を持つ物質が含まれていて、光子が物体を透過できず、検出器上の信号が非常に弱いかゼロになってしまう場合がある。吸収情報は、検出器上の信号が非常に弱い場合やゼロの場合に失われることがある。２ＤＣＢＣＴ投影空間画像における消光アーチファクトは、再構成されたＣＢＣＴ２Ｄ／３Ｄ画像において、強いブライトストリーク様アーチファクトのようなアーチファクトを引き起こす可能性がある。２ＤＣＢＣＴ投影空間画像を形成するために多色Ｘ線ビームが使用される場合、ビーム硬化アーチファクトが発生する可能性がある。多色Ｘ線ビームにおいて、低エネルギーＸ線は、高エネルギーＸ線と低エネルギーＸ線との比の相対的な増加をもたらすことができるように、患者の組織によって優先的に吸収され得る。比率の相対的な増加は、再構成されたＣＢＣＴ２Ｄ／３Ｄ画像のアーチファクトにつながる可能性がある。指数的エッジ勾配効果（ＥＥＧＥ）は、隣接する構造物とのコントラストが高いシャープなエッジで発生する可能性がある。脳波は測定された強度を有限のビーム幅で平均化することで発生するが、再構成のためのアルゴリズムはゼロビーム幅を想定している。ＥＥＧＥは、低減された計算された密度値を提供することができ、投影方向に長い直線エッジの接線にストリークを発生させることができる。画像のサンプリング周波数（単位面積あたりのピクセル）が、サンプリングされる空間周波数の値の２倍未満である場合に、エイリアシングアーチファクト（Aliasing artefacts）が発生する可能性がある。エイリアシングアーチファクトは、ＣＢＣＴ投影空間画像の収集に使用されるような発散コーンビームの結果としても発生する可能性がある。リングアーチファクト（Ring artefacts）は、欠陥や校正されていない検出器素子によって引き起こされることがある。リングアーチファクトは、回転軸を中心とした同心円状のリングとして現れることがある。モーションアーチファクト（Motion artefacts）や位置ズレの影響は、ＣＢＣＴ画像の収集中にソース、オブジェクト、検出器のいずれかの位置ズレによって引き起こされることがある。
［００７０］
これらのＣＢＣＴ画像は、画像処理ロジック１２０（図１）を使用するような、本明細書で議論されるようなＧＡＮを含むディープラーニング（ＤＬ）／機械学習（ＭＬ）アプローチの使用によって改善され得る。ＡＩ、ＤＬ、ＭＬのいずれも、ランダム変数の確率とその確率分布を数学的に解析したものである。通常、ランダム変数は、ペアＸ、Ｙ、｛ｘｉ，ｙｉ｝，ｉ＝１，Ｎとして観測され、ここで、それぞれの値ｘｉ∈Ｘに対して、我々は、それを、スカラーのカテゴリインデックスｙｉ∈Ｙ（分類）で表されるクラスやカテゴリに割り当てたい、または、関数ｙｉ＝ｆ（ｘｉ）（回帰）に従って数値を割り当てたいと考えている。すべての分類法や回帰法は、ランダム変数Ｘ、Ｙを記述するための確率分布の概念に依存する。ランダム変数Ｘ、ｐ（ｘ）（ｘは離散または連続のいずれか）に対する確率分布は、次の条件を満たさなければならない。（１）ｐ（ｘ）の領域は、ｘのすべての可能な値の集合である。（２）すべてのｘ∈Ｘに対して、ｐ（ｘ）≧０を満足する。（３）∫Ｘｐ（ｘ）ｄｘ＝１を満足する。分布ｐ（ｘ）から抽出されたサンプルｘは、ｘ～ｐ（ｘ）と表記される。Ｘ、Ｙの合同分布（joint distribution）はｐ（ｘ，ｙ）と表記され、限界分布をｘとして、合同分布ｐ（ｘ，ｙ）を与えられたｐ（ｘ）は、ｐ（ｘ）＝∫ｐ（ｘ，ｙ）ｄｙとなる。ｘの値を条件としてｙを観測する確率は、ｐ（ｙ｜ｘ）＝ｐ（ｘ，ｙ）／ｐ（ｘ）となる。データｘが与えられたときにｙを観測する条件付き確率は、データ尤度と呼ばれる。ベイズの法則は、Ｘ，Ｙの条件付き尤度を、ｐ（ｙ｜ｘ）＝ｐ（ｘ｜ｙ）ｐ（ｙ）／ｐ（ｘ）とする。
これらのＣＢＣＴ画像は、画像処理ロジック１２０（図１）を使用するような、本明細書で議論されるようなＧＡＮを含むディープラーニング（ＤＬ）／機械学習（ＭＬ）アプローチの使用によって改善され得る。ＡＩ、ＤＬ、ＭＬのいずれも、ランダム変数の確率とその確率分布を数学的に解析したものである。通常、ランダム変数は、ペアＸ、Ｙ、｛ｘｉ，ｙｉ｝，ｉ＝１，Ｎとして観測され、ここで、それぞれの値ｘｉ∈Ｘに対して、我々は、それを、スカラーのカテゴリインデックスｙｉ∈Ｙ（分類）で表されるクラスやカテゴリに割り当てたい、または、関数ｙｉ＝ｆ（ｘｉ）（回帰）に従って数値を割り当てたいと考えている。すべての分類法や回帰法は、ランダム変数Ｘ、Ｙを記述するための確率分布の概念に依存する。ランダム変数Ｘ、ｐ（ｘ）（ｘは離散または連続のいずれか）に対する確率分布は、次の条件を満たさなければならない。（１）ｐ（ｘ）の領域は、ｘのすべての可能な値の集合である。（２）すべてのｘ∈Ｘに対して、ｐ（ｘ）≧０を満足する。（３）∫Ｘｐ（ｘ）ｄｘ＝１を満足する。分布ｐ（ｘ）から抽出されたサンプルｘは、ｘ～ｐ（ｘ）と表記される。Ｘ、Ｙの合同分布（joint distribution）はｐ（ｘ，ｙ）と表記され、限界分布をｘとして、合同分布ｐ（ｘ，ｙ）を与えられたｐ（ｘ）は、ｐ（ｘ）＝∫ｐ（ｘ，ｙ）ｄｙとなる。ｘの値を条件としてｙを観測する確率は、ｐ（ｙ｜ｘ）＝ｐ（ｘ，ｙ）／ｐ（ｘ）となる。データｘが与えられたときにｙを観測する条件付き確率は、データ尤度と呼ばれる。ベイズの法則は、Ｘ，Ｙの条件付き尤度を、ｐ（ｙ｜ｘ）＝ｐ（ｘ｜ｙ）ｐ（ｙ）／ｐ（ｘ）とする。
［００７１］
統計的学習の目的は、任意のｙをｘに関連付けるマッピングｆ：ｘ→ｙを決定することである。その中でも特に重要な方法の一つが最尤推定である。トレーニングデータは、プロセスｐdata（ｘ，ｙ）によって生成されたものとする。マッピングを見つけるには、マッピングがｘに加えて依存するパラメータθを含むモデルプロセスｐmodel（ｘ；θ）を学習する必要がある。例えば、θは、ニューラルネットワーク層の重みやバイアスパラメータを含む。最尤推定は、ｘの最も可能性の高い値を与えるパラメータθＬを次のように推定する。
統計的学習の目的は、任意のｙをｘに関連付けるマッピングｆ：ｘ→ｙを決定することである。その中でも特に重要な方法の一つが最尤推定である。トレーニングデータは、プロセスｐdata（ｘ，ｙ）によって生成されたものとする。マッピングを見つけるには、マッピングがｘに加えて依存するパラメータθを含むモデルプロセスｐmodel（ｘ；θ）を学習する必要がある。例えば、θは、ニューラルネットワーク層の重みやバイアスパラメータを含む。最尤推定は、ｘの最も可能性の高い値を与えるパラメータθＬを次のように推定する。
［００７２］
ここで、Ｅは括弧付き引数の期待値である。確率分布の近似が困難であるので、また、目標は、ｐdata（ｘ）分布とｐmodel（ｘ；θ）分布間の差を最小化することであるので、ＫＬダイバージェンス（KL divergence）は、データに基づいた次の代替手段を提供する。
ここで、Ｅは括弧付き引数の期待値である。確率分布の近似が困難であるので、また、目標は、ｐdata（ｘ）分布とｐmodel（ｘ；θ）分布間の差を最小化することであるので、ＫＬダイバージェンス（KL divergence）は、データに基づいた次の代替手段を提供する。
［００７３］
ここで、最尤度は、モデル分布とデータ分布の差を最小化することに等しい。ｌｏｇ ｐdata（ｘ）項はモデルに依存しないので、ＤKLを最小化するためには次式を最小化する必要がある。
ここで、最尤度は、モデル分布とデータ分布の差を最小化することに等しい。ｌｏｇ ｐdata（ｘ）項はモデルに依存しないので、ＤKLを最小化するためには次式を最小化する必要がある。
［００７４］
これは、モデル式中に暗に含まれたθを有する式（１）と同じである。所望のマッピングは、ｆ（θ）：ｘ～ｐmodel→ｙとなる。
これは、モデル式中に暗に含まれたθを有する式（１）と同じである。所望のマッピングは、ｆ（θ）：ｘ～ｐmodel→ｙとなる。
［００７５］
マルチのパスアプローチ（変形可能なオフセット層を持つのパスと、変形可能なオフセット層を持たないのパス）を利用する、現在開示されたＣＴ画像モデリングおよびｓＣＴ画像生成のためのシステムは、放射線治療の治療計画および画像生成をモデリングするための最新のニューラルネットワーク技術の有用な応用を提供する。ニューラルネットワーク（ＮＮｓ）は、１９６０年代から、分類問題（観測データｘを２つ以上のクラスｙｉ，ｉ＝１，．．．，ｎのうちの１つに割り当てる）や、回帰問題（観測データｘをそのデータに関連するパラメータの値ｙと関連付ける）の解決策として研究されてきた。ＣＴおよびＣＢＣＴ画像パラメータの生成は、ＧＡＮ構成によって学習されたＮＮ生成モデルの使用によって生成される回帰問題と考えてもよい。上記および以下の説明は、ひとつのパスが変形可能なオフセット層を有し、ひとつのパスが変形可能なオフセット層を有さないマルチのパスアプローチに関するものであるが、変形可能なオフセット層は、変形された構造情報を格納するために利用できる他の形態またはタイプ（例えば、空間変換層またはトランスフォーマー）を取ることができる。
マルチのパスアプローチ（変形可能なオフセット層を持つのパスと、変形可能なオフセット層を持たないのパス）を利用する、現在開示されたＣＴ画像モデリングおよびｓＣＴ画像生成のためのシステムは、放射線治療の治療計画および画像生成をモデリングするための最新のニューラルネットワーク技術の有用な応用を提供する。ニューラルネットワーク（ＮＮｓ）は、１９６０年代から、分類問題（観測データｘを２つ以上のクラスｙｉ，ｉ＝１，．．．，ｎのうちの１つに割り当てる）や、回帰問題（観測データｘをそのデータに関連するパラメータの値ｙと関連付ける）の解決策として研究されてきた。ＣＴおよびＣＢＣＴ画像パラメータの生成は、ＧＡＮ構成によって学習されたＮＮ生成モデルの使用によって生成される回帰問題と考えてもよい。上記および以下の説明は、ひとつのパスが変形可能なオフセット層を有し、ひとつのパスが変形可能なオフセット層を有さないマルチのパスアプローチに関するものであるが、変形可能なオフセット層は、変形された構造情報を格納するために利用できる他の形態またはタイプ（例えば、空間変換層またはトランスフォーマー）を取ることができる。
［００７６］
シンプルＮＮは、入力層、中間層または隠れ層、および出力層から構成され、それぞれが計算ユニットまたはノードを含む。隠れ層ノードは、入力層のすべてのノードからの入力を持ち、出力層のすべてのノードに接続されている。このようなネットワークは「完全に接続されている（fully connected）」と呼ばれている。各ノードは、その入力の和の非線形関数に応じて、出力ノードに信号を伝達する。分類器の場合、入力層ノードの数は、通常、クラスに分類されるオブジェクトの集合のそれぞれの特徴量の数に等しく、出力層ノードの数はクラスの数に等しくなる。ネットワークは、既知のクラスのオブジェクトの特徴を提示し、バックプロパゲーションと呼ばれるアルゴリズムによって学習誤差を減らすためにノードの重みを調整することによってトレーニングされる。このようにして、トレーニングされたネットワークは、クラスが不明な新しいオブジェクトを分類することができる。
シンプルＮＮは、入力層、中間層または隠れ層、および出力層から構成され、それぞれが計算ユニットまたはノードを含む。隠れ層ノードは、入力層のすべてのノードからの入力を持ち、出力層のすべてのノードに接続されている。このようなネットワークは「完全に接続されている（fully connected）」と呼ばれている。各ノードは、その入力の和の非線形関数に応じて、出力ノードに信号を伝達する。分類器の場合、入力層ノードの数は、通常、クラスに分類されるオブジェクトの集合のそれぞれの特徴量の数に等しく、出力層ノードの数はクラスの数に等しくなる。ネットワークは、既知のクラスのオブジェクトの特徴を提示し、バックプロパゲーションと呼ばれるアルゴリズムによって学習誤差を減らすためにノードの重みを調整することによってトレーニングされる。このようにして、トレーニングされたネットワークは、クラスが不明な新しいオブジェクトを分類することができる。
［００７７］
ニューラルネットワークは、データとクラスや回帰値の関係性を発見する能力を持ち、ある条件下では非線形関数を含むあらゆる関数ｙ＝ｆ（ｘ）をエミュレートすることができる。ＭＬでは、学習データとテストデータは同じデータ生成プロセスＰｄａｔａによって生成され、各サンプル（ｘｉ，ｙｉ）は同一かつ独立に分布していること（identically and independently distributed：i.i.d.)を前提としている。ＭＬでは、学習誤差を最小化し、トレーニング誤差と試験誤差の差をできるだけ小さくすることを目標としている．トレーニング誤差が大きすぎるとアンダーフィッティングが発生し、トレーニングと試験の誤差のギャップが大きすぎるとオーバーフィットが発生する。どちらのタイプの性能不足もモデルの容量に関連しており、大容量であるとトレーニングデータに非常によくフィットするが、オーバーフィットにつながり得る。ＤＮＮは、膨大な容量を有するので、機械学習ではオーバーフィットがより一般的な問題となっている。
ニューラルネットワークは、データとクラスや回帰値の関係性を発見する能力を持ち、ある条件下では非線形関数を含むあらゆる関数ｙ＝ｆ（ｘ）をエミュレートすることができる。ＭＬでは、学習データとテストデータは同じデータ生成プロセスＰｄａｔａによって生成され、各サンプル（ｘｉ，ｙｉ）は同一かつ独立に分布していること（identically and independently distributed：i.i.d.)を前提としている。ＭＬでは、学習誤差を最小化し、トレーニング誤差と試験誤差の差をできるだけ小さくすることを目標としている．トレーニング誤差が大きすぎるとアンダーフィッティングが発生し、トレーニングと試験の誤差のギャップが大きすぎるとオーバーフィットが発生する。どちらのタイプの性能不足もモデルの容量に関連しており、大容量であるとトレーニングデータに非常によくフィットするが、オーバーフィットにつながり得る。ＤＮＮは、膨大な容量を有するので、機械学習ではオーバーフィットがより一般的な問題となっている。
［００７８］
ディープラーニングとは、入力と出力が複雑に配置された多数の隠れ層を持つＤＮＮを採用し、画像認識や音声認識などの作業において人間レベルの性能を発揮する機械学習手法である。本実施例では、観測データＸと出力Ｙとの関係を決定するためにＤＮＮをトレーニングすることができる。データＸ＝｛Ｘ１，．．．Ｘｎ｝はＣＢＣＴ画像の集合体であり、出力ＹはｓＣＴ画像である。
ディープラーニングとは、入力と出力が複雑に配置された多数の隠れ層を持つＤＮＮを採用し、画像認識や音声認識などの作業において人間レベルの性能を発揮する機械学習手法である。本実施例では、観測データＸと出力Ｙとの関係を決定するためにＤＮＮをトレーニングすることができる。データＸ＝｛Ｘ１，．．．Ｘｎ｝はＣＢＣＴ画像の集合体であり、出力ＹはｓＣＴ画像である。
［００７９］
ＤＮＮの動作は、次の関数ｆ（・）によって象徴的に捕捉される。
ＤＮＮの動作は、次の関数ｆ（・）によって象徴的に捕捉される。
［００８０］
ここで、Θ＝（θ１，．．．θｎ）Ｔは、Ｙ＊が学習時に観測された真のＹに最も近い近似値であるトレーニングされたＮＮに関連するパラメータのベクトルである。ＤＮＮは、トレーニング用ＣＢＣＴ画像Ｘと、既知の実在する対応するまたは登録されたＣＴ画像Ｙのデータセット｛Ｘ，Ｙ｝i，ｉ＝１，．．．，Ｎを用いてトレーニングされる。トレーニングは、次の並べ替えのコスト関数Ｊ（Θ）を最小化する。
ここで、Θ＝（θ１，．．．θｎ）Ｔは、Ｙ＊が学習時に観測された真のＹに最も近い近似値であるトレーニングされたＮＮに関連するパラメータのベクトルである。ＤＮＮは、トレーニング用ＣＢＣＴ画像Ｘと、既知の実在する対応するまたは登録されたＣＴ画像Ｙのデータセット｛Ｘ，Ｙ｝i，ｉ＝１，．．．，Ｎを用いてトレーニングされる。トレーニングは、次の並べ替えのコスト関数Ｊ（Θ）を最小化する。
［００８１］
ここでΘ＊は、実際のＸと推定値Ｙの間の平均二乗誤差を最小化するパラメータの集合である。深層学習では、コスト関数は、データ近似関数を問題変数の確率関数、またはＸが与えられ、式Ｐ（Ｙ、Ｘ；Θ）として表されるパラメータΘの値に従うＹを観測する条件付き尤度として表すことがよくあり、この式に対して、尤度を最大化することにより、次式のような最適なパラメータΘＭＬが得られる。
ここでΘ＊は、実際のＸと推定値Ｙの間の平均二乗誤差を最小化するパラメータの集合である。深層学習では、コスト関数は、データ近似関数を問題変数の確率関数、またはＸが与えられ、式Ｐ（Ｙ、Ｘ；Θ）として表されるパラメータΘの値に従うＹを観測する条件付き尤度として表すことがよくあり、この式に対して、尤度を最大化することにより、次式のような最適なパラメータΘＭＬが得られる。
［００８２］
［００８８］
または、代わりに、次式もあり得る。
［００８８］
または、代わりに、次式もあり得る。
［００８３］
この式は、トレーニングデータを合計したものである。
この式は、トレーニングデータを合計したものである。
［００８４］
実際のＣＴクラスに属するｓＣＴ画像を識別する結果となるＤＮＮ出力は、分類の一例である。この場合、ＤＮＮの出力は、ＣＢＣＴ画像マップ Ｙ＝（ｙ１，．．．，ｙＭ）Ｔの実値要素ｙｉとなり、ネットワーク計算が回帰の一実施例となることを意味する。
実際のＣＴクラスに属するｓＣＴ画像を識別する結果となるＤＮＮ出力は、分類の一例である。この場合、ＤＮＮの出力は、ＣＢＣＴ画像マップ Ｙ＝（ｙ１，．．．，ｙＭ）Ｔの実値要素ｙｉとなり、ネットワーク計算が回帰の一実施例となることを意味する。
［００８５］
ＤＮＮは、基本的なＮＮの実装よりも多くの層（はるかに深い）を持っており、ＤＮＮは多くの場合、数十から数百の層を含み、各層は数千から数十万のノードで構成され、層は複雑な形状に配置されている。入力の加重和に加えて、いくつかの層では、畳み込みなどの前の層の出力に対して他の演算を計算する。畳み込みとそこから派生したフィルタは、画像のエッジやサウンドストリームの時間的／ピッチ的特徴を見つけ出し、後続の層はこれらのプリミティブ（primitives）で構成されたより大きな構造を見つけ出すことができる。このような畳み込み層の使用を伴うトレーニングされたＤＮＮは、畳み込みニューラルネットワーク（ＣＮＮ）と呼ばれている。
ＤＮＮは、基本的なＮＮの実装よりも多くの層（はるかに深い）を持っており、ＤＮＮは多くの場合、数十から数百の層を含み、各層は数千から数十万のノードで構成され、層は複雑な形状に配置されている。入力の加重和に加えて、いくつかの層では、畳み込みなどの前の層の出力に対して他の演算を計算する。畳み込みとそこから派生したフィルタは、画像のエッジやサウンドストリームの時間的／ピッチ的特徴を見つけ出し、後続の層はこれらのプリミティブ（primitives）で構成されたより大きな構造を見つけ出すことができる。このような畳み込み層の使用を伴うトレーニングされたＤＮＮは、畳み込みニューラルネットワーク（ＣＮＮ）と呼ばれている。
［００８６］
スキップ接続はＣＮＮの重要な構築技術的（architectural）革新である。スキップ接続は、もともと精度を向上させ、トレーニングを短縮するために導入されたもので、ネットワークのあるレベルのノードのデータを別のレベルのノードのデータに接続する。重要な実施例として、医用画像のセグメンテーションのために開発されたＵ－Ｎｅｔアーキテクチャがある。後述するように、「Ｕ」の「左」の部分は、画像データを畳み込みフィルタ特徴量として符号化（encode）し、「Ｕ」の「右」の部分は、それらの特徴量を連続した高解像度表現に復号化（decode）する。同じネットワーク階層レベルで符号化された特徴と復号化された特徴を組み合わせることで、より正確な分類が可能になる。スキップ接続の他のバリエーションは，各ＣＮＮブロック内に実装されており，レイヤ出力を直接ではなく，レイヤ出力間の差分（残差）でトレーニングすることである。この「ＲｅｓＮｅｔ」アーキテクチャとその多くのバリエーションにより、ＮＮの精度を向上させることができる。
スキップ接続はＣＮＮの重要な構築技術的（architectural）革新である。スキップ接続は、もともと精度を向上させ、トレーニングを短縮するために導入されたもので、ネットワークのあるレベルのノードのデータを別のレベルのノードのデータに接続する。重要な実施例として、医用画像のセグメンテーションのために開発されたＵ－Ｎｅｔアーキテクチャがある。後述するように、「Ｕ」の「左」の部分は、画像データを畳み込みフィルタ特徴量として符号化（encode）し、「Ｕ」の「右」の部分は、それらの特徴量を連続した高解像度表現に復号化（decode）する。同じネットワーク階層レベルで符号化された特徴と復号化された特徴を組み合わせることで、より正確な分類が可能になる。スキップ接続の他のバリエーションは，各ＣＮＮブロック内に実装されており，レイヤ出力を直接ではなく，レイヤ出力間の差分（残差）でトレーニングすることである。この「ＲｅｓＮｅｔ」アーキテクチャとその多くのバリエーションにより、ＮＮの精度を向上させることができる。
［００８７］
図３Ａは、本開示に従って合成のＣＴ画像（ｓＣＴ）を生成するために適合された例示的なＣＮＮモデル３００を示す。すなわち、モデル３００は、入力トレーニングセット（例えば、ペアのＣＢＣＴおよびＣＴ画像３０２、３０４）に基づいて出力データセット（出力ｓＣＴ画像３０６）を生成するように設計された「Ｕ－Ｎｅｔ」深層ＣＮＮの配置を描写する。名前は「Ｕ」の構成に由来しており、よく理解されているように、この形式のＮＮモデルは、ピクセル単位の分類または回帰結果を生成することができる。いくつかのケースでは、ＣＮＮモデル３００につながる第１のパスは、１つまたはそれ以上の変形可能なオフセット層と１つまたはそれ以上の畳み込み層を含み、ＣＮＮモデル３００につながる第２のパスは、変形可能なオフセット層を含まず、１つまたはそれ以上の畳み込み層を含む。モデル３００は、出力データセットとして、第１のパスおよび第２のパスを介して、第１のｓＣＴ画像および第２のｓＣＴ画像３０６（第１のパスを介して生成されたものと、第２のパスを介して生成されたもの）を、並行してまたは順次に生成する。
図３Ａは、本開示に従って合成のＣＴ画像（ｓＣＴ）を生成するために適合された例示的なＣＮＮモデル３００を示す。すなわち、モデル３００は、入力トレーニングセット（例えば、ペアのＣＢＣＴおよびＣＴ画像３０２、３０４）に基づいて出力データセット（出力ｓＣＴ画像３０６）を生成するように設計された「Ｕ－Ｎｅｔ」深層ＣＮＮの配置を描写する。名前は「Ｕ」の構成に由来しており、よく理解されているように、この形式のＮＮモデルは、ピクセル単位の分類または回帰結果を生成することができる。いくつかのケースでは、ＣＮＮモデル３００につながる第１のパスは、１つまたはそれ以上の変形可能なオフセット層と１つまたはそれ以上の畳み込み層を含み、ＣＮＮモデル３００につながる第２のパスは、変形可能なオフセット層を含まず、１つまたはそれ以上の畳み込み層を含む。モデル３００は、出力データセットとして、第１のパスおよび第２のパスを介して、第１のｓＣＴ画像および第２のｓＣＴ画像３０６（第１のパスを介して生成されたものと、第２のパスを介して生成されたもの）を、並行してまたは順次に生成する。
［００８８］
モデル操作の左側（「符号化」操作３１２）は、右側（「復号化」操作３１４）が出力結果を再構成するために使用する特徴のセットを学習する。Ｕ－Ｎｅｔは、ｃｏｎｖ／ＢＮ／ＲｅＬＵ（畳み込み／バッチ正規化／修正線形単位）ブロック３１６からなるｎレベルを有し、各ブロックは、残差学習を実施するためのスキップ接続を有する。ブロックサイズは、図３Ａでは「Ｓ」および「Ｆ」の数で示され、入力画像のサイズはＳｘＳであり、特徴層の数はＦに等しい。各ブロックの出力は、画像と同じサイズの配列の特徴応答のパターンである。
モデル操作の左側（「符号化」操作３１２）は、右側（「復号化」操作３１４）が出力結果を再構成するために使用する特徴のセットを学習する。Ｕ－Ｎｅｔは、ｃｏｎｖ／ＢＮ／ＲｅＬＵ（畳み込み／バッチ正規化／修正線形単位）ブロック３１６からなるｎレベルを有し、各ブロックは、残差学習を実施するためのスキップ接続を有する。ブロックサイズは、図３Ａでは「Ｓ」および「Ｆ」の数で示され、入力画像のサイズはＳｘＳであり、特徴層の数はＦに等しい。各ブロックの出力は、画像と同じサイズの配列の特徴応答のパターンである。
［００８９］
符号化のパスを下に進むと、ブロックのサイズは各レベルで１／２または２－１で減少するが、慣習（convention）による特徴のサイズは２の要因で増加する。ネットワークのデコード側はＳ／２ｎからスケールアップし、左側から特徴内容を同じレベルで追加していき、これはコピー／コンカテネート（copy/concatenate）データ通信である。図３Ａに示す入力画像３０２、３０４は、出力画像が存在しないので、ｃｏｎｖ／ＢＮ／ＲｅＬＵ層のパラメータを評価するためのネットワークをトレーニングするために提供される。モデルを使用した推論、またはテストのために、入力はＣＢＣＴ画像３０２の単一画像であり、出力はｓＣＴ画像３０６である。
符号化のパスを下に進むと、ブロックのサイズは各レベルで１／２または２－１で減少するが、慣習（convention）による特徴のサイズは２の要因で増加する。ネットワークのデコード側はＳ／２ｎからスケールアップし、左側から特徴内容を同じレベルで追加していき、これはコピー／コンカテネート（copy/concatenate）データ通信である。図３Ａに示す入力画像３０２、３０４は、出力画像が存在しないので、ｃｏｎｖ／ＢＮ／ＲｅＬＵ層のパラメータを評価するためのネットワークをトレーニングするために提供される。モデルを使用した推論、またはテストのために、入力はＣＢＣＴ画像３０２の単一画像であり、出力はｓＣＴ画像３０６である。
［００９０］
図３Ａのモデル３００の表現は、このようにして、分類ではなく回帰を実行するように適合された生成モデルのトレーニングおよび予測を例示する。図３Ｂは、本開示に従って合成のＣＴ画像（ｓＣＴ）を識別するために適合した例示的なＣＮＮモデルを示す。図３Ｂに示す識別器ネットワークは、ストライド２畳み込み層（stride-2 convolutional layers）、バッチ正規化層（batch normalization layers）およびＲｅＬｕ層（ReLu layers）で構成された複数のレベルのブロック、および分離されたプーリング層を含むことができる。ネットワークの最後には、識別目的のための２Ｄパッチを形成するために、１層または数層の完全接続層が存在することになる。図３Ｂに示された識別器は、入力ｓＣＴ画像（例えば、変形可能なオフセット層を含む図３Ａに示された生成器から第１のパスから生成されたもの）を受け取り、画像を本物（real）または偽物（fake）として分類し、その分類を出力３５０として提供するように構成されたパッチベースの識別器であり得る。
図３Ａのモデル３００の表現は、このようにして、分類ではなく回帰を実行するように適合された生成モデルのトレーニングおよび予測を例示する。図３Ｂは、本開示に従って合成のＣＴ画像（ｓＣＴ）を識別するために適合した例示的なＣＮＮモデルを示す。図３Ｂに示す識別器ネットワークは、ストライド２畳み込み層（stride-2 convolutional layers）、バッチ正規化層（batch normalization layers）およびＲｅＬｕ層（ReLu layers）で構成された複数のレベルのブロック、および分離されたプーリング層を含むことができる。ネットワークの最後には、識別目的のための２Ｄパッチを形成するために、１層または数層の完全接続層が存在することになる。図３Ｂに示された識別器は、入力ｓＣＴ画像（例えば、変形可能なオフセット層を含む図３Ａに示された生成器から第１のパスから生成されたもの）を受け取り、画像を本物（real）または偽物（fake）として分類し、その分類を出力３５０として提供するように構成されたパッチベースの識別器であり得る。
［００９１］
本開示の実施形態によれば、このようなモデルに基づく治療モデリング方法、システム、装置、および／またはプロセスは、２つの段階、すなわち、ＧＡＮにおける識別器／生成器のペアを使用した生成モデルのトレーニングと、ＧＡＮでトレーニングされた生成器を使用した生成モデルを使用した予測とを含む。ｓＣＴ画像生成のためのＧＡＮとＣｙｃｌｅＧＡＮが関与する様々な実施例については、以下の実施例で詳細に説明する。深層学習モデルの種類および他のニューラルネットワーク処理アプローチの他のバリエーションおよび組み合わせもまた、本技術を用いて実施され得ることが理解されるであろう。さらに、以下の実施例は、画像および画像データを参照して論じているが、以下のネットワークおよびＧＡＮは、他の非画像データ表現およびフォーマットを使用して動作してもよいことが理解されるであろう。また、トレーニング時には第１のｓＣＴ画像および第２のｓＣＴ画像を生成するために２つのパスが使用されると説明されているが、実際には、ＣＢＣＴ画像からｓＣＴ画像を生成するように生成器がトレーニングされた後、１つのパス（変形可能なオフセット層を含まない第２のパス）のみが使用される。
本開示の実施形態によれば、このようなモデルに基づく治療モデリング方法、システム、装置、および／またはプロセスは、２つの段階、すなわち、ＧＡＮにおける識別器／生成器のペアを使用した生成モデルのトレーニングと、ＧＡＮでトレーニングされた生成器を使用した生成モデルを使用した予測とを含む。ｓＣＴ画像生成のためのＧＡＮとＣｙｃｌｅＧＡＮが関与する様々な実施例については、以下の実施例で詳細に説明する。深層学習モデルの種類および他のニューラルネットワーク処理アプローチの他のバリエーションおよび組み合わせもまた、本技術を用いて実施され得ることが理解されるであろう。さらに、以下の実施例は、画像および画像データを参照して論じているが、以下のネットワークおよびＧＡＮは、他の非画像データ表現およびフォーマットを使用して動作してもよいことが理解されるであろう。また、トレーニング時には第１のｓＣＴ画像および第２のｓＣＴ画像を生成するために２つのパスが使用されると説明されているが、実際には、ＣＢＣＴ画像からｓＣＴ画像を生成するように生成器がトレーニングされた後、１つのパス（変形可能なオフセット層を含まない第２のパス）のみが使用される。
［００９２］
ディープＣＮＮトレーニングでは，学習モデルはトレーニング中に決定された層ノードパラメータθ（ノード重みと層バイアス）の値である。トレーニングは、トレーニングデータとモデル分布の間の最尤度またはクロスエントロピー（cross entropy）を使用する。この関係を表すコスト関数は次式となる。
ディープＣＮＮトレーニングでは，学習モデルはトレーニング中に決定された層ノードパラメータθ（ノード重みと層バイアス）の値である。トレーニングは、トレーニングデータとモデル分布の間の最尤度またはクロスエントロピー（cross entropy）を使用する。この関係を表すコスト関数は次式となる。
［００９３］
特定の問題に対するコスト関数の正確な形式は、使用されるモデルの性質に依存する。ガウスモデルｐｍｏｄｅｌ（ｙ｜ｘ）＝Ｎ（ｙ：ｆ（ｘ；θ））は、次のようなコスト関数を意味する。
特定の問題に対するコスト関数の正確な形式は、使用されるモデルの性質に依存する。ガウスモデルｐｍｏｄｅｌ（ｙ｜ｘ）＝Ｎ（ｙ：ｆ（ｘ；θ））は、次のようなコスト関数を意味する。
［００９４］
この式は、θに依存しない定数項を含む。したがって、Ｊ（θ）を最小化すると、トレーニングデータの分布を近似するマッピングｆ（ｘ；θ）が生成される。
この式は、θに依存しない定数項を含む。したがって、Ｊ（θ）を最小化すると、トレーニングデータの分布を近似するマッピングｆ（ｘ；θ）が生成される。
［００９５］
図４は、受け取ったＣＢＣＴ画像から合成のＣＴ画像を生成するために適合した敵対的生成ネットワークのトレーニングと使用のための例示的なデータフローを示す。例えば、トレーニングされた生成器モデル４６０を生成するためにトレーニングされた図４の生成器モデル４３２は、複数の並列なのパス（畳み込み層と１つまたはそれ以上の変形可能なオフセット層を含むものと、畳み込み層のみを含むもの）を介して、図１の放射線治療システム１００における画像処理ロジック１２０の一部として提供される処理機能１３２，１３４を実装するためにトレーニングすることができる。従って、ＧＡＮモデル使用（予測）４５０のデータフローは、トレーニングされた生成器モデル４６０への新しいデータ４７０（例えば、新しい患者からのＣＢＣＴ入力画像）の提供、および生成結果（generation result）４８０（例えば、入力ＣＢＣＴ画像に対応するｓＣＴ画像）の予測または推定値を生成するためのトレーニングされた生成器モデル４６０を使用するものとして、図４に描かれている。
図４は、受け取ったＣＢＣＴ画像から合成のＣＴ画像を生成するために適合した敵対的生成ネットワークのトレーニングと使用のための例示的なデータフローを示す。例えば、トレーニングされた生成器モデル４６０を生成するためにトレーニングされた図４の生成器モデル４３２は、複数の並列なのパス（畳み込み層と１つまたはそれ以上の変形可能なオフセット層を含むものと、畳み込み層のみを含むもの）を介して、図１の放射線治療システム１００における画像処理ロジック１２０の一部として提供される処理機能１３２，１３４を実装するためにトレーニングすることができる。従って、ＧＡＮモデル使用（予測）４５０のデータフローは、トレーニングされた生成器モデル４６０への新しいデータ４７０（例えば、新しい患者からのＣＢＣＴ入力画像）の提供、および生成結果（generation result）４８０（例えば、入力ＣＢＣＴ画像に対応するｓＣＴ画像）の予測または推定値を生成するためのトレーニングされた生成器モデル４６０を使用するものとして、図４に描かれている。
［００９６］
ＧＡＮは、分類または回帰を実行するためにトレーニングされる生成ネットワーク（例えば、生成器モデル４３２）と、生成ネットワークの出力分布（例えば、シミュレーション出力４３６）をサンプリングし、そのサンプルが真のテスト分布と同じか異なるかを決定する識別ネットワーク（例えば、識別器モデル４４０）との２つのネットワークから構成される。このネットワークシステムの目標は、判別器ネットが５０％の確率でしか生成器サンプルの正しい原点を決定できないように、生成器ネットを駆動して、生成器ネットとの均衡に達するように、可能な限り正確に基底真理モデルを学習させることである。識別器はグラウンドトゥルースにアクセスすることができるが、生成器は生成器の出力に対する検出器の応答を通してのみトレーニングデータにアクセスする。
ＧＡＮは、分類または回帰を実行するためにトレーニングされる生成ネットワーク（例えば、生成器モデル４３２）と、生成ネットワークの出力分布（例えば、シミュレーション出力４３６）をサンプリングし、そのサンプルが真のテスト分布と同じか異なるかを決定する識別ネットワーク（例えば、識別器モデル４４０）との２つのネットワークから構成される。このネットワークシステムの目標は、判別器ネットが５０％の確率でしか生成器サンプルの正しい原点を決定できないように、生成器ネットを駆動して、生成器ネットとの均衡に達するように、可能な限り正確に基底真理モデルを学習させることである。識別器はグラウンドトゥルースにアクセスすることができるが、生成器は生成器の出力に対する検出器の応答を通してのみトレーニングデータにアクセスする。
［００９７］
図４のデータフローは、（ＣＢＣＴ患者画像データ、患者画像データに対応する本物のＣＴ画像、および／または解剖学的領域４２４および４２５のマッピング、条件または制約４２６を含むようなトレーニング画像４２３と共に）モデルパラメータ４１２及びトレーニングデータ４２０の様々な値を含むトレーニング入力４１０の受け取りを示す。トレーニング入力４１０は、ＧＡＮモデル使用法４５０で使用されるトレーニングされた生成器モデル４６０を生成するために、ＧＡＮモデルトレーニング４３０に提供される。解剖学的領域４２４および４２５のマッピングは、２つの画像間の類似性（例えば、ＳＳＳＩＭ重みを用いた）を比較するために使用されるメトリックを提供する。
図４のデータフローは、（ＣＢＣＴ患者画像データ、患者画像データに対応する本物のＣＴ画像、および／または解剖学的領域４２４および４２５のマッピング、条件または制約４２６を含むようなトレーニング画像４２３と共に）モデルパラメータ４１２及びトレーニングデータ４２０の様々な値を含むトレーニング入力４１０の受け取りを示す。トレーニング入力４１０は、ＧＡＮモデル使用法４５０で使用されるトレーニングされた生成器モデル４６０を生成するために、ＧＡＮモデルトレーニング４３０に提供される。解剖学的領域４２４および４２５のマッピングは、２つの画像間の類似性（例えば、ＳＳＳＩＭ重みを用いた）を比較するために使用されるメトリックを提供する。
［００９８］
ＧＡＮモデルトレーニング４３０の一部として、生成器モデル４３２は、解剖学的領域４２４と本物のＣＴ画像および本物のＣＢＣＴ画像のペア４２２（これは、図３Ａでは３０２、３０４として描かれている）のマッピングに基づいてトレーニングされ、ＣＮＮ内のセグメントペアを生成し、マッピングする。このようにして、生成器モデル４３２は、複数のパスを介して、入力マップに基づいて第１および第２の模擬のまたは合成のＣＴ画像表現４３６を生成するようにトレーニングされる。第１のｓＣＴ画像表現４３６は、生成器モデル４３２の第１の入力インターフェースにおいて、１つまたはそれ以上の変形可能なオフセット層および１つまたはそれ以上の畳み込み層を入力トレーニング画像に適用することによって、生成器モデル４３２によって生成される。第２のｓＣＴ画像表現４３６は、生成器モデル４３２の第２の入力インターフェースにおいて、１つまたはそれ以上の畳み込み層を適用し、変形可能なオフセット層を適用せずに、生成器モデル４３２によって生成される。生成器モデル４３２のレストコンポーネント（rest component：残りのコンポーネント）（例えば、情報を処理し、第１の入力インターフェースおよび第２の入力インターフェースを通ってｓＣＴ画像表現を生成するために使用されるコンポーネント）のすべては、複数のパスによって共有され、これは、生成器が両方のパスの出力に基づいてトレーニングされることを意味する。識別器モデル４４０は、シミュレーション表現４３６がトレーニングデータ（例えば、本物のＣＴ画像）からのものであるか、または生成器（例えば、生成結果４３４および検出結果４４４で生成器モデル４３２と識別器モデル４４０との間で通信されるｓＣＴ）からのものであるかを決定する。識別器モデル４４０は、第１のｓＣＴ画像表現４３６（例えば、変形可能なオフセット層を用いて生成されたもの）に基づいてのみ動作し、トレーニングされる。このようにして、生成器モデル４３２は、変形可能なオフセット層を含む第１のパスを通る、生成された画像の識別器を利用して学習され、変形可能なオフセット層を含む第１のパスを通る、生成された画像と変形可能なオフセット層を含まない第２のパスの両方に基づいて生成されたサイクル－コンシステンシー損失情報に基づいてさらにトレーニングされる。このトレーニングプロセスは、生成器モデル４３２および識別器モデル４４０を改善するための重み調整４３８，４４２のバックプロパゲーションされる結果となる。
ＧＡＮモデルトレーニング４３０の一部として、生成器モデル４３２は、解剖学的領域４２４と本物のＣＴ画像および本物のＣＢＣＴ画像のペア４２２（これは、図３Ａでは３０２、３０４として描かれている）のマッピングに基づいてトレーニングされ、ＣＮＮ内のセグメントペアを生成し、マッピングする。このようにして、生成器モデル４３２は、複数のパスを介して、入力マップに基づいて第１および第２の模擬のまたは合成のＣＴ画像表現４３６を生成するようにトレーニングされる。第１のｓＣＴ画像表現４３６は、生成器モデル４３２の第１の入力インターフェースにおいて、１つまたはそれ以上の変形可能なオフセット層および１つまたはそれ以上の畳み込み層を入力トレーニング画像に適用することによって、生成器モデル４３２によって生成される。第２のｓＣＴ画像表現４３６は、生成器モデル４３２の第２の入力インターフェースにおいて、１つまたはそれ以上の畳み込み層を適用し、変形可能なオフセット層を適用せずに、生成器モデル４３２によって生成される。生成器モデル４３２のレストコンポーネント（rest component：残りのコンポーネント）（例えば、情報を処理し、第１の入力インターフェースおよび第２の入力インターフェースを通ってｓＣＴ画像表現を生成するために使用されるコンポーネント）のすべては、複数のパスによって共有され、これは、生成器が両方のパスの出力に基づいてトレーニングされることを意味する。識別器モデル４４０は、シミュレーション表現４３６がトレーニングデータ（例えば、本物のＣＴ画像）からのものであるか、または生成器（例えば、生成結果４３４および検出結果４４４で生成器モデル４３２と識別器モデル４４０との間で通信されるｓＣＴ）からのものであるかを決定する。識別器モデル４４０は、第１のｓＣＴ画像表現４３６（例えば、変形可能なオフセット層を用いて生成されたもの）に基づいてのみ動作し、トレーニングされる。このようにして、生成器モデル４３２は、変形可能なオフセット層を含む第１のパスを通る、生成された画像の識別器を利用して学習され、変形可能なオフセット層を含む第１のパスを通る、生成された画像と変形可能なオフセット層を含まない第２のパスの両方に基づいて生成されたサイクル－コンシステンシー損失情報に基づいてさらにトレーニングされる。このトレーニングプロセスは、生成器モデル４３２および識別器モデル４４０を改善するための重み調整４３８，４４２のバックプロパゲーションされる結果となる。
［００９９］
このように、本実施例では、ＧＡＮモデルトレーニング４３０のためのデータ準備は、ＣＢＣＴ画像とペアになっているＣＴ画像（これらをトレーニングＣＢＣＴ／ＣＴ画像と呼ぶことがある）を必要とする。一実施例では、オリジナルデータは、解剖学に由来する画像のペアを生成するために、共通の座標フレームに登録され、再サンプリングされてもよいＣＢＣＴ画像セットと対応するＣＴ画像のペアを含む。
このように、本実施例では、ＧＡＮモデルトレーニング４３０のためのデータ準備は、ＣＢＣＴ画像とペアになっているＣＴ画像（これらをトレーニングＣＢＣＴ／ＣＴ画像と呼ぶことがある）を必要とする。一実施例では、オリジナルデータは、解剖学に由来する画像のペアを生成するために、共通の座標フレームに登録され、再サンプリングされてもよいＣＢＣＴ画像セットと対応するＣＴ画像のペアを含む。
［０１００］
詳細には、ＧＡＮモデルにおいて、生成器（例えば、生成器モデル４３２）は、分布ｐＺ（ｚ）を有するノイズ入力から始まるデータｘ，ｐ（ｘ）上の分布を、生成器がマッピングＧ（ｚ；θＧ）：ｐ（ｚ）→ｐ（ｘ）を学習するように学習する。ここで、Ｇは、層の重みとバイアスパラメータθＧを有するニューラルネットワークを表す微分可能な関数である。識別器Ｄ（ｘ；θＧ）（例えば、識別器モデル４４０）は、生成器出力を２値スカラー｛真（true），偽（false）｝にマッピングし、生成器出力が実際の（actual：現実の）データ分布Ｐｄａｔａ（ｘ）からのものであれば真（true）と決定し、生成器分布ｐ（ｘ）からのものであれば偽（false）と決定する。つまり、Ｄ（ｘ）は、ｘが、ｐｄａｔａ（ｘ）から来た確率ではなく、ｐＧ（ｘ）から来た確率である。
詳細には、ＧＡＮモデルにおいて、生成器（例えば、生成器モデル４３２）は、分布ｐＺ（ｚ）を有するノイズ入力から始まるデータｘ，ｐ（ｘ）上の分布を、生成器がマッピングＧ（ｚ；θＧ）：ｐ（ｚ）→ｐ（ｘ）を学習するように学習する。ここで、Ｇは、層の重みとバイアスパラメータθＧを有するニューラルネットワークを表す微分可能な関数である。識別器Ｄ（ｘ；θＧ）（例えば、識別器モデル４４０）は、生成器出力を２値スカラー｛真（true），偽（false）｝にマッピングし、生成器出力が実際の（actual：現実の）データ分布Ｐｄａｔａ（ｘ）からのものであれば真（true）と決定し、生成器分布ｐ（ｘ）からのものであれば偽（false）と決定する。つまり、Ｄ（ｘ）は、ｘが、ｐｄａｔａ（ｘ）から来た確率ではなく、ｐＧ（ｘ）から来た確率である。
［０１０１］
図５は、本明細書で議論される例示的な技術に従って、合成のＣＴ画像モデルを生成するためのＧＡＮでのトレーニングを示す。図５は、具体的には、入力ＣＢＣＴ画像５４０の結果として、シミュレートされた（例えば、推定された、人工的な）出力ｓＣＴ画像５８０を生成するように設計されたＧＡＮ生成器モデルＧ５６０の動作フロー５５０を示している。図５は、また、入力（例えば、本物のＣＴ画像５１０または生成されたｓＣＴ画像５８０）に基づいて決定値５３０（例えば、本物（real）か偽物（fake）か、真（true）か偽（false）か）を生成するように設計されたＧＡＮ識別器モデルＤ５２０の操作フロー５００を示す。特に、識別器モデルＤ５２０は、識別器モデルＤ５２０が生成されたｓＣＴ画像５８０が本物（real）であるか偽物（fake）であるかを判定するかを示す出力を生成するようにトレーニングされる。
図５は、本明細書で議論される例示的な技術に従って、合成のＣＴ画像モデルを生成するためのＧＡＮでのトレーニングを示す。図５は、具体的には、入力ＣＢＣＴ画像５４０の結果として、シミュレートされた（例えば、推定された、人工的な）出力ｓＣＴ画像５８０を生成するように設計されたＧＡＮ生成器モデルＧ５６０の動作フロー５５０を示している。図５は、また、入力（例えば、本物のＣＴ画像５１０または生成されたｓＣＴ画像５８０）に基づいて決定値５３０（例えば、本物（real）か偽物（fake）か、真（true）か偽（false）か）を生成するように設計されたＧＡＮ識別器モデルＤ５２０の操作フロー５００を示す。特に、識別器モデルＤ５２０は、識別器モデルＤ５２０が生成されたｓＣＴ画像５８０が本物（real）であるか偽物（fake）であるかを判定するかを示す出力を生成するようにトレーニングされる。
［０１０２］
ＧＡＮのコンテキストでは、識別器Ｄ５２０は、両方の分布からのサンプルに正しいラベルを割り当てる確率を最大化するようにトレーニングされ、一方、生成器Ｇ５６０は、トレーニング中に適用された調整されたトレーニング重量５７０に基づいて、ｌｏｇ（１－Ｄ（Ｇ（ｚ）））を最小化するようにトレーニングされる。Ｄ，Ｇは、次式のような値関数を持つ２人用のミニマックスゲームをプレイしているとみなすことができる。
ＧＡＮのコンテキストでは、識別器Ｄ５２０は、両方の分布からのサンプルに正しいラベルを割り当てる確率を最大化するようにトレーニングされ、一方、生成器Ｇ５６０は、トレーニング中に適用された調整されたトレーニング重量５７０に基づいて、ｌｏｇ（１－Ｄ（Ｇ（ｚ）））を最小化するようにトレーニングされる。Ｄ，Ｇは、次式のような値関数を持つ２人用のミニマックスゲームをプレイしているとみなすことができる。
［０１０３］
学習の初期、Ｇのパフォーマンスが悪いときには、ｌｏｇ（１－Ｄ（Ｇ（ｘ）））項がＶ（Ｄ，Ｇ）を支配し、早期に不正確な終了を引き起こす。ｌｏｇ（１－Ｄ（Ｇ（ｘ））を最小化するようにＧをトレーニングする代わりに、ｌｏｇ（１－Ｄ（Ｇ（ｘ））を最大化するようにトレーニングすることで、トレーニングの早い段階でより情報量の多い勾配を生成することができる。さらに、学習が進むにつれて、分布ｐＧ（ｘ）は真のデータ分布ｐｄａｔａ（ｘ）に収束する。
学習の初期、Ｇのパフォーマンスが悪いときには、ｌｏｇ（１－Ｄ（Ｇ（ｘ）））項がＶ（Ｄ，Ｇ）を支配し、早期に不正確な終了を引き起こす。ｌｏｇ（１－Ｄ（Ｇ（ｘ））を最小化するようにＧをトレーニングする代わりに、ｌｏｇ（１－Ｄ（Ｇ（ｘ））を最大化するようにトレーニングすることで、トレーニングの早い段階でより情報量の多い勾配を生成することができる。さらに、学習が進むにつれて、分布ｐＧ（ｘ）は真のデータ分布ｐｄａｔａ（ｘ）に収束する。
［０１０４］
ＧＡＮの有用な拡張は、図６Ａ乃至図６Ｄに関連して以下に説明するＣｙｃｌｅＧＡＮである。図６Ａは、本開示のいくつかの実施例による、複数のパス（１つまたはそれ以上の変形可能なオフセット層および１つまたはそれ以上の畳み込み層／ブロックを含む特定のパスと、１つまたはそれ以上の変形可能なオフセット層を含まない１つまたはそれ以上の畳み込み層／ブロックを含む他の特定のパス）を介して受信したＣＢＣＴ画像からｓＣＴ画像を生成するためのＣｙｃｌｅＧＡＮ６００のトレーニングおよび使用を示す。ＣｙｃｌｅＧＡＮ６００は、１つまたはそれ以上の変形可能なオフセット層６６０Ａ、６６０Ｂと、１つまたはそれ以上の畳み込みブロック６６１Ａ、６６１Ｂと、生成器モデルの第１のレスト部（first rest part：第１の残り部）６１０と、生成器モデルの第２のレスト部（second rest part：第２の残り部）６２０と、第１の識別器モデル６３０と、第２の識別器モデル６４０を含む。第１および第２の入力インターフェース（例えば、変形可能なオフセット層６６０Ａおよび畳み込みブロック６６１Ａ）を含む生成器モデルの第１のレスト部６１０は、第１の生成器モデル６０６であり、第１および第２の入力インターフェース（例えば、変形可能なオフセット層６６０Ｂおよび畳み込みブロック６６１Ｂ）を含む生成器モデルの第２のレスト部６２０は、第２の生成器モデル６０８である。これらの２つのモデル６０６および６０８は、それぞれ、生成器モデル４３２（図４）（例えば、回帰型ＤＣＮＮモデルとして）であり、第１の識別器モデル６３０および第２の識別器モデル６４０は、それぞれ、識別器モデル４４０（例えば、分類型ＤＣＮＮモデルとして）の実装である。ＣｙｃｌｅＧＡＮ６００は、第１の部分６５０と第２の部分６５２の２つの部分に分割することができる。
ＧＡＮの有用な拡張は、図６Ａ乃至図６Ｄに関連して以下に説明するＣｙｃｌｅＧＡＮである。図６Ａは、本開示のいくつかの実施例による、複数のパス（１つまたはそれ以上の変形可能なオフセット層および１つまたはそれ以上の畳み込み層／ブロックを含む特定のパスと、１つまたはそれ以上の変形可能なオフセット層を含まない１つまたはそれ以上の畳み込み層／ブロックを含む他の特定のパス）を介して受信したＣＢＣＴ画像からｓＣＴ画像を生成するためのＣｙｃｌｅＧＡＮ６００のトレーニングおよび使用を示す。ＣｙｃｌｅＧＡＮ６００は、１つまたはそれ以上の変形可能なオフセット層６６０Ａ、６６０Ｂと、１つまたはそれ以上の畳み込みブロック６６１Ａ、６６１Ｂと、生成器モデルの第１のレスト部（first rest part：第１の残り部）６１０と、生成器モデルの第２のレスト部（second rest part：第２の残り部）６２０と、第１の識別器モデル６３０と、第２の識別器モデル６４０を含む。第１および第２の入力インターフェース（例えば、変形可能なオフセット層６６０Ａおよび畳み込みブロック６６１Ａ）を含む生成器モデルの第１のレスト部６１０は、第１の生成器モデル６０６であり、第１および第２の入力インターフェース（例えば、変形可能なオフセット層６６０Ｂおよび畳み込みブロック６６１Ｂ）を含む生成器モデルの第２のレスト部６２０は、第２の生成器モデル６０８である。これらの２つのモデル６０６および６０８は、それぞれ、生成器モデル４３２（図４）（例えば、回帰型ＤＣＮＮモデルとして）であり、第１の識別器モデル６３０および第２の識別器モデル６４０は、それぞれ、識別器モデル４４０（例えば、分類型ＤＣＮＮモデルとして）の実装である。ＣｙｃｌｅＧＡＮ６００は、第１の部分６５０と第２の部分６５２の２つの部分に分割することができる。
［０１０５］
生成器モデルの第１のレスト部６１０は、第１の生成器モデルへの２つの別々の入力インターフェースによって共有される第１の生成器モデルの部分を表す。すなわち、生成器モデルの第１のレスト部６１０の第１の入力インターフェースは、変形可能なオフセット層６６０Ａおよび畳み込みブロック６６１Ａを通るのパスを含み、生成器モデルの第１のレスト部６１０の第２の入力インターフェースは、変形可能なオフセット層６６０Ａを含まずに畳み込みブロック６６１Ａのみを通るのパスを含む。第１の生成器モデルがトレーニングされた後、変形可能なオフセット層６６０Ａのない畳み込みブロック６６１Ａを含む入力インターフェースのみが使用される。生成器モデルの第２のレスト部６２０は、第２の生成器モデルへの２つの別々の入力インターフェースによって共有される第２の生成器モデルの部分を表す。すなわち、生成器モデルの第２のレスト部６２０の第１の入力インターフェースは、変形可能なオフセット層６６０Ｂおよび畳み込みブロック６６１Ｂを通るのパスを含み、生成器モデルの第２のレスト部６２０の第２の入力インターフェースは、変形可能なオフセット層６６０Ｂを含まない畳み込みブロック６６１Ｂのみを通るのパスを含む。第２の生成器モデルがトレーニングされた後、変形可能なオフセット層６６０Ｂのない畳み込みブロック６６１Ｂを含む入力インターフェースのみが使用される。畳み込みブロック６６１Ａ、６６１Ｂは、生成器モデルや識別器モデルのトレーニングと一緒にトレーニングしてもよいし、別個にトレーニングしてもよい。具体的には、畳み込みブロック６６１Ａ、６６１Ｂは、その機能を実行するための正しい重み付けを得るためにトレーニングされる。
生成器モデルの第１のレスト部６１０は、第１の生成器モデルへの２つの別々の入力インターフェースによって共有される第１の生成器モデルの部分を表す。すなわち、生成器モデルの第１のレスト部６１０の第１の入力インターフェースは、変形可能なオフセット層６６０Ａおよび畳み込みブロック６６１Ａを通るのパスを含み、生成器モデルの第１のレスト部６１０の第２の入力インターフェースは、変形可能なオフセット層６６０Ａを含まずに畳み込みブロック６６１Ａのみを通るのパスを含む。第１の生成器モデルがトレーニングされた後、変形可能なオフセット層６６０Ａのない畳み込みブロック６６１Ａを含む入力インターフェースのみが使用される。生成器モデルの第２のレスト部６２０は、第２の生成器モデルへの２つの別々の入力インターフェースによって共有される第２の生成器モデルの部分を表す。すなわち、生成器モデルの第２のレスト部６２０の第１の入力インターフェースは、変形可能なオフセット層６６０Ｂおよび畳み込みブロック６６１Ｂを通るのパスを含み、生成器モデルの第２のレスト部６２０の第２の入力インターフェースは、変形可能なオフセット層６６０Ｂを含まない畳み込みブロック６６１Ｂのみを通るのパスを含む。第２の生成器モデルがトレーニングされた後、変形可能なオフセット層６６０Ｂのない畳み込みブロック６６１Ｂを含む入力インターフェースのみが使用される。畳み込みブロック６６１Ａ、６６１Ｂは、生成器モデルや識別器モデルのトレーニングと一緒にトレーニングしてもよいし、別個にトレーニングしてもよい。具体的には、畳み込みブロック６６１Ａ、６６１Ｂは、その機能を実行するための正しい重み付けを得るためにトレーニングされる。
［０１０６］
変形可能なオフセット層６６０Ａ、６６０Ｂは、それぞれ、オフセットを調整し、再サンプルし、補間を行うようにトレーニングされる。変形可能なオフセット層６６０Ａ、６６０Ｂは、生成器モデルおよび識別器モデルのトレーニングと一緒にトレーニングされてもよいし、別個にトレーニングされてもよい。具体的には、変形可能なオフセット層６６０Ａ、６６０Ｂは、その機能を実行するための正しい重み付けを得るようにトレーニングされる。これらのオフセット層の効果は、上位の畳み込みブロックから元の規則的なサンプリンググリッドを変更し、座標オフセットを導入し、補間を使用して画像を再サンプリングすることである。このようにして、変形可能なオフセット層６６０Ａ、６６０Ｂは、構造体の変形情報を取り込むことができる。変形可能なオフセット層６６０Ａ、６６０Ｂのうちの１つの例示的な実施形態を、図６Ｂに関連して示して説明する。変形可能なオフセット層６６０Ａ、６６０Ｂは、代替的に、または追加的に、空間変換器、他のタイプの畳み込み層、および／または、画像の変形された構造情報を格納することができる任意の他のモジュールを使用して実装される。変形可能なオフセット層６６０Ａ、６６０Ｂにおけるオフセット層の数は、画像サイズ、ダウンサンプリングの畳み込み層の数（例えば、１つまたはそれ以上の畳み込みブロック６６１Ａ、６６１Ｂにおける畳み込みブロックの数）などに基づいて変化し得る。
変形可能なオフセット層６６０Ａ、６６０Ｂは、それぞれ、オフセットを調整し、再サンプルし、補間を行うようにトレーニングされる。変形可能なオフセット層６６０Ａ、６６０Ｂは、生成器モデルおよび識別器モデルのトレーニングと一緒にトレーニングされてもよいし、別個にトレーニングされてもよい。具体的には、変形可能なオフセット層６６０Ａ、６６０Ｂは、その機能を実行するための正しい重み付けを得るようにトレーニングされる。これらのオフセット層の効果は、上位の畳み込みブロックから元の規則的なサンプリンググリッドを変更し、座標オフセットを導入し、補間を使用して画像を再サンプリングすることである。このようにして、変形可能なオフセット層６６０Ａ、６６０Ｂは、構造体の変形情報を取り込むことができる。変形可能なオフセット層６６０Ａ、６６０Ｂのうちの１つの例示的な実施形態を、図６Ｂに関連して示して説明する。変形可能なオフセット層６６０Ａ、６６０Ｂは、代替的に、または追加的に、空間変換器、他のタイプの畳み込み層、および／または、画像の変形された構造情報を格納することができる任意の他のモジュールを使用して実装される。変形可能なオフセット層６６０Ａ、６６０Ｂにおけるオフセット層の数は、画像サイズ、ダウンサンプリングの畳み込み層の数（例えば、１つまたはそれ以上の畳み込みブロック６６１Ａ、６６１Ｂにおける畳み込みブロックの数）などに基づいて変化し得る。
［０１０７］
図６Ｂに示すように、変形可能なオフセット層６６０Ａ／６６０Ｂの１つは、入力特徴マップと、畳み込みブロックと、オフセットフィールドと、出力特徴マップを含む。図６Ｂは、具体的には３ｘ３の変形可能な畳み込みを示しているが、他のサイズの変形可能な畳み込みも同様に提供することができる。２Ｄ畳み込みは、２つのステップ：１）入力特徴マップｘ上の規則的なグリッドＲを用いたサンプリングことと；２）ｗで重み付けされたサンプリングされた値を総和することにより構成されている。グリッドＲは、受け入れるフィールドのサイズと拡張を定義する。例えば、Ｒ＝｛（－１，－１），（－１，０），．．．，（０，１），（１，１）｝は、拡張度（dilation）１の３ｘ３カーネルを定義する。出力特徴マップｙ上の各位置ｐ０に対して、次式のような表現が可能である。
図６Ｂに示すように、変形可能なオフセット層６６０Ａ／６６０Ｂの１つは、入力特徴マップと、畳み込みブロックと、オフセットフィールドと、出力特徴マップを含む。図６Ｂは、具体的には３ｘ３の変形可能な畳み込みを示しているが、他のサイズの変形可能な畳み込みも同様に提供することができる。２Ｄ畳み込みは、２つのステップ：１）入力特徴マップｘ上の規則的なグリッドＲを用いたサンプリングことと；２）ｗで重み付けされたサンプリングされた値を総和することにより構成されている。グリッドＲは、受け入れるフィールドのサイズと拡張を定義する。例えば、Ｒ＝｛（－１，－１），（－１，０），．．．，（０，１），（１，１）｝は、拡張度（dilation）１の３ｘ３カーネルを定義する。出力特徴マップｙ上の各位置ｐ０に対して、次式のような表現が可能である。
ここで、ｐｎは、Ｒにおける場所を列挙するものである。
［０１０８］
変形可能な畳み込みでは、規則的グリッドＲが、オフセット｛Δｐｎ｜ｎ＝１，．．．，Ｎ｝、ただし、Ｎ＝｜Ｒ｜とする）で拡張される。このような場合には、上記の表現は、次式のようになる。
変形可能な畳み込みでは、規則的グリッドＲが、オフセット｛Δｐｎ｜ｎ＝１，．．．，Ｎ｝、ただし、Ｎ＝｜Ｒ｜とする）で拡張される。このような場合には、上記の表現は、次式のようになる。
いま、サンプリングが不規則で、オフセットの位置ｐｎ＋Δｐｎである。オフセットΔｐｎは一般的に小数であるため、上記の表現は、バイリニア補間により次式のように実装できる。
ここで、ｐは、任意の（Ｆｒａｃｔｉｏｎ）位置（ｐ＝ｐ０＋ｐｎ＋Δｐｎ）を表し、ｑは、特徴マップｘのすべての積分空間位置を列挙し、Ｇ（・，・）は、双線形補間カーネルである。Ｇは２次元であってもよく、次式のように、２つの１次元カーネルに分離することができる。
ここで、ｇ（ａ，ｂ）＝ｍａｘ（０，１－｜ａ－ｂ｜）である。
［０１０９］
図６Ｂに示すように、オフセットは、同じ入力特徴マップ上で畳み込み層をトレーニングすることによって得られる。畳み込みカーネルは、現在の畳み込み層のものと同じ空間分解能と拡張性を有する。出力されるオフセットフィールドは、入力特徴マップと同じ空間分解能を有する。チャネルディメンション２Ｎは、ｘ方向とｙ方向それぞれにＮ個の２次元オフセットマップ（例えば、Ｎ＋Ｎ＝２Ｎ）（ｘ方向にＮ個、ｙ方向にＮ個）に対応している。トレーニング時には、出力特徴を生成するための畳み込みカーネルとオフセットの両方が同時に学習される。オフセットを学習するために、勾配を上式の双線形演算でバックプロパゲーションする。あるケースでは、図６Ｂの畳み込みカーネルは、畳み込みブロック６６１で実装または共有される。
図６Ｂに示すように、オフセットは、同じ入力特徴マップ上で畳み込み層をトレーニングすることによって得られる。畳み込みカーネルは、現在の畳み込み層のものと同じ空間分解能と拡張性を有する。出力されるオフセットフィールドは、入力特徴マップと同じ空間分解能を有する。チャネルディメンション２Ｎは、ｘ方向とｙ方向それぞれにＮ個の２次元オフセットマップ（例えば、Ｎ＋Ｎ＝２Ｎ）（ｘ方向にＮ個、ｙ方向にＮ個）に対応している。トレーニング時には、出力特徴を生成するための畳み込みカーネルとオフセットの両方が同時に学習される。オフセットを学習するために、勾配を上式の双線形演算でバックプロパゲーションする。あるケースでは、図６Ｂの畳み込みカーネルは、畳み込みブロック６６１で実装または共有される。
［０１１０］
図６Ａに戻り、一実施例では、第１の部分６５０において、生成器モデルの第１のレスト部６１０は、第１のパスおよび第２のパスを介してＣＢＣＴトレーニング画像６０２（これは、画像対４２２の１つを含んでもよい）を受け取り、生成結果６１２および生成結果６１４として、それぞれの第１のｓＣＴ画像および第２のｓＣＴ画像を生成するようにトレーニングされる。具体的には、ＣＢＣＴトレーニング画像６０２は、１つまたはそれ以上の変形可能なオフセット層６６０Ａおよび１つまたはそれ以上の畳み込みブロック６６１Ａによって第１のパスで処理され、生成結果６１２として第１のｓＣＴ画像を生成する。ＣＢＣＴトレーニング画像６０２は、変形可能なオフセット層６６０Ａによって処理されることなく、畳み込みブロック６６１Ａによって第２のパスで処理されて、生成結果６１４として第２のｓＣＴ画像を生成する。変形可能なオフセット層６６０Ａと畳み込みブロック６６１Ａを備える第１の入力インターフェースを含み、第１のパスを介して第１の生成結果６１２を生成する第１の生成モデル６１０を、Ｇoffset cbct2ctと呼び、畳み込みブロック６６１Ａを備え、変形可能なオフセット層６６０Ａを備えない第２の入力インターフェースを含み、第２のパスを介して第２の生成結果６１４を生成する第１の生成モデル６１０を、Ｇcbct2ctと呼ぶことにする。生成器Ｇcbct2ctは、生成器Ｇoffset cbct2ctとすべてのネットワーク層および重みを共有し、それは生成器Ｇoffset cbct2ctの一部であるが、それらのすべてのオフセット層６６０Ａを備えていない。
図６Ａに戻り、一実施例では、第１の部分６５０において、生成器モデルの第１のレスト部６１０は、第１のパスおよび第２のパスを介してＣＢＣＴトレーニング画像６０２（これは、画像対４２２の１つを含んでもよい）を受け取り、生成結果６１２および生成結果６１４として、それぞれの第１のｓＣＴ画像および第２のｓＣＴ画像を生成するようにトレーニングされる。具体的には、ＣＢＣＴトレーニング画像６０２は、１つまたはそれ以上の変形可能なオフセット層６６０Ａおよび１つまたはそれ以上の畳み込みブロック６６１Ａによって第１のパスで処理され、生成結果６１２として第１のｓＣＴ画像を生成する。ＣＢＣＴトレーニング画像６０２は、変形可能なオフセット層６６０Ａによって処理されることなく、畳み込みブロック６６１Ａによって第２のパスで処理されて、生成結果６１４として第２のｓＣＴ画像を生成する。変形可能なオフセット層６６０Ａと畳み込みブロック６６１Ａを備える第１の入力インターフェースを含み、第１のパスを介して第１の生成結果６１２を生成する第１の生成モデル６１０を、Ｇoffset cbct2ctと呼び、畳み込みブロック６６１Ａを備え、変形可能なオフセット層６６０Ａを備えない第２の入力インターフェースを含み、第２のパスを介して第２の生成結果６１４を生成する第１の生成モデル６１０を、Ｇcbct2ctと呼ぶことにする。生成器Ｇcbct2ctは、生成器Ｇoffset cbct2ctとすべてのネットワーク層および重みを共有し、それは生成器Ｇoffset cbct2ctの一部であるが、それらのすべてのオフセット層６６０Ａを備えていない。
［０１１１］
第１のパスにおいて、ＣＢＣＴトレーニング画像６０２は、変形可能なオフセット層６６０Ａにおける第１の変形可能なオフセット層によって処理され、第１の変形可能なオフセット層の出力は、１つまたはそれ以上の畳み込みブロック６６１Ａにおける第１の畳み込みブロックに提供される。そして、第１の畳み込みブロックの出力は、変形可能なオフセット層６６０Ａにおける第２の変形可能なオフセット層によって処理されるように提供される。そして、第２の変形可能オフセット層の出力は、他の畳み込みブロック（存在する場合）に提供されるか、または生成器モデルの第１のレスト部６１０に直接提供される。特に、変形可能なオフセット層６６０Ａは、畳み込みブロック６６１Ａとインターリーブ（interleave）することができる。
第１のパスにおいて、ＣＢＣＴトレーニング画像６０２は、変形可能なオフセット層６６０Ａにおける第１の変形可能なオフセット層によって処理され、第１の変形可能なオフセット層の出力は、１つまたはそれ以上の畳み込みブロック６６１Ａにおける第１の畳み込みブロックに提供される。そして、第１の畳み込みブロックの出力は、変形可能なオフセット層６６０Ａにおける第２の変形可能なオフセット層によって処理されるように提供される。そして、第２の変形可能オフセット層の出力は、他の畳み込みブロック（存在する場合）に提供されるか、または生成器モデルの第１のレスト部６１０に直接提供される。特に、変形可能なオフセット層６６０Ａは、畳み込みブロック６６１Ａとインターリーブ（interleave）することができる。
［０１１２］
第１のパスと並行して、ＣＢＣＴトレーニング画像６０２は、変形可能なオフセット層６６０Ａを通過することなく、１つまたはそれ以上の畳み込みブロック６６１Ａのみによって第２のパスで処理される。ＣＢＣＴトレーニング画像６０２が通過する畳み込みブロック６６１Ａは、第１のパスと第２のパスで共有される。具体的には、ＣＢＣＴトレーニング画像６０２は、第２のパスにおいて、１つまたはそれ以上の畳み込みブロック６６１Ａの第１の畳み込みブロックおよび別の畳み込みブロック（存在する場合）を通過する。そして、第１の畳み込みブロックの出力は、生成器モデルの第１のレスト部６１０に提供される。生成器モデルの第１のレスト部６１０は、第１のパスと第２のパスで出力された画像を並列または逐次的に処理する。
第１のパスと並行して、ＣＢＣＴトレーニング画像６０２は、変形可能なオフセット層６６０Ａを通過することなく、１つまたはそれ以上の畳み込みブロック６６１Ａのみによって第２のパスで処理される。ＣＢＣＴトレーニング画像６０２が通過する畳み込みブロック６６１Ａは、第１のパスと第２のパスで共有される。具体的には、ＣＢＣＴトレーニング画像６０２は、第２のパスにおいて、１つまたはそれ以上の畳み込みブロック６６１Ａの第１の畳み込みブロックおよび別の畳み込みブロック（存在する場合）を通過する。そして、第１の畳み込みブロックの出力は、生成器モデルの第１のレスト部６１０に提供される。生成器モデルの第１のレスト部６１０は、第１のパスと第２のパスで出力された画像を並列または逐次的に処理する。
［０１１３］
第１の生成結果６１２は、第２の生成結果６１４ではなく、第１の識別器モデル６３０に提供される。第１の識別器モデル６３０は、ｓＣＴ画像を本物のＣＴトレーニング画像または模擬のＣＴトレーニング画像として分類し、その分類を検出結果６３２として提供する。第１の生成結果６１２および検出結果６３２は、第１の生成器モデル６０６と第１の識別器モデル６３０にフィードバックされ、それらの変形可能なオフセット層６６０Ａとそれらの畳み込み層６６１Ａを含む第１の生成器モデル６０６と、第１の識別器モデル６３０とにより実装される重みを調整する。例えば、第１の生成結果６１２（例えば、第１のパスを介して第１の生成器モデル６１０により生成されたｓＣＴ画像）と検出結果６３２が用いられて、敵対的損失を算出する。
第１の生成結果６１２は、第２の生成結果６１４ではなく、第１の識別器モデル６３０に提供される。第１の識別器モデル６３０は、ｓＣＴ画像を本物のＣＴトレーニング画像または模擬のＣＴトレーニング画像として分類し、その分類を検出結果６３２として提供する。第１の生成結果６１２および検出結果６３２は、第１の生成器モデル６０６と第１の識別器モデル６３０にフィードバックされ、それらの変形可能なオフセット層６６０Ａとそれらの畳み込み層６６１Ａを含む第１の生成器モデル６０６と、第１の識別器モデル６３０とにより実装される重みを調整する。例えば、第１の生成結果６１２（例えば、第１のパスを介して第１の生成器モデル６１０により生成されたｓＣＴ画像）と検出結果６３２が用いられて、敵対的損失を算出する。
［０１１４］
図６Ｃは、第１の部分６５０の第１のパスおよび第２のパスの例示的な実装例を示す。図示するように、本物のＣＢＣＴ画像６０２が受取られ、第１のパスにおける複数の変形可能なオフセット層６６０Ａに提供される。ＣＢＣＴ画像６０２は、畳み込みブロック６６１Ａの畳み込みブロックとインターリーブされた状態で、変形可能なオフセット層６６０Ａを通過する。４つの変形可能なオフセット層６６０Ａが示されているが、より多くの、またはより少ない変形可能なオフセット層を利用してもよい。ＣＢＣＴ画像６０２は、第１のパスと並行して、変形可能なオフセット層６６０Ａを通過することなく、畳み込みブロック６６１Ａのみを通過する第２のパスを経由する。第１のパスおよび第２のパスの両方の画像出力は、（例えば、生成器モデルの第１のレスト部６１０の機能を実装する並列プロセスを実行することによって）並列に処理されるため、共有された生成器モデルの第１のレスト部６１０に提供され、第１の生成結果６１２および第２の生成結果６１４として、対応するｓＣＴ画像を出力する。具体的には、第１の生成結果６１２は、オフセット層を用いて生成されたｓＣＴ画像であり、第２の生成結果６１４は、オフセット層を用いずに生成されたｓＣＴ画像である。オフセット層で生成されたｓＣＴ画像を含む第１の生成結果６１２は、ＣＴドメイン用の第１の識別器モデル６３０に提供される一方、第２の生成結果６１４は、第１の識別器モデル６３０に提供されない。
図６Ｃは、第１の部分６５０の第１のパスおよび第２のパスの例示的な実装例を示す。図示するように、本物のＣＢＣＴ画像６０２が受取られ、第１のパスにおける複数の変形可能なオフセット層６６０Ａに提供される。ＣＢＣＴ画像６０２は、畳み込みブロック６６１Ａの畳み込みブロックとインターリーブされた状態で、変形可能なオフセット層６６０Ａを通過する。４つの変形可能なオフセット層６６０Ａが示されているが、より多くの、またはより少ない変形可能なオフセット層を利用してもよい。ＣＢＣＴ画像６０２は、第１のパスと並行して、変形可能なオフセット層６６０Ａを通過することなく、畳み込みブロック６６１Ａのみを通過する第２のパスを経由する。第１のパスおよび第２のパスの両方の画像出力は、（例えば、生成器モデルの第１のレスト部６１０の機能を実装する並列プロセスを実行することによって）並列に処理されるため、共有された生成器モデルの第１のレスト部６１０に提供され、第１の生成結果６１２および第２の生成結果６１４として、対応するｓＣＴ画像を出力する。具体的には、第１の生成結果６１２は、オフセット層を用いて生成されたｓＣＴ画像であり、第２の生成結果６１４は、オフセット層を用いずに生成されたｓＣＴ画像である。オフセット層で生成されたｓＣＴ画像を含む第１の生成結果６１２は、ＣＴドメイン用の第１の識別器モデル６３０に提供される一方、第２の生成結果６１４は、第１の識別器モデル６３０に提供されない。
［０１１５］
図６Ａに戻り、第１の生成結果６１２（例えば、ｓＣＴ画像）は、第２の生成結果６１４とともに、それぞれ第３のパスおよび第４のパスを介して、第２の生成器モデル６０８に同時に提供される。第２の生成器モデル６０８は、第１の生成結果６１２を受け取り、出力としてそれぞれの模擬のＣＢＣＴ画像を生成する。シミュレーションされた模擬のＣＢＣＴ画像は、サイクルＣＢＣＴ画像６２２と呼ばれ、サイクル損失を計算するために使用され、第１の生成器モデル／第２の生成器モデル６０６／６０８の重みを調整する。なお、第３のパスを介して第１のサイクルＣＢＣＴ画像６２２を生成する第２の生成器モデル６０８をＧoffset cbct2ctと示し、第４のパスを介して第２のサイクルＣＢＣＴ画像６２２を生成する第２の生成器モデル６０８をＧcbct2ctと示すこととする。生成器Ｇct2cbctは、生成器Ｇoffset ct2cbctとすべてのネットワーク層と重みを共有しており、生成器Ｇoffset ct2cbctの一部であるが、それらすべてのオフセット層を有さない。
図６Ａに戻り、第１の生成結果６１２（例えば、ｓＣＴ画像）は、第２の生成結果６１４とともに、それぞれ第３のパスおよび第４のパスを介して、第２の生成器モデル６０８に同時に提供される。第２の生成器モデル６０８は、第１の生成結果６１２を受け取り、出力としてそれぞれの模擬のＣＢＣＴ画像を生成する。シミュレーションされた模擬のＣＢＣＴ画像は、サイクルＣＢＣＴ画像６２２と呼ばれ、サイクル損失を計算するために使用され、第１の生成器モデル／第２の生成器モデル６０６／６０８の重みを調整する。なお、第３のパスを介して第１のサイクルＣＢＣＴ画像６２２を生成する第２の生成器モデル６０８をＧoffset cbct2ctと示し、第４のパスを介して第２のサイクルＣＢＣＴ画像６２２を生成する第２の生成器モデル６０８をＧcbct2ctと示すこととする。生成器Ｇct2cbctは、生成器Ｇoffset ct2cbctとすべてのネットワーク層と重みを共有しており、生成器Ｇoffset ct2cbctの一部であるが、それらすべてのオフセット層を有さない。
［０１１６］
具体的には、第１の生成結果６１２は、第３のパスにおいて、１つまたはそれ以上の変形可能なオフセット層６６０Ｂおよび１つまたはそれ以上の畳み込みブロック６６１Ｂによって処理され、第１のサイクルＣＢＣＴ画像６２２としての第１の模擬のＣＢＣＴ画像を生成する。第２の生成結果６１４は、変形可能なオフセット層６６０Ｂによって処理されることなく、畳み込みブロック６６１Ｂによって第４のパスで処理され、第２の模擬のＣＢＣＴ画像を第２のサイクルＣＢＣＴ画像６２２として生成する。
具体的には、第１の生成結果６１２は、第３のパスにおいて、１つまたはそれ以上の変形可能なオフセット層６６０Ｂおよび１つまたはそれ以上の畳み込みブロック６６１Ｂによって処理され、第１のサイクルＣＢＣＴ画像６２２としての第１の模擬のＣＢＣＴ画像を生成する。第２の生成結果６１４は、変形可能なオフセット層６６０Ｂによって処理されることなく、畳み込みブロック６６１Ｂによって第４のパスで処理され、第２の模擬のＣＢＣＴ画像を第２のサイクルＣＢＣＴ画像６２２として生成する。
［０１１７］
第３のパスでは、第１の生成結果６１２は、変形可能なオフセット層６６０Ｂにおける第１の変形可能なオフセット層によって処理され、第１の変形可能なオフセット層の出力は、１つまたはそれ以上の畳み込みブロック６６１Ｂにおける第１の畳み込みブロックに提供される。次に、第１の畳み込みブロックの出力は、変形可能なオフセット層６６０Ｂの第２の変形可能なオフセット層によって処理されるために提供される。次に、第２の変形可能オフセット層の出力は、別の畳み込みブロック（存在する場合）に提供されるか、または生成器モデルの第２のレスト部６２０に直接提供される。第３のパスと並行して、第２の生成結果６１４は、変形可能なオフセット層６６０Ｂを通過せずに、１つまたはそれ以上の畳み込みブロック６６１のみによって第４のパスで処理される。第２の生成結果６１４が通過する畳み込みブロック６６１Ｂは、第３のパスと第４のパスで共有することができる。具体的には、第２の生成結果６１４は、１つまたはそれ以上の畳み込みブロック６６１Ｂの第１の畳み込みブロックと、別の畳み込みブロック（存在する場合）とを第４のパスで通過する。次に、第１の畳み込みブロックの出力は、生成器モデルの第２のレスト部６２０に提供される。生成器モデルの第２のレスト部６２０は、第３のパスと第４のパスが出力した画像を並列にまたは逐次的に処理する。
第３のパスでは、第１の生成結果６１２は、変形可能なオフセット層６６０Ｂにおける第１の変形可能なオフセット層によって処理され、第１の変形可能なオフセット層の出力は、１つまたはそれ以上の畳み込みブロック６６１Ｂにおける第１の畳み込みブロックに提供される。次に、第１の畳み込みブロックの出力は、変形可能なオフセット層６６０Ｂの第２の変形可能なオフセット層によって処理されるために提供される。次に、第２の変形可能オフセット層の出力は、別の畳み込みブロック（存在する場合）に提供されるか、または生成器モデルの第２のレスト部６２０に直接提供される。第３のパスと並行して、第２の生成結果６１４は、変形可能なオフセット層６６０Ｂを通過せずに、１つまたはそれ以上の畳み込みブロック６６１のみによって第４のパスで処理される。第２の生成結果６１４が通過する畳み込みブロック６６１Ｂは、第３のパスと第４のパスで共有することができる。具体的には、第２の生成結果６１４は、１つまたはそれ以上の畳み込みブロック６６１Ｂの第１の畳み込みブロックと、別の畳み込みブロック（存在する場合）とを第４のパスで通過する。次に、第１の畳み込みブロックの出力は、生成器モデルの第２のレスト部６２０に提供される。生成器モデルの第２のレスト部６２０は、第３のパスと第４のパスが出力した画像を並列にまたは逐次的に処理する。
［０１１８］
（第１のパスと第２のパスを含む順方向と、第３のパスと第４のパスを含む逆方向で）第１の部分６５０にオフセット層が追加されたことで、「敵対的」な損失項に起因する、望ましくない構造の変形を学習し、幻覚のような構造を生成する可能性があるという効果は、「周期的持続性」な損失項に起因する、オリジナルの構造を保存するという効果から切り離される。すなわち、第１の部分６５０の第１のパスおよび第３のパスにおける追加の変形可能なオフセット層６６０Ａ、６６０Ｂは、ＣＢＣＴ画像領域とＣＴ画像領域との間のそれらの形状分布の差または他の特徴分布の差を吸収または取り込む。一方、第２のパスと第４のパスは、すべての真の解剖学的構造を完全に保存するように制限されている。このように、第１のパスで生成されたｓＣＴ画像は、平面ＣＴ画像と同様の外観を持つが、変形した構造やその他の幻の構造を含む可能性があり、一方、第２のパスで生成されたｓＣＴ画像は、オフセット層がないため、他の変形した構造を含まず、元の真のＣＢＣＴ解剖学的構造を厳密に保持する。また、第１のパス、第２のパス、第３のパス、第４のパスは、変形可能なオフセット層６６０Ａ、６６０Ｂを除く全ての処理層を共有しているため、第２のパスで生成されるｓＣＴ画像は、正確なＣＴ番号を持つ同様のプランＣＴ画像（plan-CT image）の外観を有している。
（第１のパスと第２のパスを含む順方向と、第３のパスと第４のパスを含む逆方向で）第１の部分６５０にオフセット層が追加されたことで、「敵対的」な損失項に起因する、望ましくない構造の変形を学習し、幻覚のような構造を生成する可能性があるという効果は、「周期的持続性」な損失項に起因する、オリジナルの構造を保存するという効果から切り離される。すなわち、第１の部分６５０の第１のパスおよび第３のパスにおける追加の変形可能なオフセット層６６０Ａ、６６０Ｂは、ＣＢＣＴ画像領域とＣＴ画像領域との間のそれらの形状分布の差または他の特徴分布の差を吸収または取り込む。一方、第２のパスと第４のパスは、すべての真の解剖学的構造を完全に保存するように制限されている。このように、第１のパスで生成されたｓＣＴ画像は、平面ＣＴ画像と同様の外観を持つが、変形した構造やその他の幻の構造を含む可能性があり、一方、第２のパスで生成されたｓＣＴ画像は、オフセット層がないため、他の変形した構造を含まず、元の真のＣＢＣＴ解剖学的構造を厳密に保持する。また、第１のパス、第２のパス、第３のパス、第４のパスは、変形可能なオフセット層６６０Ａ、６６０Ｂを除く全ての処理層を共有しているため、第２のパスで生成されるｓＣＴ画像は、正確なＣＴ番号を持つ同様のプランＣＴ画像（plan-CT image）の外観を有している。
［０１１９］
図６Ｄは、第１の部分６５０の第３のパスおよび第４のパスの例示的な実施例を示す。図示されているように、（第１の生成結果６１２の）オフセット層で生成されたｓＣＴ画像は受け取られ、第３のパスで複数の変形可能なオフセット層６６０Ｂに提供される。（第１の生成結果６１２の）オフセット層で生成されたｓＣＴ画像は、変形可能なオフセット層６６０Ｂを、畳み込みブロック６６１Ｂで畳み込みブロックとインターリーブされた状態で通過する。４つの変形可能なオフセット層６６０Ｂのみが示されているが、より多く、またはより少ない変形可能なオフセット層を利用してもよい。第３のパスと並行して（第２の生成結果６１４の）オフセット層なしで生成されたｓＣＴ画像は、変形可能なオフセット層６６０Ｂを通過することなく、畳み込みブロック６６１Ｂのみを通過する第４のパスを経由する。第３のパスおよび第４のパスの両方の画像出力は、（例えば、生成器モデルの第２のレスト部６２０の機能を実装する並列プロセスを実行することにより）並列に処理されるために、共有された生成器モデルの第２のレスト部６２０に提供され、対応するサイクルＣＢＣＴ画像６２８、６２９を出力する。具体的には、サイクルＣＢＣＴ画像６２８はオフセット層を用いて作成され、サイクルＣＢＣＴ画像６２９はオフセット層を用いずに作成される。オフセット層を用いて生成されたサイクルＣＢＣＴ画像６２８は、ＣＢＣＴ領域の第２の識別器モデル６４０に提供され、サイクルＣＢＣＴ画像６２９は、第２の識別器モデル６４０に提供されない。
図６Ｄは、第１の部分６５０の第３のパスおよび第４のパスの例示的な実施例を示す。図示されているように、（第１の生成結果６１２の）オフセット層で生成されたｓＣＴ画像は受け取られ、第３のパスで複数の変形可能なオフセット層６６０Ｂに提供される。（第１の生成結果６１２の）オフセット層で生成されたｓＣＴ画像は、変形可能なオフセット層６６０Ｂを、畳み込みブロック６６１Ｂで畳み込みブロックとインターリーブされた状態で通過する。４つの変形可能なオフセット層６６０Ｂのみが示されているが、より多く、またはより少ない変形可能なオフセット層を利用してもよい。第３のパスと並行して（第２の生成結果６１４の）オフセット層なしで生成されたｓＣＴ画像は、変形可能なオフセット層６６０Ｂを通過することなく、畳み込みブロック６６１Ｂのみを通過する第４のパスを経由する。第３のパスおよび第４のパスの両方の画像出力は、（例えば、生成器モデルの第２のレスト部６２０の機能を実装する並列プロセスを実行することにより）並列に処理されるために、共有された生成器モデルの第２のレスト部６２０に提供され、対応するサイクルＣＢＣＴ画像６２８、６２９を出力する。具体的には、サイクルＣＢＣＴ画像６２８はオフセット層を用いて作成され、サイクルＣＢＣＴ画像６２９はオフセット層を用いずに作成される。オフセット層を用いて生成されたサイクルＣＢＣＴ画像６２８は、ＣＢＣＴ領域の第２の識別器モデル６４０に提供され、サイクルＣＢＣＴ画像６２９は、第２の識別器モデル６４０に提供されない。
［０１２０］
図６Ａに戻り、一実施例では、第２の部分６５２において、第２の生成器モデル６０８は、第５のパスおよび第６のパスを介して、（画像ペア４２２の１つを含む）本物のＣＴトレーニング画像６０４を受信し、第１の生成結果６２６および第２の生成結果６２７としてそれぞれの第１のｓＣＢＣＴ画像および第２のｓＣＢＣＴ画像（合成のまたは模擬のＣＢＣＴ画像）を生成するようにトレーニングされる。具体的には、本物のＣＴトレーニング画像６０４は、１つまたはそれ以上の変形可能なオフセット層６６０Ｂおよび１つまたはそれ以上の畳み込みブロック６６１Ｂによって第５のパスで処理され、第１の生成結果６２６としての第１のｓＣＢＣＴ画像を生成する。本物のＣＴトレーニング画像６０４は、変形可能なオフセット層６６０Ｂによって処理されることなく、畳み込みブロック６６１Ｂによって第６のパスで処理され、第２の生成結果６２７として第２のｓＣＢＣＴ画像を生成する。第５のパスを介して畳み込みブロック６６１Ｂと変形可能なオフセット層６６０Ｂを含む第１の入力インターフェースを使用して第１の生成結果６２６を生成する第２の生成器モデル６０８は、第１の部分６５０で使用されたものと同じ生成器Ｇoffset ct2cbctであり、第６のパスを介して変形可能なオフセット層６６０Ｂを含まない畳み込みブロック６６１Ｂを含む第２の入力インターフェースを使用して第２の生成結果６２７を生成する第２の生成器モデル６０８は、第１の部分６５０で使用されたものと同じ生成器Ｇct2cbctである。
図６Ａに戻り、一実施例では、第２の部分６５２において、第２の生成器モデル６０８は、第５のパスおよび第６のパスを介して、（画像ペア４２２の１つを含む）本物のＣＴトレーニング画像６０４を受信し、第１の生成結果６２６および第２の生成結果６２７としてそれぞれの第１のｓＣＢＣＴ画像および第２のｓＣＢＣＴ画像（合成のまたは模擬のＣＢＣＴ画像）を生成するようにトレーニングされる。具体的には、本物のＣＴトレーニング画像６０４は、１つまたはそれ以上の変形可能なオフセット層６６０Ｂおよび１つまたはそれ以上の畳み込みブロック６６１Ｂによって第５のパスで処理され、第１の生成結果６２６としての第１のｓＣＢＣＴ画像を生成する。本物のＣＴトレーニング画像６０４は、変形可能なオフセット層６６０Ｂによって処理されることなく、畳み込みブロック６６１Ｂによって第６のパスで処理され、第２の生成結果６２７として第２のｓＣＢＣＴ画像を生成する。第５のパスを介して畳み込みブロック６６１Ｂと変形可能なオフセット層６６０Ｂを含む第１の入力インターフェースを使用して第１の生成結果６２６を生成する第２の生成器モデル６０８は、第１の部分６５０で使用されたものと同じ生成器Ｇoffset ct2cbctであり、第６のパスを介して変形可能なオフセット層６６０Ｂを含まない畳み込みブロック６６１Ｂを含む第２の入力インターフェースを使用して第２の生成結果６２７を生成する第２の生成器モデル６０８は、第１の部分６５０で使用されたものと同じ生成器Ｇct2cbctである。
［０１２１］
第５のパスにおいて、本物のＣＴトレーニング画像６０４は、変形可能なオフセット層６６０Ｂにおける第１の変形可能なオフセット層によって処理され、第１の変形可能なオフセット層の出力は、１つまたはそれ以上の畳み込みブロック６６１Ｂにおける第１の畳み込みブロックに提供される。次に、第１の畳み込みブロックの出力は、変形可能なオフセット層６６０Ｂの第２の変形可能なオフセット層によって処理されるように提供される。次に、第２の変形可能オフセット層の出力は、別の畳み込みブロック（存在する場合）に提供されるか、または生成器モデルの第２のレスト部６２０に直接提供される。特に、変形可能なオフセット層６６０は、畳み込みブロック６６１Ｂとインターリーブされることができる。
第５のパスにおいて、本物のＣＴトレーニング画像６０４は、変形可能なオフセット層６６０Ｂにおける第１の変形可能なオフセット層によって処理され、第１の変形可能なオフセット層の出力は、１つまたはそれ以上の畳み込みブロック６６１Ｂにおける第１の畳み込みブロックに提供される。次に、第１の畳み込みブロックの出力は、変形可能なオフセット層６６０Ｂの第２の変形可能なオフセット層によって処理されるように提供される。次に、第２の変形可能オフセット層の出力は、別の畳み込みブロック（存在する場合）に提供されるか、または生成器モデルの第２のレスト部６２０に直接提供される。特に、変形可能なオフセット層６６０は、畳み込みブロック６６１Ｂとインターリーブされることができる。
［０１２２］
なお、第５のパスと並行して、本物のＣＴトレーニング画像６０４は、第６のパスにおいて、変形可能なオフセット層６６０Ｂを通過することなく、１つまたはそれ以上の畳み込みブロック６６１Ｂのみによって処理される。本物のＣＴトレーニング画像６０４が通過する畳み込みブロック６６１Ｂは、第５のパスと第６のパスで共有することができる。具体的には、本物のＣＴトレーニング画像６０４は、第６のパスにおいて、１つまたはそれ以上の畳み込みブロック６６１Ｂの第１畳み込みブロックと、別の畳み込みブロック（存在する場合）とを通過する。次に、第１の畳み込みブロックの出力は、生成器モデルの第２のレスト部６２０に提供される。生成器モデルの第２のレスト部６２０は、第５のパスおよび第６のパスが出力する画像を並列にまたは順次に処理する。
なお、第５のパスと並行して、本物のＣＴトレーニング画像６０４は、第６のパスにおいて、変形可能なオフセット層６６０Ｂを通過することなく、１つまたはそれ以上の畳み込みブロック６６１Ｂのみによって処理される。本物のＣＴトレーニング画像６０４が通過する畳み込みブロック６６１Ｂは、第５のパスと第６のパスで共有することができる。具体的には、本物のＣＴトレーニング画像６０４は、第６のパスにおいて、１つまたはそれ以上の畳み込みブロック６６１Ｂの第１畳み込みブロックと、別の畳み込みブロック（存在する場合）とを通過する。次に、第１の畳み込みブロックの出力は、生成器モデルの第２のレスト部６２０に提供される。生成器モデルの第２のレスト部６２０は、第５のパスおよび第６のパスが出力する画像を並列にまたは順次に処理する。
［０１２３］
第２の生成結果６２７ではなく、第１の生成結果６２６は、第２の識別器モデル６４０に提供される。第２の識別器モデル６４０は、ｓＣＢＣＴ画像を、本物のＣＢＣＴトレーニング画像または模擬のＣＢＣＴトレーニング画像として分類し、その分類を検出結果６４２として提供する。第１の生成結果６２６および検出結果６４２は、第２の生成器モデル６０８および第２の識別器モデル６４０にフィードバックされ、第２の生成器モデル６０８および第２の識別器モデル６４０が実装する重みを調整する。例えば、第１の生成結果６２６（例えば、第２の生成器モデル６２０によって生成されたｓＣＢＣＴ画像）および検出結果６４２は、敵対的損失を計算するために使用される。
第２の生成結果６２７ではなく、第１の生成結果６２６は、第２の識別器モデル６４０に提供される。第２の識別器モデル６４０は、ｓＣＢＣＴ画像を、本物のＣＢＣＴトレーニング画像または模擬のＣＢＣＴトレーニング画像として分類し、その分類を検出結果６４２として提供する。第１の生成結果６２６および検出結果６４２は、第２の生成器モデル６０８および第２の識別器モデル６４０にフィードバックされ、第２の生成器モデル６０８および第２の識別器モデル６４０が実装する重みを調整する。例えば、第１の生成結果６２６（例えば、第２の生成器モデル６２０によって生成されたｓＣＢＣＴ画像）および検出結果６４２は、敵対的損失を計算するために使用される。
［０１２４］
また、第１の生成結果６２６（例えば、ｓＣＢＣＴ画像）は、第２の生成結果６２７とともに、それぞれ第７のパスおよび第８のパスを介して、第１の生成器モデル６０６に同時に提供される。第１の生成器モデル６０６は、第１の生成結果６２６を受け取り、出力としてそれぞれのサイクルＣＴ画像６２４を生成する。サイクルＣＴ画像６２４は、周期損失を計算するために使用され、第１の生成器モデル／第２生成器モデル６０６／６０８の重みを調整する。第７のパスを介してサイクルＣＴ画像を生成する第１の生成器モデル６０６は、第１の部分６５０で使用されたものと同じ生成器Ｇoffset ct2cbctであり、第８のパスを介してサイクルＣＴ画像を生成する第１の生成器モデル６０８は、第１の部分６５０で使用されたものと同じ生成器Ｇct2cbctである。
また、第１の生成結果６２６（例えば、ｓＣＢＣＴ画像）は、第２の生成結果６２７とともに、それぞれ第７のパスおよび第８のパスを介して、第１の生成器モデル６０６に同時に提供される。第１の生成器モデル６０６は、第１の生成結果６２６を受け取り、出力としてそれぞれのサイクルＣＴ画像６２４を生成する。サイクルＣＴ画像６２４は、周期損失を計算するために使用され、第１の生成器モデル／第２生成器モデル６０６／６０８の重みを調整する。第７のパスを介してサイクルＣＴ画像を生成する第１の生成器モデル６０６は、第１の部分６５０で使用されたものと同じ生成器Ｇoffset ct2cbctであり、第８のパスを介してサイクルＣＴ画像を生成する第１の生成器モデル６０８は、第１の部分６５０で使用されたものと同じ生成器Ｇct2cbctである。
［０１２５］
いくつかの実施例では、「敵対的損失」は、第１の識別器モデル６３０および第２の識別器モデル６４０の分類損失を計算することができる。第１の識別器モデル６３０及び第２の識別器モデル６４０は、合成の画像が本物の画像と類似した分布を有するか否かを分類することができる。サイクル整合性損失については、本物のＣＢＣＴ画像とサイクルＣＢＣＴ画像の各ペア間、本物のＣＴ画像とサイクルＣＴ画像の各ペア間で、それぞれ損失を算出する。例えば、ＣＢＣＴトレーニング画像６０２とサイクルＣＢＣＴ画像６２２との間で第１の損失が計算することができ、本物のトレーニングＣＴ画像６０４とサイクルＣＴ画像６２４との間で第２の損失が計算することができる。サイクルＣＢＣＴ画像６２２及びサイクルＣＴ画像６２４は、いずれも前進及び後退のサイクルを行って得ることができる。本物のＣＢＣＴ画像６０２とサイクルＣＢＣＴ画像６２２の各ペアは、同一のＣＢＣＴ画像領域内にあってもよく、本物のＣＴ画像６０４とサイクルＣＴ画像６２４の各ペアは、同一のＣＴ画像領域内にあってもよい。ＣｙｃｌｅＧＡＮ６００は、それに応じて、真のまたは実のＣＢＣＴトレーニング画像６０２の全体のプール（または複数のプール）と、実のトレーニングＣＴ画像６０４の全体のプール（または複数のプール）に依存して、変形可能なオフセット層６６０Ａが適用された（例えば、結果６１２）合成のＣＴ画像（ｓＣＴ画像）および変形可能なオフセット層が適用されていない（例えば、結果６１４）合成のＣＴ画像（ｓＣＴ画像）と、変形可能なオフセット層６６０Ｂが適用された（例えば、結果６２６）合成のＣＢＣＴ画像（ｓＣＴ画像）および変形可能なオフセット層が適用されていない（例えば、結果６１７）合成のＣＢＣＴ画像（ｓＣＴ画像）と、サイクルＣＢＣＴ画像６２２と、サイクルＣＴ画像６２４とを生成することができる。「敵対的損失」および「サイクル整合損失」に基づいて、ＣｙｃｌｅＧＡＮ６００は、本物のＣＴ画像と同様の画像解像度を有するシャープな合成のＣＴ画像を生成することができる。これは、与えられたＣＢＣＴ画像の画質を向上させるための以前のアプローチの１つに対する、少なくとも１つの技術的な改善である。
いくつかの実施例では、「敵対的損失」は、第１の識別器モデル６３０および第２の識別器モデル６４０の分類損失を計算することができる。第１の識別器モデル６３０及び第２の識別器モデル６４０は、合成の画像が本物の画像と類似した分布を有するか否かを分類することができる。サイクル整合性損失については、本物のＣＢＣＴ画像とサイクルＣＢＣＴ画像の各ペア間、本物のＣＴ画像とサイクルＣＴ画像の各ペア間で、それぞれ損失を算出する。例えば、ＣＢＣＴトレーニング画像６０２とサイクルＣＢＣＴ画像６２２との間で第１の損失が計算することができ、本物のトレーニングＣＴ画像６０４とサイクルＣＴ画像６２４との間で第２の損失が計算することができる。サイクルＣＢＣＴ画像６２２及びサイクルＣＴ画像６２４は、いずれも前進及び後退のサイクルを行って得ることができる。本物のＣＢＣＴ画像６０２とサイクルＣＢＣＴ画像６２２の各ペアは、同一のＣＢＣＴ画像領域内にあってもよく、本物のＣＴ画像６０４とサイクルＣＴ画像６２４の各ペアは、同一のＣＴ画像領域内にあってもよい。ＣｙｃｌｅＧＡＮ６００は、それに応じて、真のまたは実のＣＢＣＴトレーニング画像６０２の全体のプール（または複数のプール）と、実のトレーニングＣＴ画像６０４の全体のプール（または複数のプール）に依存して、変形可能なオフセット層６６０Ａが適用された（例えば、結果６１２）合成のＣＴ画像（ｓＣＴ画像）および変形可能なオフセット層が適用されていない（例えば、結果６１４）合成のＣＴ画像（ｓＣＴ画像）と、変形可能なオフセット層６６０Ｂが適用された（例えば、結果６２６）合成のＣＢＣＴ画像（ｓＣＴ画像）および変形可能なオフセット層が適用されていない（例えば、結果６１７）合成のＣＢＣＴ画像（ｓＣＴ画像）と、サイクルＣＢＣＴ画像６２２と、サイクルＣＴ画像６２４とを生成することができる。「敵対的損失」および「サイクル整合損失」に基づいて、ＣｙｃｌｅＧＡＮ６００は、本物のＣＴ画像と同様の画像解像度を有するシャープな合成のＣＴ画像を生成することができる。これは、与えられたＣＢＣＴ画像の画質を向上させるための以前のアプローチの１つに対する、少なくとも１つの技術的な改善である。
［０１２６］
いくつかの実施例では、プロセッサ（例えば、システム１００の）は、本物のＣＴトレーニング画像をトレーニングＣＢＣＴ画像に登録するために画像登録を適用することができる。これにより、トレーニングデータ中のＣＢＣＴ画像とＣＴ画像との間に１対１の対応関係が形成される可能性がある。この関係は、ペアされた、または、ＣＢＣＴ画像とＣＴ画像のペアと呼ばれる。一実施例では、ＣｙｃｌｅＧＡＮ６００は、対応するＣＢＣＴ画像と全く同じ解剖学的構造または実質的に同じ構造を保持し、かつ、ピクセル値の精度を含む本物のＣＴ画像と同様の高い画像品質を有する１つまたはそれ以上のｓＣＴ画像を生成することができる。いくつかの実施形態では、これらの解剖学的構造は、２つの画像間の類似性を表すメトリックを提供する解剖学的領域４２４（図４）のマッピングから決定することができる。一実施例では、ＣＢＣＴ画像に対応するｓＣＴ画像のピクセル値精度を保持するために（例えば、ＣＢＣＴ画像が本物のＣＴ画像として現れるために）、ＣｙｃｌｅＧＡＮ６００に追加の制約条件を加えてもよい。これらの制約条件は、ｓＣＴ画像と本物のＣＴ画像との間、及びｓＣＢＣＴ画像と本物のＣＢＣＴ画像との間の画素値損失を表す画素値損失を追加することを含むことができる。このような制約条件は、制約条件４２６（図４）の一部であってもよい。ｓＣＴ画像と対応するＣＴ画像とを直接リンクさせるこれらの制約条件は、次式の画素値損失項（画素ベース損失項：pixel based loss term）で表することができる。
いくつかの実施例では、プロセッサ（例えば、システム１００の）は、本物のＣＴトレーニング画像をトレーニングＣＢＣＴ画像に登録するために画像登録を適用することができる。これにより、トレーニングデータ中のＣＢＣＴ画像とＣＴ画像との間に１対１の対応関係が形成される可能性がある。この関係は、ペアされた、または、ＣＢＣＴ画像とＣＴ画像のペアと呼ばれる。一実施例では、ＣｙｃｌｅＧＡＮ６００は、対応するＣＢＣＴ画像と全く同じ解剖学的構造または実質的に同じ構造を保持し、かつ、ピクセル値の精度を含む本物のＣＴ画像と同様の高い画像品質を有する１つまたはそれ以上のｓＣＴ画像を生成することができる。いくつかの実施形態では、これらの解剖学的構造は、２つの画像間の類似性を表すメトリックを提供する解剖学的領域４２４（図４）のマッピングから決定することができる。一実施例では、ＣＢＣＴ画像に対応するｓＣＴ画像のピクセル値精度を保持するために（例えば、ＣＢＣＴ画像が本物のＣＴ画像として現れるために）、ＣｙｃｌｅＧＡＮ６００に追加の制約条件を加えてもよい。これらの制約条件は、ｓＣＴ画像と本物のＣＴ画像との間、及びｓＣＢＣＴ画像と本物のＣＢＣＴ画像との間の画素値損失を表す画素値損失を追加することを含むことができる。このような制約条件は、制約条件４２６（図４）の一部であってもよい。ｓＣＴ画像と対応するＣＴ画像とを直接リンクさせるこれらの制約条件は、次式の画素値損失項（画素ベース損失項：pixel based loss term）で表することができる。
ここで、ｘ、ｙは、ペアになったＣＢＣＴ画像と本物のＣＴ画像であり、Ｇcbct2ctは、畳み込みブロック６６１Ａを有し、変形可能なオフセット層６６０Ａを有さない入力インターフェースを含む第１の生成器モデル６０６（例えば、ＣＢＣＴからｓＣＴへの生成器、Ｇcbct2ct）であり、Ｅは、全てのｓＣＴ画像と、対応する本物のＣＴ画像との間のＬ１差の期待値を表し、Ｇcbct2ct（ｘ）は、第２のｓＣＢＣＴ画像である。Ｅの値は、記憶装置１１６、外部データソース、人間の入力から取得され、および／または、追加のｓＣＴおよびｓＣＢＣＴ画像が生成されるときに連続的に更新される。
［０１２７］
ｓＣＢＣＴ画像と対応するＣＢＣＴ画像とを直接リンクさせるための制約条件として、別の画素値損失項が追加されてもよいが、これは次式の画素値損失項で表される。
ｓＣＢＣＴ画像と対応するＣＢＣＴ画像とを直接リンクさせるための制約条件として、別の画素値損失項が追加されてもよいが、これは次式の画素値損失項で表される。
ここで、ｘ、ｙは、ＣＢＣＴ画像およびＣＴ画像のペアであり、Ｇct2cbctは、畳み込みブロック６６１Ｂを有し、変形可能なオフセット層６６０Ｂを有さない入力インターフェースを含む第２の生成器モデル６０８（本物のＣＴからｓＣＢＣＴへの生成器、Ｇct2cbct）であり、Ｇct2cbct（ｘ）は、第２のｓＣＢＣＴ画像である。
［０１２８］
これら２つの画素値損失項（Ｌ１ノルム項）は、ｓＣＴ画像を、対応する本物のＣＴ画像と比較し、ｓＣＢＣＴ画像を、対応する本物のＣＢＣＴ画像と比較する。この２つのＬ１ノルム項を最小化または低減することにより、合成の画像は、対象となる本物の／真実の（true/real）画像と画素値が一致する可能性が高くなる。より具体的には、例えば、ｓＣＴ－ＣＴのＬ１ノルム項を最小化または低減することにより、生成されたｓＣＴ画像は、強制的に、または対応するＣＴ画像とのピクセルレベルの精度および類似性を有することを余儀なくされるか、または、有することを余儀なくされる可能性が高くなる。医用画像における画素の絶対値は、何らかの特定の物理的な測定値または量を表すことができるので、従来のシステムに比べて技術的な改善をもたらす可能性がある。例えば、ＣＴの画素値には電子密度に関する情報が含まれており、放射線量の計算に有用である。別の実施例として、放射線治療システム１００は、被検体の標的領域に向けて放射線治療または放射線をより正確に指示することができる。
これら２つの画素値損失項（Ｌ１ノルム項）は、ｓＣＴ画像を、対応する本物のＣＴ画像と比較し、ｓＣＢＣＴ画像を、対応する本物のＣＢＣＴ画像と比較する。この２つのＬ１ノルム項を最小化または低減することにより、合成の画像は、対象となる本物の／真実の（true/real）画像と画素値が一致する可能性が高くなる。より具体的には、例えば、ｓＣＴ－ＣＴのＬ１ノルム項を最小化または低減することにより、生成されたｓＣＴ画像は、強制的に、または対応するＣＴ画像とのピクセルレベルの精度および類似性を有することを余儀なくされるか、または、有することを余儀なくされる可能性が高くなる。医用画像における画素の絶対値は、何らかの特定の物理的な測定値または量を表すことができるので、従来のシステムに比べて技術的な改善をもたらす可能性がある。例えば、ＣＴの画素値には電子密度に関する情報が含まれており、放射線量の計算に有用である。別の実施例として、放射線治療システム１００は、被検体の標的領域に向けて放射線治療または放射線をより正確に指示することができる。
［０１２９］
別の実施例では、重みのようなメトリックが、（例えば、ペアリングされた画像が完全に整列していない状況を考慮するために）ピクセルベースの損失項に追加されてもよい。そのようなメトリックは、制約条件４２６から取得することができる。メトリックは、所定の割り当てられた重み、普遍的な品質指標（ＵＱＩ）、局所的な相互相関、または２つの画像間の類似性または他の関係を測定する他の任意の技術を使用して生成することができる。本開示の目的のために、２つの画像間の関係を測定するために使用されるメトリックはＳＳＩＭ重みであるが、他の任意のメトリックを使用することができる。例えば、ＳＳＩＭ重み付きＬ１ノルムアプローチは、ペアのＣＢＣＴ－ＣＴ画像の不完全なマッチングを補正するために使用することができる。特に、ｓＣＴ－ＣＴのＬ１ノルム項を最小化または減少させることにより、ＣｙｃｌｅＧＡＮ６００は、ｓＣＴ画像が対象とする本物のＣＴ画像とピクセル値が一致するという制約を強制することができる。ペアになったＣＢＣＴ－ＣＴ画像のすべて、または実質的にすべてが完全に整列している場合、対象となる本物のＣＴ画像は、ＣＢＣＴ画像と同じ解剖学的構造を有している可能性がある。このような状況では、生成されたｓＣＴ画像は、また、ＣＢＣＴ画像における同じ解剖学的構造を保存することができる。いくつかの実施例では、ペアされたＣＢＣＴ画像とＣＴ画像が完全に整列していないことがある（例えば、患者の解剖学的構造（特に、いくつかの臓器または軟部組織）が、ＣＢＣＴ画像と対応する本物のＣＴ画像を撮影する間に変化しているため）。これらの場合、ｓＣＴ－ＣＴおよび／またはｓＣＢＣＴ－ＣＢＣＴのＬ１損失項を最小化または減少させることは、（例えば、生成された合成のＣＴ画像が、それらのずれた領域の対応するＣＴ画像と一致するように強制することによって）トレーニングされた生成器および識別器モデルに、生成された画像に何らかの歪みを生じさせる誤差を導入させる可能性がある。潜在的な歪み効果を除去／抑制／低減する１つの方法は、ｓＣＴ－ＣＴおよびｓＣＢＣＴ－ＣＢＣＴの画素ベースの損失項に対して、次式のような、ＳＳＩＭ重みを追加することである。
別の実施例では、重みのようなメトリックが、（例えば、ペアリングされた画像が完全に整列していない状況を考慮するために）ピクセルベースの損失項に追加されてもよい。そのようなメトリックは、制約条件４２６から取得することができる。メトリックは、所定の割り当てられた重み、普遍的な品質指標（ＵＱＩ）、局所的な相互相関、または２つの画像間の類似性または他の関係を測定する他の任意の技術を使用して生成することができる。本開示の目的のために、２つの画像間の関係を測定するために使用されるメトリックはＳＳＩＭ重みであるが、他の任意のメトリックを使用することができる。例えば、ＳＳＩＭ重み付きＬ１ノルムアプローチは、ペアのＣＢＣＴ－ＣＴ画像の不完全なマッチングを補正するために使用することができる。特に、ｓＣＴ－ＣＴのＬ１ノルム項を最小化または減少させることにより、ＣｙｃｌｅＧＡＮ６００は、ｓＣＴ画像が対象とする本物のＣＴ画像とピクセル値が一致するという制約を強制することができる。ペアになったＣＢＣＴ－ＣＴ画像のすべて、または実質的にすべてが完全に整列している場合、対象となる本物のＣＴ画像は、ＣＢＣＴ画像と同じ解剖学的構造を有している可能性がある。このような状況では、生成されたｓＣＴ画像は、また、ＣＢＣＴ画像における同じ解剖学的構造を保存することができる。いくつかの実施例では、ペアされたＣＢＣＴ画像とＣＴ画像が完全に整列していないことがある（例えば、患者の解剖学的構造（特に、いくつかの臓器または軟部組織）が、ＣＢＣＴ画像と対応する本物のＣＴ画像を撮影する間に変化しているため）。これらの場合、ｓＣＴ－ＣＴおよび／またはｓＣＢＣＴ－ＣＢＣＴのＬ１損失項を最小化または減少させることは、（例えば、生成された合成のＣＴ画像が、それらのずれた領域の対応するＣＴ画像と一致するように強制することによって）トレーニングされた生成器および識別器モデルに、生成された画像に何らかの歪みを生じさせる誤差を導入させる可能性がある。潜在的な歪み効果を除去／抑制／低減する１つの方法は、ｓＣＴ－ＣＴおよびｓＣＢＣＴ－ＣＢＣＴの画素ベースの損失項に対して、次式のような、ＳＳＩＭ重みを追加することである。
［０１３０］
いくつかの実施形態では、重み（ＳＳＩＭ（ｘ，ｙ））は、ペアになったＣＢＣＴ画像およびＣＴ画像と同じサイズまたは実質的に同じサイズを有するマップ（例えば、解剖学的領域４２４）であってもよい。ＳＳＩＭ（ｘ，ｙ）の各画素値は、同じ画素位置にある元のＣＢＣＴと対応する本物のＣＴ画像のペア間の類似度を表することができる。ＳＳＳＩＭの画素値の範囲は、０から１の範囲とすることができる（他の範囲であってもよい）。値１は、ＣＢＣＴと、対応する本物のＣＴ画像が画像位置で良好に整列していることを示す完全な構造類似度を表し、値０は、構造類似度が最も低いことを表すことができる。例えば、ＣＢＣＴ画像および本物のＣＴ画像の各ペアに対して（例えば、記憶装置１１６に記憶されているＣＢＣＴ画像および本物のＣＴ画像の各ペアに対して）、ＳＳＩＭマップ／画像を（例えば、システム１００のプロセッサにより）計算することができる。ＳＳＩＭマップは、所定のペアのトレーニング画像を形成する際に、または、トレーニング画像のしきい値番号が得られて記憶された後に、計算システム１１０によって計算することができる。計算システム１１０は、画像モデリングを使用して、ＣＢＣＴ画像と本物のＣＴ画像のペアが整列している確率をピクセルごとに決定し、その確率を格納するか、または決定された確率でそのピクセルのＳＳＩＭ値を更新することができる。いくつかの実施形態では、この確率値は、人間のオペレータによって入力されてもよいし、医師によってガイドすることができる。ＳＳＳＩＭ重み付けｓＣＴ－ＣＴピクセルベースの損失項は、ＣＢＣＴと本物のＣＴの間のピクセルの組が強い類似性を有する高いＳＳＳＩＭ値（１に近い）を有する場合、ＳＳＳＩＭ重み付けＬ１ノルム項を最小化することによって、ＣｙｃｌｅＧＡＮ６００が、ｓＣＴ画像が（例えば、ＣＢＣＴ画像とＣＴ画像との間の類似性重みが大きいために）対象とするＣＴ画像と一致することを意味する。一方、ＣＢＣＴと本物のＣＴとの間のペアの画素が低いＳＳＳＩＭ値（０に近い）である場合、ＳＳＩＭ重み付けされたＬ１ノルム項を最小化または減少させることにより、ＣｙｃｌｅＧＡＮ６００は、（例えば、重みが既に小さい（０に近い）ため）合成のＣＴ画像が標的ＣＴと一致することを回避することができる。特に、マップの重みがＣＴ／ＣＢＣＴ画像のペアの間の類似度が低レベルであることを示す場合には、所定の画素位置において画素値損失項が最小化されるか、または低減される可能性が低減される。これにより、画素位置での２枚の画像の差分ｓＣＴへの影響を低減させることができる。また、マップの重みがペアのＣＴ画像及びＣＢＣＴ画像間の類似度が高いことを示している場合には、所定の画素位置において画素値損失項が最小化または減少する可能性が高くなる。これにより、画素位置における２枚の画像間の差分のＳＣＴへの影響が大きくなる。ＳＳＳＩＭ重みは、ピクセル単位で対象となる本物のＣＴ画像と一致するように、ｓＣＴ画像に異なるレベルの強度を強制するメカニズムを提供する。
いくつかの実施形態では、重み（ＳＳＩＭ（ｘ，ｙ））は、ペアになったＣＢＣＴ画像およびＣＴ画像と同じサイズまたは実質的に同じサイズを有するマップ（例えば、解剖学的領域４２４）であってもよい。ＳＳＩＭ（ｘ，ｙ）の各画素値は、同じ画素位置にある元のＣＢＣＴと対応する本物のＣＴ画像のペア間の類似度を表することができる。ＳＳＳＩＭの画素値の範囲は、０から１の範囲とすることができる（他の範囲であってもよい）。値１は、ＣＢＣＴと、対応する本物のＣＴ画像が画像位置で良好に整列していることを示す完全な構造類似度を表し、値０は、構造類似度が最も低いことを表すことができる。例えば、ＣＢＣＴ画像および本物のＣＴ画像の各ペアに対して（例えば、記憶装置１１６に記憶されているＣＢＣＴ画像および本物のＣＴ画像の各ペアに対して）、ＳＳＩＭマップ／画像を（例えば、システム１００のプロセッサにより）計算することができる。ＳＳＩＭマップは、所定のペアのトレーニング画像を形成する際に、または、トレーニング画像のしきい値番号が得られて記憶された後に、計算システム１１０によって計算することができる。計算システム１１０は、画像モデリングを使用して、ＣＢＣＴ画像と本物のＣＴ画像のペアが整列している確率をピクセルごとに決定し、その確率を格納するか、または決定された確率でそのピクセルのＳＳＩＭ値を更新することができる。いくつかの実施形態では、この確率値は、人間のオペレータによって入力されてもよいし、医師によってガイドすることができる。ＳＳＳＩＭ重み付けｓＣＴ－ＣＴピクセルベースの損失項は、ＣＢＣＴと本物のＣＴの間のピクセルの組が強い類似性を有する高いＳＳＳＩＭ値（１に近い）を有する場合、ＳＳＳＩＭ重み付けＬ１ノルム項を最小化することによって、ＣｙｃｌｅＧＡＮ６００が、ｓＣＴ画像が（例えば、ＣＢＣＴ画像とＣＴ画像との間の類似性重みが大きいために）対象とするＣＴ画像と一致することを意味する。一方、ＣＢＣＴと本物のＣＴとの間のペアの画素が低いＳＳＳＩＭ値（０に近い）である場合、ＳＳＩＭ重み付けされたＬ１ノルム項を最小化または減少させることにより、ＣｙｃｌｅＧＡＮ６００は、（例えば、重みが既に小さい（０に近い）ため）合成のＣＴ画像が標的ＣＴと一致することを回避することができる。特に、マップの重みがＣＴ／ＣＢＣＴ画像のペアの間の類似度が低レベルであることを示す場合には、所定の画素位置において画素値損失項が最小化されるか、または低減される可能性が低減される。これにより、画素位置での２枚の画像の差分ｓＣＴへの影響を低減させることができる。また、マップの重みがペアのＣＴ画像及びＣＢＣＴ画像間の類似度が高いことを示している場合には、所定の画素位置において画素値損失項が最小化または減少する可能性が高くなる。これにより、画素位置における２枚の画像間の差分のＳＣＴへの影響が大きくなる。ＳＳＳＩＭ重みは、ピクセル単位で対象となる本物のＣＴ画像と一致するように、ｓＣＴ画像に異なるレベルの強度を強制するメカニズムを提供する。
［０１３１］
［０１１９］
同様に、ＳＳＩＭ重み付けｓＣＢＣＴ－ＣＢＣＴピクセルベースの損失項は、ＣＢＣＴと本物のＣＴの間のピクセルの組が強い類似性を有する高いＳＳＳＩＭ値（１に近い）を有する場合、ＳＳＳＩＭ重み付けＬ１ノルム項を最小化することにより、ＣｙｃｌｅＧＡＮ６００は、（例えば、ＣＢＣＴ画像とＣＴ画像の間の類似性重みが大きいため）ｓＣＢＣＴ画像が標的ＣＢＣＴ画像と一致することを引き起こし得ることを意味する。一方、ＣＢＣＴと本物のＣＴとの間の一対の画素が低いＳＳＳＩＭ値（０に近い）を有する場合、ＳＳＩＭ重み付けされたＬ１ノルム項を最小化または減少させることにより、ＣｙｃｌｅＧＡＮ６００は、（例えば、重みが既に小さい（０に近い）ため）合成のＣＢＣＴ画像が標的ＣＢＣＴと一致することを回避することができる。特に、マップの重みがＣＴ／ＣＢＣＴ画像の対の間の類似度の低レベルを示す場合に、所定の画素位置において画素値損失項が最小化されるか、または低減される可能性が低減される。これにより、画素位置における２つの画像間の差分のｓＣＢＣＴへの影響を低減することができる。また、マップの重みがペアのＣＴ画像及びＣＢＣＴ画像間の類似度が高いことを示している場合には、所定の画素位置において画素値損失項が最小化または減少する可能性が高くなる。これにより、画素位置での２つの画像間の差のｓＣＢＣＴへの影響が大きくなる。ＳＳＩＭ重みは、ピクセル単位のレベルで標的とされた本物のＣＢＣＴ画像と一致するように、ｓＣＢＣＴ画像に異なるレベルの強度を強制するメカニズムを提供する。
［０１１９］
同様に、ＳＳＩＭ重み付けｓＣＢＣＴ－ＣＢＣＴピクセルベースの損失項は、ＣＢＣＴと本物のＣＴの間のピクセルの組が強い類似性を有する高いＳＳＳＩＭ値（１に近い）を有する場合、ＳＳＳＩＭ重み付けＬ１ノルム項を最小化することにより、ＣｙｃｌｅＧＡＮ６００は、（例えば、ＣＢＣＴ画像とＣＴ画像の間の類似性重みが大きいため）ｓＣＢＣＴ画像が標的ＣＢＣＴ画像と一致することを引き起こし得ることを意味する。一方、ＣＢＣＴと本物のＣＴとの間の一対の画素が低いＳＳＳＩＭ値（０に近い）を有する場合、ＳＳＩＭ重み付けされたＬ１ノルム項を最小化または減少させることにより、ＣｙｃｌｅＧＡＮ６００は、（例えば、重みが既に小さい（０に近い）ため）合成のＣＢＣＴ画像が標的ＣＢＣＴと一致することを回避することができる。特に、マップの重みがＣＴ／ＣＢＣＴ画像の対の間の類似度の低レベルを示す場合に、所定の画素位置において画素値損失項が最小化されるか、または低減される可能性が低減される。これにより、画素位置における２つの画像間の差分のｓＣＢＣＴへの影響を低減することができる。また、マップの重みがペアのＣＴ画像及びＣＢＣＴ画像間の類似度が高いことを示している場合には、所定の画素位置において画素値損失項が最小化または減少する可能性が高くなる。これにより、画素位置での２つの画像間の差のｓＣＢＣＴへの影響が大きくなる。ＳＳＩＭ重みは、ピクセル単位のレベルで標的とされた本物のＣＢＣＴ画像と一致するように、ｓＣＢＣＴ画像に異なるレベルの強度を強制するメカニズムを提供する。
［０１３２］
別の実施例では、閾値付きＳＳＩＭ加重Ｌ１ノルムアプローチを用いることができる。この閾値は、制約条件４２６（図４）から取得することができる。特に、ペアのＣＢＣＴ画像及び本物のＣＴ画像の間の類似度の高い領域を選択し、類似度の低い領域を無視するために、ＳＳＳＩＭの重みに閾値を置くことができる。例えば、ＳＳＩＭ（ｘ，ｙ）の重み値が閾値α（ハイパーパラメータ）未満である場合、それらの重みは全てゼロに設定されてもよい（例えば、重みは無視されてもよく、それによって損失項が減少または最小化される可能性が減少する）。このような領域については、重みがゼロであるため、ｓＣＴはＣＴ画像と強制的に一致させることができない（２枚の画像間の差の情報が得られない場合がある）。このように、重み＝０なので、差分＝０を乗算すると、その画素での２つの画像の差は影響を受けないことになる。その代わりに、プロセスは、それらの画素領域を回復するために、敵対的損失とサイクル整合性損失に依存している。重み値が閾値α（ハイパーパラメータ）以上である場合、重みは、画素ベースの損失値について上述したのと同様の効果を有する。この閾値付きＳＳＩＭ重み付けＬ１ノルムは、次式のように表すことができる。
別の実施例では、閾値付きＳＳＩＭ加重Ｌ１ノルムアプローチを用いることができる。この閾値は、制約条件４２６（図４）から取得することができる。特に、ペアのＣＢＣＴ画像及び本物のＣＴ画像の間の類似度の高い領域を選択し、類似度の低い領域を無視するために、ＳＳＳＩＭの重みに閾値を置くことができる。例えば、ＳＳＩＭ（ｘ，ｙ）の重み値が閾値α（ハイパーパラメータ）未満である場合、それらの重みは全てゼロに設定されてもよい（例えば、重みは無視されてもよく、それによって損失項が減少または最小化される可能性が減少する）。このような領域については、重みがゼロであるため、ｓＣＴはＣＴ画像と強制的に一致させることができない（２枚の画像間の差の情報が得られない場合がある）。このように、重み＝０なので、差分＝０を乗算すると、その画素での２つの画像の差は影響を受けないことになる。その代わりに、プロセスは、それらの画素領域を回復するために、敵対的損失とサイクル整合性損失に依存している。重み値が閾値α（ハイパーパラメータ）以上である場合、重みは、画素ベースの損失値について上述したのと同様の効果を有する。この閾値付きＳＳＩＭ重み付けＬ１ノルムは、次式のように表すことができる。
［０１３３］
変形可能なオフセット層を有するパス（例えば、第１のパスおよび第３のパス）によって生成されたｓＣＴ画像には、変形した構造または潜在的な他の人工的構造が含まれる可能性があるので、ＳＳＩＭ加重Ｌ１ノルムは、ＣＢＣＴ画像内のすべての元の解剖学的構造を厳密に保存する変形可能なオフセット層を含まないパス（例えば、第２のパスおよび第４のパス）における生成器によって生成されたｓＣＴ画像のみに配置される。このように、閾値付きＳＳＩＭ加重Ｌ１ ｓＣＴ－ＣＴピクセルベースの損失項（Thresholded SSIM-weighted L1 sCT-CT pixel based loss term）は、次式のように表すことができる。
変形可能なオフセット層を有するパス（例えば、第１のパスおよび第３のパス）によって生成されたｓＣＴ画像には、変形した構造または潜在的な他の人工的構造が含まれる可能性があるので、ＳＳＩＭ加重Ｌ１ノルムは、ＣＢＣＴ画像内のすべての元の解剖学的構造を厳密に保存する変形可能なオフセット層を含まないパス（例えば、第２のパスおよび第４のパス）における生成器によって生成されたｓＣＴ画像のみに配置される。このように、閾値付きＳＳＩＭ加重Ｌ１ ｓＣＴ－ＣＴピクセルベースの損失項（Thresholded SSIM-weighted L1 sCT-CT pixel based loss term）は、次式のように表すことができる。
［０１３４］
閾値付きＳＳＩＭ加重Ｌ１ ｓＣＢＣＴ－ＣＢＣＴ項（Thresholded SSIM-weighted L1 sCBCT-CBCT term）は、次式のように表現できる。
閾値付きＳＳＩＭ加重Ｌ１ ｓＣＢＣＴ－ＣＢＣＴ項（Thresholded SSIM-weighted L1 sCBCT-CBCT term）は、次式のように表現できる。
［０１３５］
ハイパーパラメータαの範囲は、０から１の間で設定することができる。いくつかの実施例では、ハイパーパラメータαの値を０．５または０．６に設定する。追加の閾値付きＳＳＩＭ加重Ｌ１ノルム項（Thresholded SSIM weighted L1-norm term）は、オフセット層のない生成器（例えば、第２のパスと第４のパスの生成器）にのみ配置され、次式のように表される。
ハイパーパラメータαの範囲は、０から１の間で設定することができる。いくつかの実施例では、ハイパーパラメータαの値を０．５または０．６に設定する。追加の閾値付きＳＳＩＭ加重Ｌ１ノルム項（Thresholded SSIM weighted L1-norm term）は、オフセット層のない生成器（例えば、第２のパスと第４のパスの生成器）にのみ配置され、次式のように表される。
［０１３６］
いくつかの実施形態では、ＣｙｃｌｅＧＡＮ６００は、敵対的損失項、サイクル整合性損失項、およびピクセルベース損失項（Ｌ１ノルム項）を含む目的関数に従ってｓＣＴ画像を生成するように実装することができる。画素ベースの損失項は、重み付け（例えば、ＳＳＳＩＭ重み付け）および／または閾値重み付けすることができる。敵対損失は、第１の生成器モデル６１０／第２の生成器モデル６２０および第１の識別器モデル６３０／第２の識別器モデル６４０を用いて決定され、次式のように表すことができる。
いくつかの実施形態では、ＣｙｃｌｅＧＡＮ６００は、敵対的損失項、サイクル整合性損失項、およびピクセルベース損失項（Ｌ１ノルム項）を含む目的関数に従ってｓＣＴ画像を生成するように実装することができる。画素ベースの損失項は、重み付け（例えば、ＳＳＳＩＭ重み付け）および／または閾値重み付けすることができる。敵対損失は、第１の生成器モデル６１０／第２の生成器モデル６２０および第１の識別器モデル６３０／第２の識別器モデル６４０を用いて決定され、次式のように表すことができる。
ただし、次の通りである。
Ｄctは、ある画像が本物のＣＴ画像なのかｓＣＴ画像なのかを判別する第１の識別器モデルである。Ｄcbctは、ある画像が本物のＣＢＣＴ画像であるか、ｓＣＢＣＴ画像であるかを判別する第２の識別器モデルである。
［０１３７］
いくつかの実施形態では、２つの画像間（ｓＣＴと対応するＣＴ画像との間）の構造の類似性を評価するために、シングルスケールのＳＳＩＭメトリクスが採用される。このような場合、開示された実施形態は、シングルスケールバージョンのＳＳＩＭメトリクスを使用する代わりに、マルチスケールバージョンのＳＳＩＭメトリクス（ＭＳ－ＳＳＩＭ）を採用して、２つの画像間の構造の類似性を評価することもできる。マルチスケールバージョンのＳＳＩＭメトリクスでは、ローパスフィルターとダウンサンプリングを使用して、異なる解像度またはビューレベルで複数のＳＳＩＭを取得する。
いくつかの実施形態では、２つの画像間（ｓＣＴと対応するＣＴ画像との間）の構造の類似性を評価するために、シングルスケールのＳＳＩＭメトリクスが採用される。このような場合、開示された実施形態は、シングルスケールバージョンのＳＳＩＭメトリクスを使用する代わりに、マルチスケールバージョンのＳＳＩＭメトリクス（ＭＳ－ＳＳＩＭ）を採用して、２つの画像間の構造の類似性を評価することもできる。マルチスケールバージョンのＳＳＩＭメトリクスでは、ローパスフィルターとダウンサンプリングを使用して、異なる解像度またはビューレベルで複数のＳＳＩＭを取得する。
［０１３８］
サイクル－コンシスタンス損失は、第１のパス、第２のパス、第３のパス、第４のパス、第５のパス、第６のパス、第７のパス、第８のパスにおいて、生成器Ｇoffset cbct2ctと、生成器Ｇoffset cbct2ctに適用される。このようなサイクル－コンシスタンス損失項は、画像６２２、６２４を用いて決定され、次式のように表される。
サイクル－コンシスタンス損失は、第１のパス、第２のパス、第３のパス、第４のパス、第５のパス、第６のパス、第７のパス、第８のパスにおいて、生成器Ｇoffset cbct2ctと、生成器Ｇoffset cbct2ctに適用される。このようなサイクル－コンシスタンス損失項は、画像６２２、６２４を用いて決定され、次式のように表される。
［０１３９］
開示された実施形態は、生成器Ｇoffset cbct2ctと、Ｇoffset ctcb2ct（例えば、第１のパス、第３のパス、第５のパス、第７のパスの生成器）にのみ「敵対的（adversarial）」損失を適用し、すべての生成器（例えば、Ｇoffset cbct2ct、Ｇoffset ct2cbct、Ｇcbct2ct、Ｇct2cbct、）に「サイクル－コンシステンス」損失を適用する。「サイクル－コンシステンス」損失項を最小化する効果は、オリジナルの構造を維持し、不必要な構造の変形を避けることであり、「敵対的」損失項を最小化する効果は、あるドメインから相手のドメインへのマッピングまたは分布変換を学習することである。従来のシングル生成器のアプローチとは異なり、各方向に２つの異なる生成器（例えば、第１のパスおよび第２のパスのそれぞれに１つずつの２つの生成器と、第３のパスおよび第４のパスのそれぞれに１つずつの２つの生成器）が提供される。一方の生成器は、（第１のパスにおけるＧoffset cbct2ctのような）オフセット層を備え、一方の生成器は、（第２のフローおけるＧcbct2ctのような）オフセット層を備えていない。さらに、生成器は、ウェイトやその他のモジュールを他のすべてのレイヤー（オフセット層を除く）と共有している。これらの２つの損失項を別個の生成器で組み合わせることにより、損失項は切り離され、お互いに競合することはない。すなわち、「サイクル－コンシステンス」損失項を最小化することにより、第２のパスにおけるオフセット層のない生成器Ｇcbct2ctによって生成されるｓＣＴ画像は、オリジナルのＣＢＣＴ画像に存在するすべての真の解剖学的構造を保持する。一方、「敵対的」な損失が、生成器Ｇoffset cbct2ctに置かれているので、オフセット層は、すべての不要な形状変形や潜在的に生成される幻覚構造に対応するようにトレーニングされ、他のすべての層は、形状変形や他の潜在的な幻覚構造を導入しない。その代わり、生成器Ｇcbct2ctは、真のオリジナルの解剖学的構造を有するｓＣＴ画像を生成する。これは、他のすべての層は、生成器Ｇoffset cbct2ctにより、生成器Ｇcbct2ctと共有されるため、それらは同時期に「サイクル－コンシスタンス」損失項により支配されるからである。このアプローチに基づき、開示された技術は、「敵対的（adversarial）」損失項および「周期的持続性」損失項によって引き起こされる２つの異なる効果をうまく切り離すことができる。したがって、ＣＴ画像の形状分布やその他の特徴分布が元のＣＢＣＴ画像のものと大きく異なる場合でも、生成器Ｇcbct2ctによって生成されたｓＣＴ画像は、元のＣＢＣＴ画像に存在する真のオリジナルの解剖学的構造を維持することができる。
開示された実施形態は、生成器Ｇoffset cbct2ctと、Ｇoffset ctcb2ct（例えば、第１のパス、第３のパス、第５のパス、第７のパスの生成器）にのみ「敵対的（adversarial）」損失を適用し、すべての生成器（例えば、Ｇoffset cbct2ct、Ｇoffset ct2cbct、Ｇcbct2ct、Ｇct2cbct、）に「サイクル－コンシステンス」損失を適用する。「サイクル－コンシステンス」損失項を最小化する効果は、オリジナルの構造を維持し、不必要な構造の変形を避けることであり、「敵対的」損失項を最小化する効果は、あるドメインから相手のドメインへのマッピングまたは分布変換を学習することである。従来のシングル生成器のアプローチとは異なり、各方向に２つの異なる生成器（例えば、第１のパスおよび第２のパスのそれぞれに１つずつの２つの生成器と、第３のパスおよび第４のパスのそれぞれに１つずつの２つの生成器）が提供される。一方の生成器は、（第１のパスにおけるＧoffset cbct2ctのような）オフセット層を備え、一方の生成器は、（第２のフローおけるＧcbct2ctのような）オフセット層を備えていない。さらに、生成器は、ウェイトやその他のモジュールを他のすべてのレイヤー（オフセット層を除く）と共有している。これらの２つの損失項を別個の生成器で組み合わせることにより、損失項は切り離され、お互いに競合することはない。すなわち、「サイクル－コンシステンス」損失項を最小化することにより、第２のパスにおけるオフセット層のない生成器Ｇcbct2ctによって生成されるｓＣＴ画像は、オリジナルのＣＢＣＴ画像に存在するすべての真の解剖学的構造を保持する。一方、「敵対的」な損失が、生成器Ｇoffset cbct2ctに置かれているので、オフセット層は、すべての不要な形状変形や潜在的に生成される幻覚構造に対応するようにトレーニングされ、他のすべての層は、形状変形や他の潜在的な幻覚構造を導入しない。その代わり、生成器Ｇcbct2ctは、真のオリジナルの解剖学的構造を有するｓＣＴ画像を生成する。これは、他のすべての層は、生成器Ｇoffset cbct2ctにより、生成器Ｇcbct2ctと共有されるため、それらは同時期に「サイクル－コンシスタンス」損失項により支配されるからである。このアプローチに基づき、開示された技術は、「敵対的（adversarial）」損失項および「周期的持続性」損失項によって引き起こされる２つの異なる効果をうまく切り離すことができる。したがって、ＣＴ画像の形状分布やその他の特徴分布が元のＣＢＣＴ画像のものと大きく異なる場合でも、生成器Ｇcbct2ctによって生成されたｓＣＴ画像は、元のＣＢＣＴ画像に存在する真のオリジナルの解剖学的構造を維持することができる。
［０１４０］
したがって、トータルの目的関数は、次式のように表される。
したがって、トータルの目的関数は、次式のように表される。
ここで、λ１，λ２は、それぞれ２つの損失の相対的な強さを制御する。
［０１４１］
ＣｙｃｌｅＧＡＮ６００は、第１の生成器および第２の生成器６１０／６２０を、次式によりトレーニングする。
ＣｙｃｌｅＧＡＮ６００は、第１の生成器および第２の生成器６１０／６２０を、次式によりトレーニングする。
これは、確率的勾配降下法、アダム法、他のよく知られた方法のような、深層学習分野で使われる共通の最適化アルゴリズムによってなされる。Ｇcbct2ctは、生成器Ｇoffset
cbct2ctの一部なので、生成器Ｇoffset
cbct2ctが得られると、生成器Ｇcbct2ctも得られる。
［０１４２］
いくつかの実装では、ＣｙｃｌｅＧＡＮ６００を用いてトレーニングされた後、変形可能なオフセット層６６０Ａを含まず、畳み込みブロック６６１Ａを有する入力インターフェースを含む第１の生成モデル６０６が、取得されたＣＢＣＴ画像からｓＣＴ画像を生成するためにシステム１００で使用される。ＣｙｃｌｅＧＡＮ６００の他の構成要素は、システム１００から除外することができる。
いくつかの実装では、ＣｙｃｌｅＧＡＮ６００を用いてトレーニングされた後、変形可能なオフセット層６６０Ａを含まず、畳み込みブロック６６１Ａを有する入力インターフェースを含む第１の生成モデル６０６が、取得されたＣＢＣＴ画像からｓＣＴ画像を生成するためにシステム１００で使用される。ＣｙｃｌｅＧＡＮ６００の他の構成要素は、システム１００から除外することができる。
［０１４３］
前述の実施例は、ＧＡＮまたはＣｙｃｌｅＧＡＮが、ＣＴ画像およびＣＢＣＴの画像のペアに基づいて、具体的には、複数の並列または逐次のパスの２Ｄ画像スライスにおける画像データから、いかにトレーニングされるかの実施例を提供する。ＧＡＮまたはＣｙｃｌｅＧＡＮは、他の形式の画像データ（例えば、３Ｄ、または他の多次元画像）を処理してもよいことが理解されるであろう。さらに、添付の図面では（白および黒を含む）グレースケール画像のみが描かれているが、以下の実施例で説明するように、カラー画像をＧＡＮで生成および／または処理してもよいことが理解されるであろう。
前述の実施例は、ＧＡＮまたはＣｙｃｌｅＧＡＮが、ＣＴ画像およびＣＢＣＴの画像のペアに基づいて、具体的には、複数の並列または逐次のパスの２Ｄ画像スライスにおける画像データから、いかにトレーニングされるかの実施例を提供する。ＧＡＮまたはＣｙｃｌｅＧＡＮは、他の形式の画像データ（例えば、３Ｄ、または他の多次元画像）を処理してもよいことが理解されるであろう。さらに、添付の図面では（白および黒を含む）グレースケール画像のみが描かれているが、以下の実施例で説明するように、カラー画像をＧＡＮで生成および／または処理してもよいことが理解されるであろう。
［０１４４］
図７は、トレーニングおよびｓＣＴ画像モデルの生成に関連して使用されるＣＢＣＴおよび本物のＣＴ入力画像のペアを示す。図７において、画像７０２は、本物のＣＴ画像７０４とペアになっている入力ＣＢＣＴ画像を示す。画像７０６は、画像類似度メトリック（例えば、ＳＳＳＩＭ重み）を提供するために解剖学的領域４２４のマップとして使用される画像を表し、画像７０８は、閾値付き類似度メトリック（例えば、閾値付きＳＳＩＭ重み）を提供するために解剖学的領域４２４のマップとして使用される画像を表す。ＣｙｃｌｅＧＡＮの生成器がトレーニングされた後、新しいＣＢＣＴ画像７１２を受け取ることができる。従来のＣｙｃｌｅＧＡＮは、新しいＣＢＣＴ画像７１２を処理して、ｓＣＴ画像７１４を出力する。登録されたＣＴ画像７１６と比較して、従来の生成されたｓＣＴ画像７１４は、画像７１４、７１６でボックス化された領域に示される構造に大きなミスマッチを含んでいる。ＣｙｃｌｅＧＡＮの出力するｓＣＴ画像の品質を向上させるために、開示された技術に従って複数のパス（例えば、第１のパス、第２のパス、第３のパス、第４のパス、第５のパス、第６のパス、第７のパス、第８のパス）を介してトレーニングされたＣｙｃｌｅＧＡＮまたはＧＡＮモデルは、従来の生成されたｓＣＴ画像７１４によって誤って表現されていたＣＢＣＴ画像７１２の微細構造を正しく保存する改良されたｓＣＴ画像７１８を生成する。
図７は、トレーニングおよびｓＣＴ画像モデルの生成に関連して使用されるＣＢＣＴおよび本物のＣＴ入力画像のペアを示す。図７において、画像７０２は、本物のＣＴ画像７０４とペアになっている入力ＣＢＣＴ画像を示す。画像７０６は、画像類似度メトリック（例えば、ＳＳＳＩＭ重み）を提供するために解剖学的領域４２４のマップとして使用される画像を表し、画像７０８は、閾値付き類似度メトリック（例えば、閾値付きＳＳＩＭ重み）を提供するために解剖学的領域４２４のマップとして使用される画像を表す。ＣｙｃｌｅＧＡＮの生成器がトレーニングされた後、新しいＣＢＣＴ画像７１２を受け取ることができる。従来のＣｙｃｌｅＧＡＮは、新しいＣＢＣＴ画像７１２を処理して、ｓＣＴ画像７１４を出力する。登録されたＣＴ画像７１６と比較して、従来の生成されたｓＣＴ画像７１４は、画像７１４、７１６でボックス化された領域に示される構造に大きなミスマッチを含んでいる。ＣｙｃｌｅＧＡＮの出力するｓＣＴ画像の品質を向上させるために、開示された技術に従って複数のパス（例えば、第１のパス、第２のパス、第３のパス、第４のパス、第５のパス、第６のパス、第７のパス、第８のパス）を介してトレーニングされたＣｙｃｌｅＧＡＮまたはＧＡＮモデルは、従来の生成されたｓＣＴ画像７１４によって誤って表現されていたＣＢＣＴ画像７１２の微細構造を正しく保存する改良されたｓＣＴ画像７１８を生成する。
［０１４５］
図８は、複数の並列または逐次のパスを介して、入力ＣＢＣＴ画像からｓＣＴ画像を出力するために適合された生成モデルをトレーニングするための例示的なオペレーションのプロセス８００のフローチャートを示す。プロセス８００は、先行する実施例で議論されたようなＧＡＮまたはＣｙｃｌｅＧＡＮを使用して生成モデルをトレーニングして利用する放射線治療システム１００の観点から図示されている。しかしながら、対応するオペレーションは、（特定の画像処理ワークフローまたは医療処置とは別のオフラインのトレーニングまたは検証設定におけるものを含む）他の装置またはシステムによって実行されてもよい。
図８は、複数の並列または逐次のパスを介して、入力ＣＢＣＴ画像からｓＣＴ画像を出力するために適合された生成モデルをトレーニングするための例示的なオペレーションのプロセス８００のフローチャートを示す。プロセス８００は、先行する実施例で議論されたようなＧＡＮまたはＣｙｃｌｅＧＡＮを使用して生成モデルをトレーニングして利用する放射線治療システム１００の観点から図示されている。しかしながら、対応するオペレーションは、（特定の画像処理ワークフローまたは医療処置とは別のオフラインのトレーニングまたは検証設定におけるものを含む）他の装置またはシステムによって実行されてもよい。
［０１４６］
図示されているように、フローチャートのワークフローの第１のフェーズは、トレーニングおよびモデルオペレーションのパラメータを確立するためのオペレーション（８１０、８２０）から始まる。プロセス８００は、トレーニング画像データを受信（例えば、取得、抽出、識別）するためのオペレーション（オペレーション８１０）と、トレーニングのための制約または条件を設定するためのオペレーション（オペレーション８２０）から始まる。一実施例では、このトレーニング画像データは、特定の状態、解剖学的特徴、または解剖学的領域に関連する、複数の人間の被検体らの画像データから構成されてもよく、例えば、標的領域のＣＢＣＴ画像および本物のＣＴ画像のペアのようなものである。また、一実施例では、制約条件は、撮像装置、治療装置、患者、または医学的治療の考慮事項に関連している。一実施例では、これらの制約条件は、敵対的損失、サイクル整合性に基づく損失、およびピクセルに基づく値の損失項（すなわち、重み付けされたおよび／または閾値付けされた重み付けされたピクセルに基づく損失項）を含むことができる。
図示されているように、フローチャートのワークフローの第１のフェーズは、トレーニングおよびモデルオペレーションのパラメータを確立するためのオペレーション（８１０、８２０）から始まる。プロセス８００は、トレーニング画像データを受信（例えば、取得、抽出、識別）するためのオペレーション（オペレーション８１０）と、トレーニングのための制約または条件を設定するためのオペレーション（オペレーション８２０）から始まる。一実施例では、このトレーニング画像データは、特定の状態、解剖学的特徴、または解剖学的領域に関連する、複数の人間の被検体らの画像データから構成されてもよく、例えば、標的領域のＣＢＣＴ画像および本物のＣＴ画像のペアのようなものである。また、一実施例では、制約条件は、撮像装置、治療装置、患者、または医学的治療の考慮事項に関連している。一実施例では、これらの制約条件は、敵対的損失、サイクル整合性に基づく損失、およびピクセルに基づく値の損失項（すなわち、重み付けされたおよび／または閾値付けされた重み付けされたピクセルに基づく損失項）を含むことができる。
［０１４７］
プロセス８００の第２フェーズは、生成的逆問題ネットワークにおける生成モデルおよび識別モデルの敵対的（adversarial）トレーニングを含む、トレーニングオペレーションを継続する（オペレーション８３０）。一実施例では、敵対的トレーニングは、生成モデル（generative model）をトレーニングして、第１のパスおよび第２のパス（例えば、変形可能なオフセット層および畳み込みブロックを含む入力インターフェースを含む第１のパスと、第１のパスの同じ畳み込みブロックを含むが、それらのオフセット層を含まない入力インターフェースを含む第２のパスと）を介して入力ＣＢＣＴ画像を処理することにより、第１の模擬のＣＴ画像および第２の模擬のＣＴ画像を生成する。第１のパスを介して生成された第１の模擬のＣＴ画像を識別モデル（discriminative model）に提供して、生成された模擬のＣＴ画像を模擬のデータまたは本物のトレーニングデータとして分類するように識別モデルをトレーニングする（オペレーション８４４）。また、この敵対的トレーニングでは、生成モデルの出力が識別モデルのトレーニングに使用され、識別モデルの出力が生成モデルのトレーニングに使用される。第１の模擬のＣＴ画像および第２の模擬のＣＴ画像は、それぞれ第３のパスおよび第４のパスを介して第２の生成モデルに渡される。第３のパスは、変形可能なオフセット層と畳み込みブロックを含む入力インターフェースを含み、第４のパスは、第３のパスと同じ畳み込みブロックを含むが、それらのオフセット層を含まない。第３のパスと第４のパスは、第２の生成モデルの共有のレスト部を通過して、変形可能なオフセット層がある場合とない場合に、それぞれ処理された第１の模擬のＣＴ顔像および第２の模擬のＣＴ画像からサイクルＣＢＣＴ画像を生成する。サイクルＣＢＣＴ画像は、生成モデルのトレーニングのための損失項に使用される。
プロセス８００の第２フェーズは、生成的逆問題ネットワークにおける生成モデルおよび識別モデルの敵対的（adversarial）トレーニングを含む、トレーニングオペレーションを継続する（オペレーション８３０）。一実施例では、敵対的トレーニングは、生成モデル（generative model）をトレーニングして、第１のパスおよび第２のパス（例えば、変形可能なオフセット層および畳み込みブロックを含む入力インターフェースを含む第１のパスと、第１のパスの同じ畳み込みブロックを含むが、それらのオフセット層を含まない入力インターフェースを含む第２のパスと）を介して入力ＣＢＣＴ画像を処理することにより、第１の模擬のＣＴ画像および第２の模擬のＣＴ画像を生成する。第１のパスを介して生成された第１の模擬のＣＴ画像を識別モデル（discriminative model）に提供して、生成された模擬のＣＴ画像を模擬のデータまたは本物のトレーニングデータとして分類するように識別モデルをトレーニングする（オペレーション８４４）。また、この敵対的トレーニングでは、生成モデルの出力が識別モデルのトレーニングに使用され、識別モデルの出力が生成モデルのトレーニングに使用される。第１の模擬のＣＴ画像および第２の模擬のＣＴ画像は、それぞれ第３のパスおよび第４のパスを介して第２の生成モデルに渡される。第３のパスは、変形可能なオフセット層と畳み込みブロックを含む入力インターフェースを含み、第４のパスは、第３のパスと同じ畳み込みブロックを含むが、それらのオフセット層を含まない。第３のパスと第４のパスは、第２の生成モデルの共有のレスト部を通過して、変形可能なオフセット層がある場合とない場合に、それぞれ処理された第１の模擬のＣＴ顔像および第２の模擬のＣＴ画像からサイクルＣＢＣＴ画像を生成する。サイクルＣＢＣＴ画像は、生成モデルのトレーニングのための損失項に使用される。
［０１４８］
様々な実施例では、生成モデルおよび識別モデルは、（例えば、上述の図３Ａおよび３Ｂを参照してそれぞれ論じたように）それぞれの畳み込みニューラルネットワークを構成する。更なる実施例では、敵対的生成ネットワークは、（例えば、上記の図６を参照して議論されるように）複数の生成モデルおよび敵対モデルが採用され、１つの生成モデルからの出力が第２の生成モデルへの入力として提供されるサイクル敵対的生成ネットワークである。
様々な実施例では、生成モデルおよび識別モデルは、（例えば、上述の図３Ａおよび３Ｂを参照してそれぞれ論じたように）それぞれの畳み込みニューラルネットワークを構成する。更なる実施例では、敵対的生成ネットワークは、（例えば、上記の図６を参照して議論されるように）複数の生成モデルおよび敵対モデルが採用され、１つの生成モデルからの出力が第２の生成モデルへの入力として提供されるサイクル敵対的生成ネットワークである。
［０１４９］
プロセス８００は、生成モデルが被検体の入力ＣＢＣＴ画像に基づいてｓＣＴ画像を生成するように適合されているので、ｓＣＴ画像の生成に使用するための生成モデルの出力（オペレーション８５０）を継続する。生成モデルは、ＣＢＣＴ画像を強化するため、または画像処理を実行するために、システム１００内の任意のコンポーネントに採用することができる。いくつかの実施形態では、生成モデルは、外部ソース（例えば、サードパーティベンダー）からシステム１００に追加することができる。
プロセス８００は、生成モデルが被検体の入力ＣＢＣＴ画像に基づいてｓＣＴ画像を生成するように適合されているので、ｓＣＴ画像の生成に使用するための生成モデルの出力（オペレーション８５０）を継続する。生成モデルは、ＣＢＣＴ画像を強化するため、または画像処理を実行するために、システム１００内の任意のコンポーネントに採用することができる。いくつかの実施形態では、生成モデルは、外部ソース（例えば、サードパーティベンダー）からシステム１００に追加することができる。
［０１５０］
プロセス８００は、被検体の入力ＣＢＣＴ画像に基づいてｓＣＴ画像を生成するためにトレーニングされた生成モデルを利用する（オペレーション８６０）ことを継続する。生成モデルは、ＣＢＣＴ画像を強化するため、または画像処理を実行するために、システム１００の任意のコンポーネントで採用することができる。いくつかの実施形態では、生成モデルは、外部ソース（例えば、サードパーティのベンダー）からシステム１００に追加することができる。
プロセス８００は、被検体の入力ＣＢＣＴ画像に基づいてｓＣＴ画像を生成するためにトレーニングされた生成モデルを利用する（オペレーション８６０）ことを継続する。生成モデルは、ＣＢＣＴ画像を強化するため、または画像処理を実行するために、システム１００の任意のコンポーネントで採用することができる。いくつかの実施形態では、生成モデルは、外部ソース（例えば、サードパーティのベンダー）からシステム１００に追加することができる。
［０１５１］
プロセス８００は、追加のトレーニングデータに基づいて生成モデルを更新すること（オペレーション８７０）、および更新されたトレーニングされた生成モデルを出力すること（オペレーション８８０）を含む、生成モデルへの更新を実施するための最終段階で終了する。様々な実施例では、更新は、追加のトレーニング画像データおよび制約の受信に関連して（例えば、オペレーション８１０、８２０と同様の態様で）、または追加の敵対的トレーニングの実行に関連して（例えば、オペレーション８３０、８４２、８４４と同様の態様で）生成することができる。更なる実施例では、生成モデルは、ｓＣＴ画像の承認、変更、または使用（例えば、医療専門家による画像データの修正、検証、または変更の結果）に基づいて具体的に更新することができる。フローチャートは、後続の放射線治療のための更新された生成モデルの使用において実行され得るような、更新されたトレーニングされた生成モデルの使用（オペレーション８９０）で終了する。
プロセス８００は、追加のトレーニングデータに基づいて生成モデルを更新すること（オペレーション８７０）、および更新されたトレーニングされた生成モデルを出力すること（オペレーション８８０）を含む、生成モデルへの更新を実施するための最終段階で終了する。様々な実施例では、更新は、追加のトレーニング画像データおよび制約の受信に関連して（例えば、オペレーション８１０、８２０と同様の態様で）、または追加の敵対的トレーニングの実行に関連して（例えば、オペレーション８３０、８４２、８４４と同様の態様で）生成することができる。更なる実施例では、生成モデルは、ｓＣＴ画像の承認、変更、または使用（例えば、医療専門家による画像データの修正、検証、または変更の結果）に基づいて具体的に更新することができる。フローチャートは、後続の放射線治療のための更新された生成モデルの使用において実行され得るような、更新されたトレーニングされた生成モデルの使用（オペレーション８９０）で終了する。
［０１５２］
図６及び図８を参照して上述したように、敵対的生成ネットワークは、生成モデルと敵対モデルからなるサイクル敵対的生成ネットワークである。
図６及び図８を参照して上述したように、敵対的生成ネットワークは、生成モデルと敵対モデルからなるサイクル敵対的生成ネットワークである。
［０１５３］
前に議論したように、それぞれの電子計算システムまたは装置は、本明細書で議論された方法または機能的なオペレーションのうちの１つまたはそれ以上を実装することができる。１つまたはそれ以上の実施形態では、放射線治療処理計算システム１１０は、画像誘導放射線治療装置２０２を制御またはオペレーションするために、モデル３００からのトレーニングまたは予測オペレーションを実行または実施するために、トレーニングされた生成器モデル４６０をオペレーションするために、データフロー５００、５５０を実行または実施するために、プロセス８００のオペレーションを実行または実施するために、または、本明細書で議論されている他の方法論のうちの任意の１つまたはそれ以上を（例えば、画像処理ロジック１２０およびワークフロー１３０、１４０の一部として）実行するために、構成され、適合され、または使用される。様々な実施形態では、そのような電子計算システムまたはデバイスは、スタンドアロンデバイスとして動作するか、または他のマシンに（例えば、ネットワーク化されて）接続されている。例えば、そのような計算システムまたはデバイスは、サーバクライアントネットワーク環境におけるサーバーまたはクライアントマシンの容量内で動作してもよいし、ピアツーピア（または分散）ネットワーク環境におけるピアマシンとして動作してもよい。計算システムまたは計算装置の機能は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、ウェブアプリ、または、そのマシンによって実行されるべきアクションを指定する命令を（シーケンシャルまたは他の方法で）実行することが可能な任意のマシンによって具現化することができる。
前に議論したように、それぞれの電子計算システムまたは装置は、本明細書で議論された方法または機能的なオペレーションのうちの１つまたはそれ以上を実装することができる。１つまたはそれ以上の実施形態では、放射線治療処理計算システム１１０は、画像誘導放射線治療装置２０２を制御またはオペレーションするために、モデル３００からのトレーニングまたは予測オペレーションを実行または実施するために、トレーニングされた生成器モデル４６０をオペレーションするために、データフロー５００、５５０を実行または実施するために、プロセス８００のオペレーションを実行または実施するために、または、本明細書で議論されている他の方法論のうちの任意の１つまたはそれ以上を（例えば、画像処理ロジック１２０およびワークフロー１３０、１４０の一部として）実行するために、構成され、適合され、または使用される。様々な実施形態では、そのような電子計算システムまたはデバイスは、スタンドアロンデバイスとして動作するか、または他のマシンに（例えば、ネットワーク化されて）接続されている。例えば、そのような計算システムまたはデバイスは、サーバクライアントネットワーク環境におけるサーバーまたはクライアントマシンの容量内で動作してもよいし、ピアツーピア（または分散）ネットワーク環境におけるピアマシンとして動作してもよい。計算システムまたは計算装置の機能は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、ウェブアプリ、または、そのマシンによって実行されるべきアクションを指定する命令を（シーケンシャルまたは他の方法で）実行することが可能な任意のマシンによって具現化することができる。
［０１５４］
また、上述したように、上述した機能は、機械可読媒体上の命令、論理、または他の情報の記憶によって実装することができる。機械可読媒体は、単一の媒体であることを参照して様々な例で説明されてきたが、「機械可読媒体」という用語は、１つまたはそれ以上の一過性または非一過性の命令またはデータ構造を格納する単一の媒体または複数の媒体（例えば、集中型または分散型のデータベース、および／または関連するキャッシュおよびサーバー）を含むものとすることができる。「機械可読媒体」という用語はまた、機械によって実行されるための一過性または非一過性の命令を格納、符号化または運搬することが可能であり、機械に、本発明の主題の方法論のいずれか１つまたはそれ以上を実行させるか、またはそのような命令によって利用されるか、またはそのような命令に関連するデータ構造を格納、符号化または運搬することが可能である任意の有形媒体を含むと解されるものとする。
また、上述したように、上述した機能は、機械可読媒体上の命令、論理、または他の情報の記憶によって実装することができる。機械可読媒体は、単一の媒体であることを参照して様々な例で説明されてきたが、「機械可読媒体」という用語は、１つまたはそれ以上の一過性または非一過性の命令またはデータ構造を格納する単一の媒体または複数の媒体（例えば、集中型または分散型のデータベース、および／または関連するキャッシュおよびサーバー）を含むものとすることができる。「機械可読媒体」という用語はまた、機械によって実行されるための一過性または非一過性の命令を格納、符号化または運搬することが可能であり、機械に、本発明の主題の方法論のいずれか１つまたはそれ以上を実行させるか、またはそのような命令によって利用されるか、またはそのような命令に関連するデータ構造を格納、符号化または運搬することが可能である任意の有形媒体を含むと解されるものとする。
［０１５５］
上記の詳細な説明は、詳細な説明の一部を形成する添付図面への参照を含む。図面は、図示のためではあるが、限定するものではないが、本発明の主題を実施することができる特定の実施形態を示している。これらの実施形態は、本明細書では「実施例」とも呼ばれる。そのような実施例は、図示されたまたは記載されたものに加えて、要素を含むことができる。しかしながら、本開示は、図示されたまたは記載された要素のみが提供される実施例も想定しうる。更に、本開示はまた、特定の実施例（またはその１つまたはそれ以上の態様）に関して、または、本明細書に示されたまたは記載された他の実施例（またはその１つまたはそれ以上の態様）に関して、図示されたまたは記載されたそれらの要素の任意の組み合わせまたは順列を使用する実施例も想定しうる。
上記の詳細な説明は、詳細な説明の一部を形成する添付図面への参照を含む。図面は、図示のためではあるが、限定するものではないが、本発明の主題を実施することができる特定の実施形態を示している。これらの実施形態は、本明細書では「実施例」とも呼ばれる。そのような実施例は、図示されたまたは記載されたものに加えて、要素を含むことができる。しかしながら、本開示は、図示されたまたは記載された要素のみが提供される実施例も想定しうる。更に、本開示はまた、特定の実施例（またはその１つまたはそれ以上の態様）に関して、または、本明細書に示されたまたは記載された他の実施例（またはその１つまたはそれ以上の態様）に関して、図示されたまたは記載されたそれらの要素の任意の組み合わせまたは順列を使用する実施例も想定しうる。
［０１５６］
本明細書で参照される、すべての出版物、特許、および特許文書は、個々が参照により組み込まれているが、参照によりその全体が本明細書に組み込まれる。本明細書と、参照により組み込まれた文書との間に一貫性のない用法がある場合、参照により組み込まれた文書での用法は、本明細書の用法を補足するものと見なされ、矛盾する用法については、本明細書の用法が支配する。
本明細書で参照される、すべての出版物、特許、および特許文書は、個々が参照により組み込まれているが、参照によりその全体が本明細書に組み込まれる。本明細書と、参照により組み込まれた文書との間に一貫性のない用法がある場合、参照により組み込まれた文書での用法は、本明細書の用法を補足するものと見なされ、矛盾する用法については、本明細書の用法が支配する。
［０１５７］
本明細書では、用語「ａ」、「ａｎ」、「ｔｈｅ」、「ｓａｉｄ」は、特許文書で一般的であるように、本発明の主題の態様の要素を導入するときに使用され、「少なくとも１つの」または「１つまたはそれ以上の」のいかなる他の例または使用法とは無関係に、１つまたはそれ以上の要素よりも１つまたはそれ以上を含む。本明細書では、用語「または（ｏｒ）」は、「ＡまたはＢ（Ａ ｏｒ Ｂ」が、そうでないと示されない限り、「Ａを含むがＢを含まない（Ａ ｂｕｔ ｎｏｔ Ｂ）」、「Ｂを含むがＡを含まない（Ｂ ｂｕｔ ｎｏｔ Ａ）」、「ＡおよびＢ（Ａ ａｎｄ Ｂ）」を含むように、非排他的であることを指すために使用される。
本明細書では、用語「ａ」、「ａｎ」、「ｔｈｅ」、「ｓａｉｄ」は、特許文書で一般的であるように、本発明の主題の態様の要素を導入するときに使用され、「少なくとも１つの」または「１つまたはそれ以上の」のいかなる他の例または使用法とは無関係に、１つまたはそれ以上の要素よりも１つまたはそれ以上を含む。本明細書では、用語「または（ｏｒ）」は、「ＡまたはＢ（Ａ ｏｒ Ｂ」が、そうでないと示されない限り、「Ａを含むがＢを含まない（Ａ ｂｕｔ ｎｏｔ Ｂ）」、「Ｂを含むがＡを含まない（Ｂ ｂｕｔ ｎｏｔ Ａ）」、「ＡおよびＢ（Ａ ａｎｄ Ｂ）」を含むように、非排他的であることを指すために使用される。
［０１５８］
添付の特許請求の範囲において、用語「ｉｎｃｌｕｄｉｎｇ（含む）」および「ｉｎ ｗｈｉｃｈ（その中で）」は、それぞれの用語「ｃｏｍｐｒｉｓｉｎｇ（含む）」および「ｗｈｅｒｅｉｎ（ここで）」の平易な英語の等価物として使用される。また、以下の特許請求の範囲において、用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｈａｖｉｎｇ）」、は、オープンエンドであることを意図し、請求項のそのような用語（例えば、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｈａｖｉｎｇ）」）の後に列挙されている要素に追加した要素を含むものが、依然としてその請求項の範囲内にあるとみなされる。さらに、以下の特許請求の範囲では、「第１の」、「第２の」、および「第３の」などの用語は、単なるラベルとして使用されており、それらの対象に数値要件を課すことを意図していない。
添付の特許請求の範囲において、用語「ｉｎｃｌｕｄｉｎｇ（含む）」および「ｉｎ ｗｈｉｃｈ（その中で）」は、それぞれの用語「ｃｏｍｐｒｉｓｉｎｇ（含む）」および「ｗｈｅｒｅｉｎ（ここで）」の平易な英語の等価物として使用される。また、以下の特許請求の範囲において、用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｈａｖｉｎｇ）」、は、オープンエンドであることを意図し、請求項のそのような用語（例えば、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｈａｖｉｎｇ）」）の後に列挙されている要素に追加した要素を含むものが、依然としてその請求項の範囲内にあるとみなされる。さらに、以下の特許請求の範囲では、「第１の」、「第２の」、および「第３の」などの用語は、単なるラベルとして使用されており、それらの対象に数値要件を課すことを意図していない。
［０１５９］
本発明の主題はまた、本明細書の操作を実行するために適合され、構成され、または操作されるコンピューティングシステムに関する。このシステムは、必要な目的のために特別に構成することも、コンピュータに格納されたコンピュータプログラムによって選択的にアクティブ化または再構成された汎用コンピュータを含むこともできる。本明細書において図示および説明される本発明の実施形態における動作の実行または実行の順序は、特に指定されない限り、必須ではない。すなわち、特に明記しない限り、操作は任意の順序で実行でき、本発明の実施形態は、本明細書に開示されているものよりも多いまたは少ない操作を含むことができる。例えば、別の操作の前、同時、または後に特定の操作を実行または実行することは、本発明の主題の態様の範囲内であると考えられる。
本発明の主題はまた、本明細書の操作を実行するために適合され、構成され、または操作されるコンピューティングシステムに関する。このシステムは、必要な目的のために特別に構成することも、コンピュータに格納されたコンピュータプログラムによって選択的にアクティブ化または再構成された汎用コンピュータを含むこともできる。本明細書において図示および説明される本発明の実施形態における動作の実行または実行の順序は、特に指定されない限り、必須ではない。すなわち、特に明記しない限り、操作は任意の順序で実行でき、本発明の実施形態は、本明細書に開示されているものよりも多いまたは少ない操作を含むことができる。例えば、別の操作の前、同時、または後に特定の操作を実行または実行することは、本発明の主題の態様の範囲内であると考えられる。
［０１６０］
上記記載を考慮すれば、本発明の主題のいくつかの目的が達成され、他の有利な結果が得られることが分かるであろう。本発明の主題の態様を詳細に説明したが、添付の特許請求の範囲で定義される本発明の態様の範囲から逸脱することなく、修正および変更が可能であることは明らかであろう。本発明の主題の態様の範囲から逸脱することなく、上記の構造、製品、および方法に様々な変更を加えることができるので、上記の説明に含まれ、添付の図面に示されるすべての事項は、例示として、かつ、限定的な意味ではないと、解釈されるべきである。
上記記載を考慮すれば、本発明の主題のいくつかの目的が達成され、他の有利な結果が得られることが分かるであろう。本発明の主題の態様を詳細に説明したが、添付の特許請求の範囲で定義される本発明の態様の範囲から逸脱することなく、修正および変更が可能であることは明らかであろう。本発明の主題の態様の範囲から逸脱することなく、上記の構造、製品、および方法に様々な変更を加えることができるので、上記の説明に含まれ、添付の図面に示されるすべての事項は、例示として、かつ、限定的な意味ではないと、解釈されるべきである。
［０１６１］
本明細書に記載された例は、様々な実施形態で実施することができる。例えば、一実施形態は、処理ハードウェア（例えば、プロセッサまたは他の処理回路）およびそこに具現化された命令を含むメモリハードウェア（例えば、記憶装置または揮発性メモリ）を含むコンピューティングデバイスを含み、そのような命令は、処理ハードウェアによって実行されると、コンピューティングデバイスに、これらの技術およびシステム構成のための電子的な操作を実装、実行、または調整することを引き起こす。本明細書で論じられる別の実施形態は、機械可読媒体または他の記憶装置によって具現化されるようなコンピュータプログラム製品を含み、それは、これらの技術およびシステム構成のための電子的操作を実施、実行、または調整するための命令を提供する。本明細書で論じられる別の実施形態は、これらの技術およびシステム構成のための電子的操作を実施、実行、または調整するために、コンピューティングデバイスの処理ハードウェア上で操作可能な方法を含む。
本明細書に記載された例は、様々な実施形態で実施することができる。例えば、一実施形態は、処理ハードウェア（例えば、プロセッサまたは他の処理回路）およびそこに具現化された命令を含むメモリハードウェア（例えば、記憶装置または揮発性メモリ）を含むコンピューティングデバイスを含み、そのような命令は、処理ハードウェアによって実行されると、コンピューティングデバイスに、これらの技術およびシステム構成のための電子的な操作を実装、実行、または調整することを引き起こす。本明細書で論じられる別の実施形態は、機械可読媒体または他の記憶装置によって具現化されるようなコンピュータプログラム製品を含み、それは、これらの技術およびシステム構成のための電子的操作を実施、実行、または調整するための命令を提供する。本明細書で論じられる別の実施形態は、これらの技術およびシステム構成のための電子的操作を実施、実行、または調整するために、コンピューティングデバイスの処理ハードウェア上で操作可能な方法を含む。
［０１６２］
更なる実施形態において、上述した電子的操作の態様を実施する論理、命令、または命令は、デスクトップまたはノートブック型パーソナルコンピュータ、タブレット、ネットブック、スマートフォンのようなモバイルデバイス、クライアント端末、およびサーバーホストマシンインスタンスのようなコンピューティングシステム用の任意の数のフォームファクタを含む、分散型または集中型コンピューティングシステムで提供することができる。本明細書で議論される別の実施形態は、本明細書で議論される技術を、そのような技術の機能を実行するためのそれぞれの手段を有する装置を含む、プログラムされた論理、ハードウェア構成、または特殊なコンポーネントまたはモジュールの他の形態に組み込むことを含む。このような技術の機能を実装するために使用されるそれぞれのアルゴリズムは、上述した電子的操作の一部または全部のシーケンス、または添付の図面および以下の詳細な説明に描かれている他の側面を含むことができる。
更なる実施形態において、上述した電子的操作の態様を実施する論理、命令、または命令は、デスクトップまたはノートブック型パーソナルコンピュータ、タブレット、ネットブック、スマートフォンのようなモバイルデバイス、クライアント端末、およびサーバーホストマシンインスタンスのようなコンピューティングシステム用の任意の数のフォームファクタを含む、分散型または集中型コンピューティングシステムで提供することができる。本明細書で議論される別の実施形態は、本明細書で議論される技術を、そのような技術の機能を実行するためのそれぞれの手段を有する装置を含む、プログラムされた論理、ハードウェア構成、または特殊なコンポーネントまたはモジュールの他の形態に組み込むことを含む。このような技術の機能を実装するために使用されるそれぞれのアルゴリズムは、上述した電子的操作の一部または全部のシーケンス、または添付の図面および以下の詳細な説明に描かれている他の側面を含むことができる。
［０１６３］
上記の説明は、例示を意図したものであり、限定を意図したものではない。例えば、上述の実施例（または１つまたはそれ以上の態様）は、互いに組み合わせて使用することができる。さらに、本発明の主題の範囲から逸脱することなく、特定の状況または材料を本発明の教示に適合させるために、多くの修正を行うことができる。本明細書に記載された寸法、材料の種類、および例示的なパラメータ、機能、および実施形態は、本発明の主題のパラメータを定義することを意図しているが、それらは決して限定的なものではなく、例示的な実施形態である。上記の説明を検討すれば、他の多くの実施形態が当業者には明らかであろう。したがって、本発明の主題の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる等価物の全範囲とともに決定されるべきである。
上記の説明は、例示を意図したものであり、限定を意図したものではない。例えば、上述の実施例（または１つまたはそれ以上の態様）は、互いに組み合わせて使用することができる。さらに、本発明の主題の範囲から逸脱することなく、特定の状況または材料を本発明の教示に適合させるために、多くの修正を行うことができる。本明細書に記載された寸法、材料の種類、および例示的なパラメータ、機能、および実施形態は、本発明の主題のパラメータを定義することを意図しているが、それらは決して限定的なものではなく、例示的な実施形態である。上記の説明を検討すれば、他の多くの実施形態が当業者には明らかであろう。したがって、本発明の主題の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる等価物の全範囲とともに決定されるべきである。
［０１６４］
また、上記の詳細な説明では、開示を簡素化するために、さまざまな機能をグループ化することがある。これは、クレームされていない開示された機能がクレームに不可欠であることを意図するものとして解釈されるべきではない。むしろ、発明の主題は、特定の開示された実施形態のすべての特徴より少ない場合がある。したがって、以下の請求項は、これにより詳細な説明に組み込まれ、各請求項は別個の実施形態としてそれ自体で成立する。本発明の主題の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる均等物の全範囲とともに決定されるべきである。
また、上記の詳細な説明では、開示を簡素化するために、さまざまな機能をグループ化することがある。これは、クレームされていない開示された機能がクレームに不可欠であることを意図するものとして解釈されるべきではない。むしろ、発明の主題は、特定の開示された実施形態のすべての特徴より少ない場合がある。したがって、以下の請求項は、これにより詳細な説明に組み込まれ、各請求項は別個の実施形態としてそれ自体で成立する。本発明の主題の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる均等物の全範囲とともに決定されるべきである。
（訳注）
本明細書において「Ｇoffset cbct2ct」は次の数２８で示す文字を表すものとする。
本明細書において「Ｇoffset cbct2ct」は次の数２８で示す文字を表すものとする。
本明細書において「Ｇcbct2ct」は次の数２９で示す文字を表すものとする。
本明細書において「Ｇoffset
ct2cbct」は次の数３０で示す文字を表すものとする。
本明細書において「Ｇct2cbct」は次の数３１で示す文字を表すものとする。
Claims (20)
- コーンビームコンピュータ断層撮影（ＣＢＣＴ）画像から合成のコンピュータ断層撮影（ｓＣＴ）画像を生成するためのコンピュータ実装方法であって
前記方法は、
被検体のＣＢＣＴ画像を受け取るステップと、
生成モデルを使用して、前記ＣＢＣＴ画像に対応するｓＣＴ画像を生成するステップであって、前記生成モデルは、敵対的生成ネットワーク（ＧＡＮ）における１つまたはそれ以上の変形可能なオフセット層に基づいてトレーニングされ、前記ＣＢＣＴ画像を入力として処理し、前記ｓＣＴ画像を出力として提供するステップと、
前記被検体の医療分析のために、前記ｓＣＴ画像の表示を生成するステップと
を有する
ことを特徴とするコンピュータ実装方法。 - 請求項１記載の方法において、
前記敵対的生成ネットワークは、識別モデルを使用して前記生成モデルをトレーニングするように構成され、
前記生成モデルおよび前記識別モデルによって適用される値が、前記識別モデルと前記生成モデルの間の敵対的トレーニングを使用して確立され、
前記生成モデルと前記識別モデルは、それぞれ畳み込みニューラルネットワークを有する
ことを特徴とする方法。 - 請求項２記載の方法において、
前記敵対的トレーニングは、
与えられたＣＢＣＴ画像に前記１つまたはそれ以上の変形可能なオフセット層の第１のセットを適用することにより、前記与えられたＣＢＣＴ画像から第１のｓＣＴ画像を生成するために、前記生成モデルをトレーニングするステップと、
前記与えられたＣＢＣＴ画像に前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを適用することなく、前記与えられたＣＢＣＴ画像から第２のｓＣＴ画像を生成するために、前記生成モデルをトレーニングするステップと、
前記第１のｓＣＴ画像を合成のまたは本物のコンピュータ断層撮影（ＣＴ）画像として分類するために前記識別モデルをトレーニングするステップと
を有し、
前記生成モデルの出力は、前記識別モデルをトレーニングするために使用され、前記識別モデルの出力は、前記生成モデルをトレーニングするために使用される
ことを特徴とする方法。 - 請求項３記載の方法において、
前記ＧＡＮは、前記生成モデルと前記識別モデルを有するサイクル敵対的生成ネットワーク（ＣｙｃｌｅＧＡＮ）を用いてトレーニングされ、
前記生成モデルは、第１の生成モデルであり、前記識別モデルは、第１の識別モデルであり、
前記ＣｙｃｌｅＧＡＮは、
与えられたＣＴ画像を入力として処理し、
前記１つまたはそれ以上の変形可能なオフセット層の第２のセットを前記与えられたＣＴ画像に適用することにより、第１の合成の（ｓＣＢＣＴ）画像を出力として提供し、
前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットを前記与えられたＣＴ画像に適用することなく、第２の合成の（ｓＣＢＣＴ）画像を出力として提供する
ようにトレーニングされた第２の生成モデルと、
前記第１の合成のｓＣＢＣＴ画像を、合成のまたは本物のＣＢＣＴ画像として分類するようにトレーニングされた第２の識別モデルと
を有する
ことを特徴とする方法。 - 請求項４記載の方法において、
前記ＣｙｃｌｅＧＡＮは、第１の生成モデルをトレーニングするための第１の部分を有し、
前記第１の生成モデルは、第１および第２の入力インターフェースと第１の共有生成器部を含み、
前記第２の生成モデルは、第３および第４の入力インターフェースと第２の共有生成器部を含み、
前記第１の部分は、
本物のＣＴ画像とペアになったトレーニングＣＢＣＴ画像を取得し、
前記トレーニングＣＢＣＴ画像を、第１のパスおよび第２のパスを介して前記第１の生成モデルの入力に送信して、前記第１のｓＣＴ画像および前記第２のｓＣＴ画像をそれぞれ出力し、
前記第１のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットと、１つまたはそれ以上の畳み込み層の第１のセットとを含む、前記第１の入力インターフェースを有し、
前記第２のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを含まず、前記１つまたはそれ以上の畳み込み層を含む、第２の入力インターフェースを有し、
前記第１の識別モデルの入力で前記第１のｓＣＴ画像を受け取り、前記第１のｓＣＴ画像を前記合成のまたは本物のＣＴ画像に分類し、
前記第２の生成モデルの入力で第１のｓＣＴ画像および第２のｓＣＴ画像を第３のパスおよび第４のパスを介して受け取り、サイクル－コンシステンシー（cycle-consistency）損失を計算するために第１のサイクルＣＢＣＴ画像および第２のサイクルＣＢＣＴ画像をそれぞれ生成し、
前記第３のパスは、前記１つまたはそれ以上の変形可能なオフセット層の第２のセットと、前記１つまたはそれ以上の畳み込み層の第２のセットとを含む前記第３の入力インターフェースを有し、
前記第４のパスは、前記１つまたはそれ以上の変形可能なオフセット層の第２のセットを含まず、前記１つまたはそれ以上の畳み込み層の第２のセットを含む前記第４の入力インターフェースを有する
ようにトレーニングされている
ことを特徴とする方法。 - 請求項５記載の方法において、
前記ＣｙｃｌｅＧＡＮは、第２の部分を有し、
前記第２の部分は、
前記本物のＣＴ画像を、第５のパスおよび第６のパスを介して前記第２の生成モデルの前記入力に送信して第１の合成のＣＢＣＴ画像および第２の合成のＣＢＣＴ画像をそれぞれ出力し、
前記第５のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットと、前記１つまたはそれ以上の畳み込み層の前記第２のセットとを含む第３の入力インターフェースを有し、
前記第６のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットを含まず、前記１つまたはそれ以上の畳み込み層の前記第２のセットを含む第４の入力インターフェースを有し、
前記第２の識別モデルの前記入力で前記第１の合成のＣＢＣＴ画像を受け取り、前記第１の合成のＣＢＣＴ画像を合成のまたは本物のＣＢＣＴ画像として分類し、
前記第１の合成のＣＢＣＴ画像および前記第２の合成のＣＢＣＴ画像を、第７のパスおよび第８のパスを介して、前記第１の生成モデルの前記入力で受け取り、サイクル－コンシステンシー損失を計算するための第１のサイクルＣＴ画像および第２のサイクルＣＴ画像を生成し、
前記第７のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットと、前記１つまたはそれ以上の畳み込み層の前記第１のセットとを含む前記第１の入力インターフェースを有し、
前記第８のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを含まず、前記１つまたはそれ以上の畳み込み層の前記第１のセットを含む前記第２の入力インターフェースを有する
ようにトレーニングされている
ことを特徴とする方法。 - 請求項６記載の方法において、
前記サイクル－コンシステンシー損失は、
前記第１のサイクルＣＢＣＴ画像および前記第２のサイクルＣＢＣＴ画像と前記トレーニングＣＢＣＴ画像との比較と、前記第１のサイクルＣＴ画像および前記第２のサイクルＣＴ画像と前記本物のＣＴ画像との比較とに基づいて生成され、
前記第１の生成モデルは、前記第２のｓＣＴ画像を用いて第１のピクセルベースの損失項を最小化または低減するようにトレーニングされ、前記第１のピクセルベースの損失項は、複数の合成のＣＴ画像と、それぞれペアになった本物のＣＴ画像との間の差の期待値を表し、
前記第２の生成モデルは、前記第２の合成の（ｓＣＢＣＴ）画像を用いて、第２のピクセルベースの損失項を最小化または低減するようにトレーニングされ、前記第２のピクセルベースの損失項は、複数の合成のＣＢＣＴ画像と、それぞれペアになった本物のＣＢＣＴ画像との間の差の期待値を表す
ことを特徴とする方法。 - 請求項７記載の方法において、
前記ＣｙｃｌｅＧＡＮは、前記第１ピクセルベースの損失項および第２のピクセルベースの損失項にメトリックを適用するようにトレーニングされ、前記メトリックは、ＣＢＣＴ画像と本物のＣＴ画像のペアと同じサイズを有するマップに基づいて生成され、前記マップの各ピクセル値は、与えられたＣＢＣＴ画像と、前記与えられたＣＢＣＴ画像とペアになっている与えられた本物のＣＴ画像との間の類似性レベルを表し、
前記ＣｙｃｌｅＧＡＮは、前記メトリックに閾値を適用するようにトレーニングされ、前記類似性レベルが前記閾値を超えたときには、前記メトリックが前記第１のピクセルベースの損失項および第２のピクセルベースの損失項に適用され、そうでないときには、ゼロ値が前記第１のピクセルベースの損失項および第２のピクセルベースの損失項に適用される
ことを特徴とする方法。 - 請求項１乃至８のいずれか１項に記載の方法において、
前記ＣｙｃｌｅＧＡＮは、複数のメトリックのうちの１つを前記第１のピクセルベースの損失項および前記第２のピクセルベースの損失項に適用するようにトレーニングされ、前記メトリックは、異なる画像解像度またはビューレベルでの前記ペアのＣＢＣＴ画像およびＣＴ画像のローのパスフィルタリングおよびダウンサンプリングを用いて生成される
ことを特徴とする方法。 - 請求項９記載の方法において、
前記１つまたはそれ以上の変形可能なオフセット層は、前記敵対的トレーニングに基づいてトレーニングされ、前記ペアになったＣＢＣＴ画像およびＣＴ画像の間の変形した構造情報を保存または吸収するために、サンプリング量を変更し、座標オフセットを導入し、補間を用いて画像を再サンプリングする
ことを特徴とする方法。 - コーンビームコンピュータ断層撮影（ＣＢＣＴ）画像から合成のコンピュータ断層撮影（ｓＣＴ）画像を生成するために、モデルをトレーニングするコンピュータ実装方法であって
前記方法は、
被検体のＣＢＣＴ画像を生成モデルの入力として受け取るステップと、
前記生成モデルを、第１および第２のパスを介して、生成的敵対ネットワーク（ＧＡＮ）内でトレーニングし、前記ＣＢＣＴ画像を処理して、前記生成モデルの出力として、前記ＣＢＣＴ画像に対応する第１の合成のコンピュータ断層撮影（ｓＣＴ）画像および第２の合成のコンピュータ断層撮影（ｓＣＴ）画像を提供するステップであって、前記第１のパスは、１つまたはそれ以上の変形可能なオフセット層の第１のセットと、１つまたはそれ以上の畳み込み層の第１のセットを含み、前記第２のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを含まず、前記１つまたはそれ以上の畳み込み層の前記第１のセットを含むステップと
を有する
ことを特徴とする方法。 - 請求項１１記載の方法において、
前記ＧＡＮは、前記生成モデルと識別モデルを有するサイクル敵対的生成ネットワーク（ＣｙｃｌｅＧＡＮ）を用いてトレーニングされ、
前記生成モデルは、第１の生成モデルであり、前記識別モデルは、第１の識別モデルであり、
前記方法は、
第２の生成モデルをトレーニングして、生成された第１のｓＣＴ画像および第２のｓＣＴ画像を入力として処理し、第３のパスおよび第４のパスを介して、第１のサイクルＣＢＣＴ画像および第２のサイクルＣＢＣＴ画像をそれぞれ出力として提供するステップであって、前記第３のパスは、前記１つまたはそれ以上の変形可能なオフセット層の第２のセットと、前記１つまたはそれ以上の畳み込み層の第２のセットとを含み、前記第４のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットを含まずに、前記１つまたはそれ以上の畳み込み層の第２のセットを含むステップと、
前記第１のサイクルＣＢＣＴ画像を合成のＣＢＣＴ画像または本物のＣＢＣＴ画像として分類するために第２の識別モデルをトレーニングするステップと
を更に有する
ことを特徴とする方法。 - 請求項１２記載の方法において、
前記ＣｙｃｌｅＧＡＮは、前記第１の生成モデルをトレーニングするための第１の部分および第２の部分を有し、
前記方法は、
本物のＣＴ画像とペアになったトレーニングＣＢＣＴ画像を獲得するステップと、
前記トレーニングＣＢＣＴ画像を、前記第１のパスおよび第２のパスを介して、前記第１の生成モデルの前記入力に送信し、前記第１の合成のＣＴ画像および第２の合成のＣＴ画像を出力するステップと、
前記第１の識別モデルの前記入力で、前記第１の合成のＣＴ画像を受け取るステップと、
前記第１の識別モデルを用いて、前記第１の合成のＣＴ画像を合成のＣＴ画像または本物のＣＴ画像として分類するステップと、
前記第２の生成モデルの前記入力で、前記第３のパスおよび第４のパスを介して、前記第１の合成のＣＴ画像および第２の合成のＣＴ画像を受け取り、サイクル－コンシステンシー損失を計算するための前記第１のサイクルＣＢＣＴ画像および第２のサイクルＣＢＣＴ画像を生成するステップと、
前記本物のＣＴ画像を、第５のパスおよび第６のパスを介して、前記第２の生成モデルの前記入力に送信して、前記第１の合成のトレーニングＣＢＣＴ画像および第２の合成のトレーニングＣＢＣＴ画像を出力するステップであって、前記第５のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットと、前記１つまたはそれ以上の畳み込み層の前記第２のセットとを含み、前記第６のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットを含まずに、前記１つまたはそれ以上の畳み込み層の前記第２のセットを含むステップと、
前記第２の識別モデルの前記入力に、前記第１の合成のトレーニングＣＢＣＴ画像を受け取るステップと、
前記第２の識別モデルを用いて、前記第１の合成のトレーニングＣＢＣＴ画像を合成のＣＢＣＴ画像または本物のＣＢＣＴ画像として分類するステップと、
前記第１の生成モデルの入力で、前記第１の合成のＣＢＣＴ画像および第２の合成のＣＢＣＴ画像を、第７のパスおよび第８のパスを介して受け取り、サイクル－コンシステンシー損失を計算するために第１のサイクルＣＴ画像および第２のサイクルＣＴ画像を生成するステップであって、前記第７のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットと、前記１つまたはそれ以上の畳み込み層の前記第１のセットとを含み、第８のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを含まず、前記１つまたはそれ以上の畳み込み層の前記第１のセットを含むステップと、
前記第２のｓＣＴ画像を用いて、第１のピクセルベースの損失項を最小化または低減するように前記第１の生成モデルをトレーニングするステップであって、前記第１のピクセルベースの損失項は、複数の合成のＣＴ画像と、それぞれペアになった本物のＣＴ画像との間の差の期待値を表すステップと、
前記第２の合成の（ｓＣＢＣＴ）画像を用いて、第２のピクセルベースの損失を最小化または低減するように、前記第２の生成モデルをトレーニングするステップであって、前記第２のピクセルベースの損失項は、複数の合成のＣＢＣＴ画像と、それぞれペアになった本物のＣＢＣＴ画像との間の差の期待値を表すステップと
を更に有する
ことを特徴とする方法。 - コーンビームコンピュータ断層撮影（ＣＢＣＴ）画像から合成のコンピュータ断層撮影（ｓＣＴ）画像を生成するためのシステムであって、
前記システムは、
少なくとも１つのプロセッサを有する処理回路と
前記少なくとも１つのプロセッサによって実行されると、前記プロセッサにオペレーションを実行させる命令を有する記憶媒体とを有し、
前記オペレーションは、
被検体のＣＢＣＴ画像を受け取るオペレーションと、
生成モデルを使用して、前記ＣＢＣＴ画像に対応するｓＣＴ画像を生成するオペレーションであって、前記生成モデルは、敵対的生成ネットワーク（ＧＡＮ）における１つまたはそれ以上の変形可能なオフセット層に基づいてトレーニングされ、前記ＣＢＣＴ画像を入力として処理し、前記ｓＣＴ画像を出力として提供するオペレーションと、
前記被検体の医療分析のために、前記ｓＣＴ画像の表示を生成するオペレーションと
を有する
ことを特徴とするシステム。 - 請求項１４記載のシステムにおいて、
前記１つまたはそれ以上の変形可能なオフセット層は、前記１つまたはそれ以上の変形可能なオフセット層の第１のセットであり、
前記敵対的生成ネットワークは、識別モデルを使用して前記生成モデルをトレーニングするように構成され、
前記生成モデルと前記識別モデルにより適用される値は、前記識別モデルと前記生成モデルの間の敵対的な学習によって確立され、
前記生成モデルと前記識別モデルは、それぞれ、畳み込みニューラルネットワークで構成されており、
前記敵対的トレーニングは、
与えられたＣＢＣＴ画像に前記１つまたはそれ以上の変形可能なオフセット層の第１のセットを適用することにより、前記与えられたＣＢＣＴ画像から第１のｓＣＴ画像を生成するために、前記生成モデルをトレーニングするステップと、
前記与えられたＣＢＣＴ画像に前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを適用することなく、前記与えられたＣＢＣＴ画像から第２のｓＣＴ画像を生成するために、前記生成モデルをトレーニングするステップと、
前記第１のｓＣＴ画像を合成のまたは本物のコンピュータ断層撮影（ＣＴ）画像として分類するために前記識別モデルをトレーニングするステップと
を有し、
前記生成モデルの出力は、前記識別モデルをトレーニングするために使用され、前記識別モデルの出力は、前記生成モデルをトレーニングするために使用される
ことを特徴とするシステム。 - 請求項１５記載のシステムにおいて、
前記ＧＡＮは、前記生成モデルと前記識別モデルを有するサイクル敵対的生成ネットワーク（ＣｙｃｌｅＧＡＮ）を用いてトレーニングされ、
前記生成モデルは第１の生成モデルであり、前記識別モデルは第１の識別モデルであり、
前記ＣｙｃｌｅＧＡＮは、
与えられたＣＴ画像を入力として処理し、
前記１つまたはそれ以上の変形可能なオフセット層の第２のセットを前記与えられたＣＴ画像に適用することにより、第１の合成の（ｓＣＢＣＴ）画像を出力として提供し、
前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットを前記与えられたＣＴ画像に適用することなく、第２の合成の（ｓＣＢＣＴ）画像を出力として提供する
ようにトレーニングされた第２の生成モデルと、
前記第１の合成のｓＣＢＣＴ画像を、合成のまたは本物のＣＢＣＴ画像として分類するようにトレーニングされた第２の識別モデルと
を有する
ことを特徴とするシステム。 - 請求項１６記載のシステムにおいて、
前記ＣｙｃｌｅＧＡＮは、第１の生成モデルをトレーニングするための第１の部分を有し、
前記第１の部分は、
本物のＣＴ画像とペアになったトレーニングＣＢＣＴ画像を取得し、
前記トレーニングＣＢＣＴ画像を、第１のパスおよび第２のパスを介して前記第１の生成モデルの前記入力に送信して、前記第１のｓＣＴ画像および前記第２のｓＣＴ画像をそれぞれ出力し、
前記第１のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットと、前記１つまたはそれ以上の畳み込み層の第１のセットとを含み、
前記第２のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを含まず、前記１つまたはそれ以上の畳み込み層を含み、
前記第１の識別モデルの前記入力で、前記第１のｓＣＴ画像を受け取り、前記第１のｓＣＴ画像を前記合成のまたは本物のＣＴ画像に分類し、
前記第２の生成モデルの前記入力で、前記第１のｓＣＴ画像および前記第２のｓＣＴ画像を第３のパスおよび第４のパスを介して受け取り、サイクル－コンシステンシー損失を計算するために第１のサイクルＣＢＣＴ画像および第２のサイクルＣＢＣＴ画像をそれぞれ生成し、
前記第３のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットと、前記１つまたはそれ以上の畳み込み層の前記第２のセットとを含み、
前記第４のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットを含まず、前記１つまたはそれ以上の畳み込み層の前記第２のセットを含む
ようにトレーニングされている
ことを特徴とするシステム。 - 請求項１７記載のシステムにおいて、
前記ＣｙｃｌｅＧＡＮは、第２の部分を有し、
前記第２の部分は、
前記本物のＣＴ画像を、第５のパスおよび第６のパスを介して、前記第２の生成モデルの前記入力に送信して第１の合成のＣＢＣＴ画像および第２の合成のＣＢＣＴ画像をそれぞれ出力し、
前記第５のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットと、前記１つまたはそれ以上の畳み込み層の前記第２のセットとを含み、
前記第６のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第２のセットを含まず、前記１つまたはそれ以上の畳み込み層の前記第２のセットを含み、
前記第２の識別モデルの前記入力で前記第１の合成のＣＢＣＴ画像を受け取り、前記第１の合成のＣＢＣＴ画像を合成のまたは本物のＣＢＣＴ画像として分類し、
前記第１の合成のＣＢＣＴ画像および前記第２の合成のＣＢＣＴ画像を、第７のパスおよび第８のパスを介して、前記第１の生成モデルの前記入力で受け取り、サイクル－コンシステンシー損失を計算するための第１のサイクルＣＴ画像および第２のサイクルＣＴ画像を生成し、
前記第７のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットと、前記１つまたはそれ以上の畳み込み層の前記第１のセットとを含み、
前記第８のパスは、前記１つまたはそれ以上の変形可能なオフセット層の前記第１のセットを含まず、前記１つまたはそれ以上の畳み込み層の前記第１のセットを含む
ようにトレーニングされている
ことを特徴とするシステム。 - 請求項１７記載のシステムにおいて、
前記サイクル－コンシステンシー損失は、
前記第１のサイクルＣＢＣＴ画像および前記第２のサイクルＣＢＣＴ画像と前記トレーニングＣＢＣＴ画像との比較と、前記第１のサイクルＣＴ画像および前記第２のサイクルＣＴ画像と前記本物のＣＴ画像との比較とに基づいて生成され、
前記第１の生成モデルは、前記第２のｓＣＴ画像を用いて第１のピクセルベースの損失項を最小化または低減するようにトレーニングされ、前記第１のピクセルベースの損失項は、複数の合成のＣＴ画像と、それぞれペアになった本物のＣＴ画像との間の差の期待値を表し、
前記第２の生成モデルは、前記第２の合成の（ｓＣＢＣＴ）画像を用いて、第２のピクセルベースの損失項を最小化または低減するようにトレーニングされ、前記第２のピクセルベースの損失項は、複数の合成のＣＢＣＴ画像と、それぞれペアになった本物のＣＢＣＴ画像との間の差の期待値を表す
ことを特徴とするシステム。 - 請求項１４乃至２０のいずれか１項に記載のシステムにおいて、
前記１つまたはそれ以上の変形可能なオフセット層は、サンプリング量を変更し、座標オフセットを導入し、補間を用いて画像を再サンプリングするため、敵対的トレーニングに基づく１つまたはそれ以上のモジュール、１つまたはそれ以上の空間トランスフォーマー、１つまたはそれ以上の畳み込み層、または、画像の変形された構造情報を格納するように構成された１つまたはそれ以上のモジュールのうち、少なくとも１つを含む
ことを特徴とするシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962858156P | 2019-06-06 | 2019-06-06 | |
| US62/858,156 | 2019-06-06 | ||
| PCT/US2019/039538 WO2020246996A1 (en) | 2019-06-06 | 2019-06-27 | Sct image generation using cyclegan with deformable layers |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022536107A true JP2022536107A (ja) | 2022-08-12 |
| JP7245364B2 JP7245364B2 (ja) | 2023-03-23 |
Family
ID=67303525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021572324A Active JP7245364B2 (ja) | 2019-06-06 | 2019-06-27 | 変形可能な層を有するＣｙｃｌｅＧＡＮを用いたｓＣＴ画像生成 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220318956A1 (ja) |
| EP (1) | EP3980972A1 (ja) |
| JP (1) | JP7245364B2 (ja) |
| CN (1) | CN114072845A (ja) |
| AU (1) | AU2019449137B2 (ja) |
| WO (1) | WO2020246996A1 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11676023B2 (en) * | 2019-11-27 | 2023-06-13 | Pavel Sinha | Systems and methods for performing direct conversion of image sensor data to image analytics |
| CN113498526A (zh) * | 2020-02-05 | 2021-10-12 | 谷歌有限责任公司 | 使用可解释变换参数的图像变换 |
| KR102159052B1 (ko) * | 2020-05-12 | 2020-09-23 | 주식회사 폴라리스쓰리디 | 영상 분류 방법 및 장치 |
| US11915401B2 (en) * | 2020-12-09 | 2024-02-27 | Shenzhen Institutes Of Advanced Technology | Apriori guidance network for multitask medical image synthesis |
| CN112561782B (zh) * | 2020-12-15 | 2023-01-03 | 哈尔滨工程大学 | 一种提高海上场景仿真图片真实度的方法 |
| CN113140019B (zh) * | 2021-05-13 | 2022-05-31 | 电子科技大学 | 一种基于融合弥补生成对抗网络的文本生成图像的方法 |
| EP4095796A1 (de) | 2021-05-29 | 2022-11-30 | Bayer AG | Maschinelles lernen im bereich der kontrastmittelverstärkten radiologie |
| CN113487657B (zh) * | 2021-07-29 | 2022-02-01 | 广州柏视医疗科技有限公司 | 一种基于深度学习的模态转换方法 |
| US11651554B2 (en) * | 2021-07-30 | 2023-05-16 | The Boeing Company | Systems and methods for synthetic image generation |
| US11900534B2 (en) * | 2021-07-30 | 2024-02-13 | The Boeing Company | Systems and methods for synthetic image generation |
| US11775606B2 (en) * | 2021-10-29 | 2023-10-03 | Weld North Education LLC | Inter-browser presentation control |
| CN114359310B (zh) * | 2022-01-13 | 2024-06-04 | 浙江大学 | 一种基于深度学习的3d心室核磁共振视频分割优化系统 |
| CN114820730B (zh) * | 2022-03-08 | 2023-04-07 | 安徽慧软科技有限公司 | 一种基于伪ct的ct与cbct配准方法 |
| CN115170424B (zh) * | 2022-07-07 | 2023-04-07 | 北京安德医智科技有限公司 | 一种心脏超声影像伪影去除方法及装置 |
| CN116071401B (zh) * | 2023-01-28 | 2023-08-01 | 中日友好医院(中日友好临床医学研究所) | 基于深度学习的虚拟ct图像的生成方法及装置 |
| CN116503505B (zh) * | 2023-06-20 | 2024-04-05 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 一种cbct图像的伪影去除方法、装置、设备及介质 |
| CN116523983B (zh) * | 2023-06-26 | 2023-10-27 | 华南师范大学 | 融合多路径特征与器官形态导向的胰腺ct图像配准方法 |
| CN116630466B (zh) * | 2023-07-26 | 2023-10-24 | 济南大学 | 基于生成对抗性网络的脊柱ct到mr转换方法及系统 |
| CN117078612B (zh) * | 2023-08-09 | 2024-06-14 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 一种基于cbct图像的快速三维剂量验证方法及装置 |
| CN117934869B (zh) * | 2024-03-22 | 2024-06-18 | 中铁大桥局集团有限公司 | 一种目标检测方法、系统、计算设备以及介质 |
| CN118070107B (zh) * | 2024-04-18 | 2024-06-18 | 南京信息工程大学 | 一种面向深度学习的网络异常检测方法、装置、存储介质及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018048507A1 (en) * | 2016-09-06 | 2018-03-15 | Han Xiao | Neural network for generating synthetic medical images |
| US20180374245A1 (en) * | 2017-06-26 | 2018-12-27 | Elekta, Inc. | Image quality in cone beam computed tomography images using deep convolutional neural networks |
| US20190114818A1 (en) * | 2017-10-16 | 2019-04-18 | Adobe Systems Incorporated | Predicting Patch Displacement Maps Using A Neural Network |
-
2019
- 2019-06-27 EP EP19740461.9A patent/EP3980972A1/en active Pending
- 2019-06-27 WO PCT/US2019/039538 patent/WO2020246996A1/en active Application Filing
- 2019-06-27 CN CN201980098267.XA patent/CN114072845A/zh active Pending
- 2019-06-27 US US17/594,438 patent/US20220318956A1/en active Pending
- 2019-06-27 AU AU2019449137A patent/AU2019449137B2/en active Active
- 2019-06-27 JP JP2021572324A patent/JP7245364B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018048507A1 (en) * | 2016-09-06 | 2018-03-15 | Han Xiao | Neural network for generating synthetic medical images |
| US20180374245A1 (en) * | 2017-06-26 | 2018-12-27 | Elekta, Inc. | Image quality in cone beam computed tomography images using deep convolutional neural networks |
| US20190114818A1 (en) * | 2017-10-16 | 2019-04-18 | Adobe Systems Incorporated | Predicting Patch Displacement Maps Using A Neural Network |
Non-Patent Citations (1)
| Title |
|---|
| LIANG, XIAO ET AL.: "Generating Synthesized Computed Tomography (CT) from Cone-Beam Computed Tomography (CBCT) using Cycl", ARXIV:1810.13350, JPN6022046907, 2018, ISSN: 0004916334 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114072845A (zh) | 2022-02-18 |
| US20220318956A1 (en) | 2022-10-06 |
| WO2020246996A1 (en) | 2020-12-10 |
| AU2019449137B2 (en) | 2023-03-02 |
| AU2019449137A1 (en) | 2022-02-03 |
| JP7245364B2 (ja) | 2023-03-23 |
| EP3980972A1 (en) | 2022-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7245364B2 (ja) | 変形可能な層を有するＣｙｃｌｅＧＡＮを用いたｓＣＴ画像生成 | |
| JP7039153B2 (ja) | 敵対的生成ネットワークを使用した画像強調 | |
| JP7145233B2 (ja) | 敵対的生成ネットワークを用いた放射線治療計画モデリング | |
| US11491348B2 (en) | Real-time patient motion monitoring using a magnetic resonance linear accelerator (MRLINAC) | |
| JP7181963B2 (ja) | 深層学習を用いたアトラスベースセグメンテーション | |
| US11547874B2 (en) | Machine learning approach to real-time patient motion monitoring | |
| US10762398B2 (en) | Modality-agnostic method for medical image representation | |
| US11386592B2 (en) | Tomographic image analysis using artificial intelligence (AI) engines | |
| EP4315246A1 (en) | Dual domain tracking of target structures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230310 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7245364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |