JP2021521534A - 敵対的ネットワークを使用した画像合成 - Google Patents
敵対的ネットワークを使用した画像合成 Download PDFInfo
- Publication number
- JP2021521534A JP2021521534A JP2020556251A JP2020556251A JP2021521534A JP 2021521534 A JP2021521534 A JP 2021521534A JP 2020556251 A JP2020556251 A JP 2020556251A JP 2020556251 A JP2020556251 A JP 2020556251A JP 2021521534 A JP2021521534 A JP 2021521534A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- imaging data
- statistical learning
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000203 mixture Substances 0.000 title description 8
- 238000003384 imaging method Methods 0.000 claims abstract description 246
- 238000012549 training Methods 0.000 claims abstract description 102
- 238000001959 radiotherapy Methods 0.000 claims abstract description 101
- 238000000034 method Methods 0.000 claims abstract description 95
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 26
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 26
- 238000013439 planning Methods 0.000 claims abstract description 18
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 6
- 238000002591 computed tomography Methods 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 40
- 238000002059 diagnostic imaging Methods 0.000 claims description 29
- 239000002131 composite material Substances 0.000 claims description 23
- 238000007726 management method Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 abstract description 69
- 238000010586 diagram Methods 0.000 abstract description 5
- 230000000875 corresponding effect Effects 0.000 description 40
- 238000011282 treatment Methods 0.000 description 38
- 238000002595 magnetic resonance imaging Methods 0.000 description 30
- 206010028980 Neoplasm Diseases 0.000 description 25
- 238000013459 approach Methods 0.000 description 20
- 230000005855 radiation Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 238000011176 pooling Methods 0.000 description 14
- 210000000056 organ Anatomy 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000002600 positron emission tomography Methods 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 9
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 8
- 230000009021 linear effect Effects 0.000 description 7
- 238000002604 ultrasonography Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000012384 transportation and delivery Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 210000003484 anatomy Anatomy 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000001225 therapeutic effect Effects 0.000 description 5
- 238000013170 computed tomography imaging Methods 0.000 description 4
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000003325 tomography Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000000133 brain stem Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009022 nonlinear effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 210000000278 spinal cord Anatomy 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 235000013929 Psidium pyriferum Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 210000000695 crystalline len Anatomy 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical group CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 231100000673 dose–response relationship Toxicity 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 210000003681 parotid gland Anatomy 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/103—Treatment planning systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Radiation-Therapy Devices (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
ペア撮像情報に依存しない統計的学習手法が本明細書に記載されている。この技術は、コンピュータで実装することができ、放射線治療計画の支援などの画像合成を行うための統計的学習モデルを訓練するために使用することができる。一実施例では、訓練された統計学習モデルは、生成器畳み込みネットワークとして確立された畳み込みニューラルネットワークを含むことができ、生成器は、識別器畳み込みネットワークとして確立された別個の畳み込みニューラルネットワークを用いて少なくとも部分的に訓練することができる。生成器畳み込みネットワークおよび識別器畳み込みネットワークは、訓練中に使用するための敵対的ネットワークアーキテクチャを形成することができる。訓練後、第１の撮像モダリティタイプに対応する撮像データを受信し、異なる第２の撮像モダリティタイプに対応する撮像データを合成するような、画像の合成に使用するための生成器畳み込みネットワークを提供することができる。【選択図】図１
Description
（優先権の主張）
［０００１］
本出願は、２０１８年４月１３日に出願された、「ＩＭＡＧＥ ＳＹＮＴＨＥＳＩＳ ＵＳＩＮＧ ＡＤＶＥＲＳＡＲＩＡＬ ＮＥＴＷＯＲＫＳ ＳＵＣＨ ＡＳ ＦＯＲ ＲＡＤＩＡＴＩＯＮ ＴＨＥＲＡＰＹ」と題する米国出願第１５／９５２，６８６号の優先権の利益を主張し、その全体が参照により本明細書に組み込まれる。（技術分野）
［０００２］
本明細書は、一般に、医用画像の合成に関するものであるが、これに限定されるものではなく、特に、放射線治療の提供または放射線治療計画の支援のような統計的学習モデルを使用して、第１の撮像モダリティタイプ（例えば、磁気共鳴（ＭＲ）撮像）から別の第２の撮像モダリティタイプ（例えば、コンピュータ断層撮影（ＣＴ）撮像）への撮像データの自動変換（例えば、コンピュータ実装された）を行うための装置および技術に関するものである。
［０００１］
本出願は、２０１８年４月１３日に出願された、「ＩＭＡＧＥ ＳＹＮＴＨＥＳＩＳ ＵＳＩＮＧ ＡＤＶＥＲＳＡＲＩＡＬ ＮＥＴＷＯＲＫＳ ＳＵＣＨ ＡＳ ＦＯＲ ＲＡＤＩＡＴＩＯＮ ＴＨＥＲＡＰＹ」と題する米国出願第１５／９５２，６８６号の優先権の利益を主張し、その全体が参照により本明細書に組み込まれる。（技術分野）
［０００２］
本明細書は、一般に、医用画像の合成に関するものであるが、これに限定されるものではなく、特に、放射線治療の提供または放射線治療計画の支援のような統計的学習モデルを使用して、第１の撮像モダリティタイプ（例えば、磁気共鳴（ＭＲ）撮像）から別の第２の撮像モダリティタイプ（例えば、コンピュータ断層撮影（ＣＴ）撮像）への撮像データの自動変換（例えば、コンピュータ実装された）を行うための装置および技術に関するものである。
［０００３］
放射線治療や放射線手術では、一般的に患者の医用撮像を用いて治療計画を立てる。このような撮像の解析では、一般に、医用画像中の標的体積と重要な臓器を特定する必要がある。例えば、患者画像から腫瘍および臓器リスク（ＯＡＲ）をセグメンテーションまたは輪郭形成することは、一般的に放射線治療計画の前提条件と考えられている。セグメンテーションまたは他の画像処理は、コンピュータ断層撮影（ＣＴ）のような特定の撮像モダリティタイプに対応する撮像データに対して実行されてもよい。半自動または自動化されたセグメンテーション技術の使用は、入力撮像データがＣＴ撮像データであることに依存する。いくつかの使用例では、代わりに、処理のための入力撮像データとして主にまたは排他的に磁気共鳴（ＭＲ）撮像を使用することが望まれる。このようなＭＲ撮像データは、ＣＴ撮像に依存する既存の放射線治療計画ツールでの使用や、または特定のＭＲ重み付けアプローチまたは利用可能な入力撮像データとは異なるＭＲ撮像シーケンスに依存するツールでの使用には適していない可能性がある。画像合成技術は、放射線治療計画または治療提供ツールとの互換性を容易にするために、第１のモダリティタイプから異なる第２のモダリティタイプに画像を変換するために使用することができる。
放射線治療や放射線手術では、一般的に患者の医用撮像を用いて治療計画を立てる。このような撮像の解析では、一般に、医用画像中の標的体積と重要な臓器を特定する必要がある。例えば、患者画像から腫瘍および臓器リスク（ＯＡＲ）をセグメンテーションまたは輪郭形成することは、一般的に放射線治療計画の前提条件と考えられている。セグメンテーションまたは他の画像処理は、コンピュータ断層撮影（ＣＴ）のような特定の撮像モダリティタイプに対応する撮像データに対して実行されてもよい。半自動または自動化されたセグメンテーション技術の使用は、入力撮像データがＣＴ撮像データであることに依存する。いくつかの使用例では、代わりに、処理のための入力撮像データとして主にまたは排他的に磁気共鳴（ＭＲ）撮像を使用することが望まれる。このようなＭＲ撮像データは、ＣＴ撮像に依存する既存の放射線治療計画ツールでの使用や、または特定のＭＲ重み付けアプローチまたは利用可能な入力撮像データとは異なるＭＲ撮像シーケンスに依存するツールでの使用には適していない可能性がある。画像合成技術は、放射線治療計画または治療提供ツールとの互換性を容易にするために、第１のモダリティタイプから異なる第２のモダリティタイプに画像を変換するために使用することができる。
［０００４］
一実施形態では、画像変換は、ペア画像を用いて訓練された機械学習技術を用いて実行される。「ペア画像」という語句は、一般に、訓練データを生成するために同じ患者の異なる取得画像を使用することを意味し、異なる取得画像は、異なる撮像モダリティ（例示的な実例として、ＣＴ対ＭＲ、コーンビーム撮像対従来のＣＴ、Ｔ１強調ＭＲ対Ｔ２強調ＭＲ）を使用して取得される。このようなペア撮像データに依存したアプローチは、様々な課題を提示する可能性がある。例えば、出力画像を忠実に合成するモデルを訓練するためには、訓練技術が効果的であるためには、ペア画像が完全またはほぼ完全に整列している必要がある。このような整列は、通常、画像が異なる撮像装置から取得されたり、撮像対象があるスキャナから別のスキャナに移動したような、撮像対象が移動した異なる時点で取得されたりするため、それを達成することが不可能ではないにしても、非常に困難となる場合がある。このような動きは、撮像取得の間に歪みや解剖学的変化を生じさせる可能性がある。登録技術は、そのような課題に対処するために部分的に使用されることがあり、そのような登録技術もまた独自の課題を提示している。レジストレーションのエラーは、不完全な訓練データのためにモデルの性能を低下させることになる。
一実施形態では、画像変換は、ペア画像を用いて訓練された機械学習技術を用いて実行される。「ペア画像」という語句は、一般に、訓練データを生成するために同じ患者の異なる取得画像を使用することを意味し、異なる取得画像は、異なる撮像モダリティ（例示的な実例として、ＣＴ対ＭＲ、コーンビーム撮像対従来のＣＴ、Ｔ１強調ＭＲ対Ｔ２強調ＭＲ）を使用して取得される。このようなペア撮像データに依存したアプローチは、様々な課題を提示する可能性がある。例えば、出力画像を忠実に合成するモデルを訓練するためには、訓練技術が効果的であるためには、ペア画像が完全またはほぼ完全に整列している必要がある。このような整列は、通常、画像が異なる撮像装置から取得されたり、撮像対象があるスキャナから別のスキャナに移動したような、撮像対象が移動した異なる時点で取得されたりするため、それを達成することが不可能ではないにしても、非常に困難となる場合がある。このような動きは、撮像取得の間に歪みや解剖学的変化を生じさせる可能性がある。登録技術は、そのような課題に対処するために部分的に使用されることがあり、そのような登録技術もまた独自の課題を提示している。レジストレーションのエラーは、不完全な訓練データのためにモデルの性能を低下させることになる。
［０００５］
本明細書に記載されているように、画像合成は、一般に、入力撮像データを受信し、訓練された統計学習モデルを使用して出力撮像データを合成することを含み、出力撮像データは、その後、放射線治療計画または放射線療法送達のような下流の活動に使用することができる。本願発明者は、特に、アンペア（unpaired）画像を訓練に用いるときに、深層畳み込みニューラルネットワーク（ＤＣＮＮ）技術が関与する機械学習などの統計学習技術を画像合成（例えば、第１の撮像モダリティタイプの画像を別の第２の撮像モダリティタイプの画像に変換すること）に適用することに問題があることを認識していた。本願発明者は、特に、画像合成を行うための統計的学習モデルを訓練するために、ペア（paired）撮像情報に依存しない統計的学習技術を開発した。例示的な実施形態では、訓練された統計学習モデルは、生成器畳み込みネットワークとして確立された畳み込みニューラルネットワークを含むことができ、生成器は、識別器畳み込みネットワークとして確立された別個の畳み込みニューラルネットワークを用いて少なくとも部分的に訓練することができる。発生器畳み込みネットワークと識別器畳み込みネットワークは、敵対的ネットワークアーキテクチャを形成することができ、訓練中に、識別器畳み込みネットワークが、識別器畳み込みネットワークへの入力の分布にわたって目的物の値を強化または最大化するように調整され、生成器畳み込みネットワークが、生成器畳み込みネットワークへの入力の分布にわたって目的物の値を減少または最小化するように調整される。
本明細書に記載されているように、画像合成は、一般に、入力撮像データを受信し、訓練された統計学習モデルを使用して出力撮像データを合成することを含み、出力撮像データは、その後、放射線治療計画または放射線療法送達のような下流の活動に使用することができる。本願発明者は、特に、アンペア（unpaired）画像を訓練に用いるときに、深層畳み込みニューラルネットワーク（ＤＣＮＮ）技術が関与する機械学習などの統計学習技術を画像合成（例えば、第１の撮像モダリティタイプの画像を別の第２の撮像モダリティタイプの画像に変換すること）に適用することに問題があることを認識していた。本願発明者は、特に、画像合成を行うための統計的学習モデルを訓練するために、ペア（paired）撮像情報に依存しない統計的学習技術を開発した。例示的な実施形態では、訓練された統計学習モデルは、生成器畳み込みネットワークとして確立された畳み込みニューラルネットワークを含むことができ、生成器は、識別器畳み込みネットワークとして確立された別個の畳み込みニューラルネットワークを用いて少なくとも部分的に訓練することができる。発生器畳み込みネットワークと識別器畳み込みネットワークは、敵対的ネットワークアーキテクチャを形成することができ、訓練中に、識別器畳み込みネットワークが、識別器畳み込みネットワークへの入力の分布にわたって目的物の値を強化または最大化するように調整され、生成器畳み込みネットワークが、生成器畳み込みネットワークへの入力の分布にわたって目的物の値を減少または最小化するように調整される。
［０００６］
他のアプローチとは対照的に、本願発明者は、また、本明細書に記載されたアプローチは、アンペア撮像データと共に使用するために、２つの別個の識別器畳み込みネットワークと共に、２つの別個の発生器畳み込みネットワークを同時期に訓練することを含む必要がないことを認識した。このようにして、本明細書に記載されたアプローチは、処理時間およびメモリ消費量の大幅な節約（例えば、２つの生成器ネットワークと２つの識別器ネットワークを含む他のアプローチと比較して、約２倍の節約）を提供することができる。
他のアプローチとは対照的に、本願発明者は、また、本明細書に記載されたアプローチは、アンペア撮像データと共に使用するために、２つの別個の識別器畳み込みネットワークと共に、２つの別個の発生器畳み込みネットワークを同時期に訓練することを含む必要がないことを認識した。このようにして、本明細書に記載されたアプローチは、処理時間およびメモリ消費量の大幅な節約（例えば、２つの生成器ネットワークと２つの識別器ネットワークを含む他のアプローチと比較して、約２倍の節約）を提供することができる。
［０００７］
一実施例では、訓練された統計的学習モデルを用いて医用画像を合成するためのコンピュータ実装方法は、第１の撮像モダリティタイプを用いて得られた医用撮像データを受け取るステップと、受け取った医用撮像データに訓練された統計学習モデルを適用して、異なる第２の撮像モダリティタイプに対応する医用画像を合成するステップと、合成された医用画像を表示するために、または更なる処理に使用するために提供するステップとを含む。訓練された統計的学習モデルは、モデル入力で提供される訓練撮像データであって第１の撮像モダリティタイプに対応する訓練撮像データと、モデル出力での合成された撮像データであって第２の撮像モダリティタイプに対応する合成された撮像データとの間の類似判定を用いて、少なくとも一部が確立され、訓練された統計的学習モデルは、第２の撮像モダリティに対応する実際の撮像データと合成された撮像データとを識別するように確立されている別個の統計的学習モデルを用いて、少なくとも一部が確立されている。
一実施例では、訓練された統計的学習モデルを用いて医用画像を合成するためのコンピュータ実装方法は、第１の撮像モダリティタイプを用いて得られた医用撮像データを受け取るステップと、受け取った医用撮像データに訓練された統計学習モデルを適用して、異なる第２の撮像モダリティタイプに対応する医用画像を合成するステップと、合成された医用画像を表示するために、または更なる処理に使用するために提供するステップとを含む。訓練された統計的学習モデルは、モデル入力で提供される訓練撮像データであって第１の撮像モダリティタイプに対応する訓練撮像データと、モデル出力での合成された撮像データであって第２の撮像モダリティタイプに対応する合成された撮像データとの間の類似判定を用いて、少なくとも一部が確立され、訓練された統計的学習モデルは、第２の撮像モダリティに対応する実際の撮像データと合成された撮像データとを識別するように確立されている別個の統計的学習モデルを用いて、少なくとも一部が確立されている。
［０００８］
一実施例では、訓練のためのペア画像を必要とすることなく医用画像を合成する訓練された統計的学習モデルを確立するためのコンピュータ実装方法は、第１の撮像モダリティタイプに対応する訓練医用撮像データを受け取るステップと、受け取られた医用撮像データに統計的学習モデルを適用して、異なる第２の撮像モダリティタイプに対応する撮像データを合成するステップと、訓練撮像データとモデル出力での合成撮像データとの間の類似判定を用いて、統計的学習モデルの少なくとも一部を調整するステップと、合成された撮像データと第２の撮像モダリティタイプに対応する実際の撮像データとを識別するために確立された別個の統計的学習モデルを用いて、統計的学習モデルの少なくとも一部を調整するステップとを有する。
一実施例では、訓練のためのペア画像を必要とすることなく医用画像を合成する訓練された統計的学習モデルを確立するためのコンピュータ実装方法は、第１の撮像モダリティタイプに対応する訓練医用撮像データを受け取るステップと、受け取られた医用撮像データに統計的学習モデルを適用して、異なる第２の撮像モダリティタイプに対応する撮像データを合成するステップと、訓練撮像データとモデル出力での合成撮像データとの間の類似判定を用いて、統計的学習モデルの少なくとも一部を調整するステップと、合成された撮像データと第２の撮像モダリティタイプに対応する実際の撮像データとを識別するために確立された別個の統計的学習モデルを用いて、統計的学習モデルの少なくとも一部を調整するステップとを有する。
［０００９］
一実施例では、少なくとも１つのプロセッサを有する処理回路と、命令を含む記憶媒体とを有するシステムは、少なくとも１つのプロセッサによって命令が実行された場合に、第１の撮像モダリティタイプを用いて得られた医用撮像データを受け取るステップと、受け取った医用撮像データに訓練された統計学習モデルを適用して、異なる第２の撮像モダリティタイプに対応する医用画像を合成するステップと、合成された医用画像を表示するために、または更なる処理に使用するために提供するステップとを実行させるプロセッサを有する。訓練された統計的学習モデルは、モデル入力で提供される訓練撮像データであって第１の撮像モダリティタイプに対応する訓練撮像データと、モデル出力での合成された撮像データであって第２の撮像モダリティタイプに対応する合成された撮像データとの間の類似判定を用いて、少なくとも一部が確立され、訓練された統計的学習モデルは、第２の撮像モダリティに対応する実際の撮像データと合成された撮像データとを識別するように確立されている別個の統計的学習モデルを用いて、少なくとも一部が確立されている。
一実施例では、少なくとも１つのプロセッサを有する処理回路と、命令を含む記憶媒体とを有するシステムは、少なくとも１つのプロセッサによって命令が実行された場合に、第１の撮像モダリティタイプを用いて得られた医用撮像データを受け取るステップと、受け取った医用撮像データに訓練された統計学習モデルを適用して、異なる第２の撮像モダリティタイプに対応する医用画像を合成するステップと、合成された医用画像を表示するために、または更なる処理に使用するために提供するステップとを実行させるプロセッサを有する。訓練された統計的学習モデルは、モデル入力で提供される訓練撮像データであって第１の撮像モダリティタイプに対応する訓練撮像データと、モデル出力での合成された撮像データであって第２の撮像モダリティタイプに対応する合成された撮像データとの間の類似判定を用いて、少なくとも一部が確立され、訓練された統計的学習モデルは、第２の撮像モダリティに対応する実際の撮像データと合成された撮像データとを識別するように確立されている別個の統計的学習モデルを用いて、少なくとも一部が確立されている。
［００１０］
以上の発明の概要は、本特許出願の主題の概要を提供することを目的としている。それは、本発明の排他的または網羅的な説明を提供することを意図したものではない。詳細な説明には、本特許出願についての更なる情報を提供することを含む。
以上の発明の概要は、本特許出願の主題の概要を提供することを目的としている。それは、本発明の排他的または網羅的な説明を提供することを意図したものではない。詳細な説明には、本特許出願についての更なる情報を提供することを含む。
［００１１］
必ずしも縮尺で描かれていない図面において、同様の数字は、いくつかの図面に通して実質的に類似した構成要素を示している。異なる文字の接尾辞を持つ数字は、実質的に類似した構成要素の異なる例を表す。図面は、例示の方法で、本明細書で論じられている様々な実施形態を一般的に示しているが、これに限定されるものではない。
必ずしも縮尺で描かれていない図面において、同様の数字は、いくつかの図面に通して実質的に類似した構成要素を示している。異なる文字の接尾辞を持つ数字は、実質的に類似した構成要素の異なる例を表す。図面は、例示の方法で、本明細書で論じられている様々な実施形態を一般的に示しているが、これに限定されるものではない。
［００１２］
図１は、患者に放射線治療を提供するような放射線治療システムを構成する実施例を示す。
［００１３］
図２は、Ｘ線源または線形加速器などの放射線源、カウチ、撮像検出器、および放射線治療出力を含む放射線治療装置を含む実施例を示す。
［００１４］
図３は、少なくとも１つの統計的学習モデル（例えば、畳み込みニューラルネットワーク（ＣＮＮ））の訓練を実行するためのアーキテクチャと、ＣＮＮモデルベースの画像合成技術を使用して合成された画像を提供するためのアーキテクチャを含む実施例を示す。
［００１５］
図４は、少なくとも１つの統計的学習モデル（例えば、畳み込みニューラルネットワーク（ＣＮＮ））の訓練を実行するための敵対的訓練アーキテクチャを含む実施例を示し、例えば、ＣＮＮモデルベースの画像合成技術を使用して合成された画像を提供するための実施例を示す。
［００１６］
図５は、画像合成を行うための別の統計的学習モデルを訓練するために使用されるような、医用撮像データの分類を実行するための（例えば、合成された撮像データと実際の撮像データとの間の識別のための）統計的学習モデル（例えば、畳み込みニューラルネットワーク（ＣＮＮ））を含む実施例を示す。
［００１７］
図６は、第１の撮像モダリティタイプに対応する医用撮像データを受け取り、受け取られた医用撮像データを使用して、異なる第２の撮像モダリティタイプに対応する医用撮像データの合成を実行するような、統計的学習モデル（例えば、畳み込みニューラルネットワーク（ＣＮＮ））を含む実施例を示す。
［００１８］
図７は、統計的学習モデルを使用して医用撮像データの合成を実行するような、コンピュータに実装することができる方法のような一般的な技術を示す。
［００１９］
図８は、一般的に、医用撮像データの合成を実行する統計的学習モデルを確立するための敵対的訓練アーキテクチャを実装するためのような、コンピュータにより実装することができる方法のような技術を示す。
［００２０］
図９Ａ、図９Ｂ、図９Ｃは、第１の撮像モダリティタイプに対応する撮像データの複数の図を構成する例示的な実施例を示す。
［００２１］
図１０Ａ、図１０Ｂ、図１０Ｃは、それぞれ、図９Ａ、図９Ｂ、図９Ｃの撮像データに適用された統計的学習モデルを使用して提供される、第２の撮像モダリティタイプに対応する合成撮像データの複数の図を構成する例示的な実施例を示す。
［００２２］
図１１Ａ、図１１Ｂ、図１１Ｃは、それぞれ、図１０Ａ、図１０Ｂ、図１０Ｃの合成撮像データと比較するために本明細書に提示された第２の撮像モダリティタイプを用いて得られた実際の撮像データの複数の図を構成する例示的な実施例を示す。
［００２３］
上述したように、ある撮像モダリティタイプから別の撮像モダリティタイプへの画像変換は、出力画像を合成するために訓練された統計的学習モデルを使用するような自動化された（例えば、コンピュータ実装された）方法で実行することができる。このようなクロスモダリティ画像合成は、放射線治療への応用が期待されている。例えば、取得したＭＲ撮像データを使用して治療計画を容易にするために、ＭＲ画像に基づいてＣＴライク画像（例えば、「擬似ＣＴ」画像または「合成」ＣＴ画像と呼ばれる）を生成することが望まれている。別の例では、比較的低品質のＣＴまたはコーンビームＣＴ（ＣＢＣＴ）画像を入力として、より高品質のＣＴライク画像（例えば、ノイズが少なく、アーチファクトが少なく、解像度が高い画像）を合成することができる。この後者の例では、合成は、比較的低品質の画像の画質を向上させる方法を提供する（低品質の入力撮像データは、撮像速度を向上させるために、撮像線量を下げるか、またはレイテンシを減少させるためにより短い撮像持続時間を使用するなどの撮像の制約から生じることがある）。
上述したように、ある撮像モダリティタイプから別の撮像モダリティタイプへの画像変換は、出力画像を合成するために訓練された統計的学習モデルを使用するような自動化された（例えば、コンピュータ実装された）方法で実行することができる。このようなクロスモダリティ画像合成は、放射線治療への応用が期待されている。例えば、取得したＭＲ撮像データを使用して治療計画を容易にするために、ＭＲ画像に基づいてＣＴライク画像（例えば、「擬似ＣＴ」画像または「合成」ＣＴ画像と呼ばれる）を生成することが望まれている。別の例では、比較的低品質のＣＴまたはコーンビームＣＴ（ＣＢＣＴ）画像を入力として、より高品質のＣＴライク画像（例えば、ノイズが少なく、アーチファクトが少なく、解像度が高い画像）を合成することができる。この後者の例では、合成は、比較的低品質の画像の画質を向上させる方法を提供する（低品質の入力撮像データは、撮像速度を向上させるために、撮像線量を下げるか、またはレイテンシを減少させるためにより短い撮像持続時間を使用するなどの撮像の制約から生じることがある）。
［００２４］
別の例として、ＭＲ撮像は、例えば、Ｔ１強調配列、Ｔ２強調配列、またはＦＬＡＩＲ配列のような、非常に可変性のある画像外観をもたらす可能性がある多くの異なる配列の使用を含むことができる。異なるＭＲ撮像シーケンスを使用すると、そのような画像が既製の撮像レジストレーションまたは撮像セグメンテーションルーチンの入力として提供される場合、課題が生じることがある。本願発明者は、レジストレーションまたはセグメンテーションのルーチンと互換性のある撮像データを提供するために、出力画像を合成することができることを認識した。例えば、第１の撮像モダリティの種類を表すＴ２強調撮像データが提供され、このＴ２強調撮像データから、訓練された統計学習モデルを用いてＴ１強調撮像データを合成することができる。次に、合成された撮像データに対して、レジストレーションまたはセグメンテーションの１つまたはそれ以上を実行する。
別の例として、ＭＲ撮像は、例えば、Ｔ１強調配列、Ｔ２強調配列、またはＦＬＡＩＲ配列のような、非常に可変性のある画像外観をもたらす可能性がある多くの異なる配列の使用を含むことができる。異なるＭＲ撮像シーケンスを使用すると、そのような画像が既製の撮像レジストレーションまたは撮像セグメンテーションルーチンの入力として提供される場合、課題が生じることがある。本願発明者は、レジストレーションまたはセグメンテーションのルーチンと互換性のある撮像データを提供するために、出力画像を合成することができることを認識した。例えば、第１の撮像モダリティの種類を表すＴ２強調撮像データが提供され、このＴ２強調撮像データから、訓練された統計学習モデルを用いてＴ１強調撮像データを合成することができる。次に、合成された撮像データに対して、レジストレーションまたはセグメンテーションの１つまたはそれ以上を実行する。
［００２５］
深層畳み込みニューラルネットワーク（ＤＣＮＮ）を含む深層学習技術は、例示的な例として、腫瘍検出、疾患分類、または構造セグメンテーションなどの困難な医用撮像解析問題に使用することができる。ＤＣＮＮの成功に貢献する特性は、そのようなＤＣＮＮが、手作業で作られた特徴に頼らずに、生の入力データから直接複雑なモデルを識別したり、「学習」したりする能力である。一般的に、本明細書に記載された技術は、第１の撮像モダリティタイプを使用して得られた入力撮像データを受信し、異なる第２の撮像モダリティに対応する出力撮像データからなる合成出力を提供するような、ＤＣＮＮ促進画像合成を提供するために使用される。
深層畳み込みニューラルネットワーク（ＤＣＮＮ）を含む深層学習技術は、例示的な例として、腫瘍検出、疾患分類、または構造セグメンテーションなどの困難な医用撮像解析問題に使用することができる。ＤＣＮＮの成功に貢献する特性は、そのようなＤＣＮＮが、手作業で作られた特徴に頼らずに、生の入力データから直接複雑なモデルを識別したり、「学習」したりする能力である。一般的に、本明細書に記載された技術は、第１の撮像モダリティタイプを使用して得られた入力撮像データを受信し、異なる第２の撮像モダリティに対応する出力撮像データからなる合成出力を提供するような、ＤＣＮＮ促進画像合成を提供するために使用される。
［００２６］
図１は、患者に放射線治療を提供するためのような放射線治療システム１００を構成する実施例を示す。放射線治療システム１００は、画像処理装置１１２を含む。画像処理装置１１２は、ネットワーク１２０に接続される。ネットワーク１２０は、インターネット１２２に接続される。ネットワーク１２０は、画像処理装置１１２を、データベース１２４、病院データベース１２６、腫瘍情報システム（ＯＩＳ）１２８、放射線治療装置１３０、画像取得装置１３２、表示装置１３４、ユーザインターフェース１３６のうちの１つまたはそれ以上と接続される。画像処理装置１１２は、放射線治療装置１３０によって使用される放射線治療計画１４２を生成するように構成される。
図１は、患者に放射線治療を提供するためのような放射線治療システム１００を構成する実施例を示す。放射線治療システム１００は、画像処理装置１１２を含む。画像処理装置１１２は、ネットワーク１２０に接続される。ネットワーク１２０は、インターネット１２２に接続される。ネットワーク１２０は、画像処理装置１１２を、データベース１２４、病院データベース１２６、腫瘍情報システム（ＯＩＳ）１２８、放射線治療装置１３０、画像取得装置１３２、表示装置１３４、ユーザインターフェース１３６のうちの１つまたはそれ以上と接続される。画像処理装置１１２は、放射線治療装置１３０によって使用される放射線治療計画１４２を生成するように構成される。
［００２７］
画像処理装置１１２は、メモリ装置１１６と、プロセッサ１１４と、通信インターフェース１１８とを含む。メモリ装置１１６は、オペレーティングシステム１４３、放射線治療計画１４２（例えば、オリジナルの治療計画、適応された治療計画など）、ソフトウェアプログラム１４４（例えば、人工知能、ディープラーニング、ニューラルネットワーク、放射線治療計画ソフトウェアなど）、プロセッサ１１４によって実行される他のコンピュータ実行可能な命令、例えば、本明細書の他の場所で示され、説明されているような１つまたはそれ以上の技術に対応するか、またはそれを使用するような命令を記憶する。一実施形態では、ソフトウェアプログラム１４４は、擬似ＣＴ画像のような合成画像を生成することにより、あるフォーマット（例えば、ＭＲＩ）の医用画像を別のフォーマット（例えば、ＣＴ）に変換することができる。例えば、ソフトウェアプログラム１４４は、あるモダリティ（例えば、ＭＲＩ画像）に対応する医用画像１４６を別のモダリティ（例えば、ＣＴ画像）に対応する合成画像に変換するための統計的学習モデルを訓練するための画像処理プログラムを含むことができ、代替的に、統計的学習モデルは、ＣＴ画像をＭＲＩ画像に変換することができる。
画像処理装置１１２は、メモリ装置１１６と、プロセッサ１１４と、通信インターフェース１１８とを含む。メモリ装置１１６は、オペレーティングシステム１４３、放射線治療計画１４２（例えば、オリジナルの治療計画、適応された治療計画など）、ソフトウェアプログラム１４４（例えば、人工知能、ディープラーニング、ニューラルネットワーク、放射線治療計画ソフトウェアなど）、プロセッサ１１４によって実行される他のコンピュータ実行可能な命令、例えば、本明細書の他の場所で示され、説明されているような１つまたはそれ以上の技術に対応するか、またはそれを使用するような命令を記憶する。一実施形態では、ソフトウェアプログラム１４４は、擬似ＣＴ画像のような合成画像を生成することにより、あるフォーマット（例えば、ＭＲＩ）の医用画像を別のフォーマット（例えば、ＣＴ）に変換することができる。例えば、ソフトウェアプログラム１４４は、あるモダリティ（例えば、ＭＲＩ画像）に対応する医用画像１４６を別のモダリティ（例えば、ＣＴ画像）に対応する合成画像に変換するための統計的学習モデルを訓練するための画像処理プログラムを含むことができ、代替的に、統計的学習モデルは、ＣＴ画像をＭＲＩ画像に変換することができる。
［００２８］
統計的学習モデルを用いてそのような画像合成を実行するための例示的な例は、以下のように、本明細書の他の場所に記載されている。別の実施形態では、ソフトウェアプログラム１４４は、対応する画像ボクセルおよび線量ボクセルがネットワークによって適切に関連付けられるように、患者画像（例えば、ＣＴ画像またはＭＲ画像）をその患者の線量分布（画像としても表される）と共に登録することができる。さらに別の実施形態では、ソフトウェアプログラム１４４は、符号付き距離関数または画像情報のいくつかの側面を強調する画像の処理済みバージョンのような患者画像の機能を代用することができる。このような関数は、ボクセルテクスチャのエッジや違いを強調したり、ニューラルネットワーク学習に有用なその他の構造的な側面を強調したりすることができる。別の実施形態では、ソフトウェアプログラム１４４は、線量情報のいくつかの側面を強調する線量分布の機能を代替することができる。このような関数は、標的の周囲の急峻な勾配を強調したり、ニューラルネットワーク学習に有用な他の構造的側面を強調したりすることがある。メモリ装置１１６は、医用画像１４６と患者データ１４５と放射線治療計画１４２の作成および実施に必要な他のデータを含むデータを記憶することができる。
統計的学習モデルを用いてそのような画像合成を実行するための例示的な例は、以下のように、本明細書の他の場所に記載されている。別の実施形態では、ソフトウェアプログラム１４４は、対応する画像ボクセルおよび線量ボクセルがネットワークによって適切に関連付けられるように、患者画像（例えば、ＣＴ画像またはＭＲ画像）をその患者の線量分布（画像としても表される）と共に登録することができる。さらに別の実施形態では、ソフトウェアプログラム１４４は、符号付き距離関数または画像情報のいくつかの側面を強調する画像の処理済みバージョンのような患者画像の機能を代用することができる。このような関数は、ボクセルテクスチャのエッジや違いを強調したり、ニューラルネットワーク学習に有用なその他の構造的な側面を強調したりすることができる。別の実施形態では、ソフトウェアプログラム１４４は、線量情報のいくつかの側面を強調する線量分布の機能を代替することができる。このような関数は、標的の周囲の急峻な勾配を強調したり、ニューラルネットワーク学習に有用な他の構造的側面を強調したりすることがある。メモリ装置１１６は、医用画像１４６と患者データ１４５と放射線治療計画１４２の作成および実施に必要な他のデータを含むデータを記憶することができる。
［００２９］
ソフトウェアプログラム１４４を格納するメモリ１１６に加えて、ソフトウェアプログラム１４４は、ハードドライブ、コンピュータディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＨＤ、ブルーレイＤＶＤ、ＵＳＢフラッシュドライブ、ＳＤカード、メモリスティック、または任意の他の適切な媒体などの取り外し可能なコンピュータ媒体に格納されてもよく、画像処理装置１１２にダウンロードされたときのソフトウェアプログラム１４４は、画像プロセッサ１１４によって実行されてもよいと考えられる。
ソフトウェアプログラム１４４を格納するメモリ１１６に加えて、ソフトウェアプログラム１４４は、ハードドライブ、コンピュータディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＨＤ、ブルーレイＤＶＤ、ＵＳＢフラッシュドライブ、ＳＤカード、メモリスティック、または任意の他の適切な媒体などの取り外し可能なコンピュータ媒体に格納されてもよく、画像処理装置１１２にダウンロードされたときのソフトウェアプログラム１４４は、画像プロセッサ１１４によって実行されてもよいと考えられる。
［００３０］
プロセッサ１１４は、メモリ装置１１６に通信的に結合することができ、プロセッサ１１４は、そこに記憶されたコンピュータ実行可能命令を実行するように構成することができる。プロセッサ１１４は、医用画像１４６をメモリ１１６に送信または受信することができる。例えば、プロセッサ１１４は、通信インターフェース１１８およびネットワーク１２０を介して画像取得装置１３２から医用画像１４６を受信してメモリ１１６に記憶させることができる。また、プロセッサ１１４は、通信インターフェース１１８を介して、メモリ１１６に格納された医用画像１４６を、データベース１２４または病院データベース１２６に格納されているネットワーク１２０に送信することができる。
プロセッサ１１４は、メモリ装置１１６に通信的に結合することができ、プロセッサ１１４は、そこに記憶されたコンピュータ実行可能命令を実行するように構成することができる。プロセッサ１１４は、医用画像１４６をメモリ１１６に送信または受信することができる。例えば、プロセッサ１１４は、通信インターフェース１１８およびネットワーク１２０を介して画像取得装置１３２から医用画像１４６を受信してメモリ１１６に記憶させることができる。また、プロセッサ１１４は、通信インターフェース１１８を介して、メモリ１１６に格納された医用画像１４６を、データベース１２４または病院データベース１２６に格納されているネットワーク１２０に送信することができる。
［００３１］
さらに、プロセッサ１１４は、放射線治療計画１４２を作成するために、医用画像１４６および患者データ１４５とともにソフトウェアプログラム１４４（例えば、治療計画ソフトウェア）を利用することができる。医用画像１４６は、患者の解剖学的領域、臓器、または関心のあるセグメンテーションデータのボリュームに関連付けられた画像データなどの情報を含む。患者データ１４５は、（１）機能的器官モデルデータ（例えば、直列対並列器官、適切な線量応答モデルなど）；（２）放射線量データ（例えば、線量−体積ヒストグラム（ＤＶＨ）情報など）；または（３）患者および治療経過に関する他の臨床情報（例えば、他の手術、化学療法、以前の放射線療法など）などの情報を含む。
さらに、プロセッサ１１４は、放射線治療計画１４２を作成するために、医用画像１４６および患者データ１４５とともにソフトウェアプログラム１４４（例えば、治療計画ソフトウェア）を利用することができる。医用画像１４６は、患者の解剖学的領域、臓器、または関心のあるセグメンテーションデータのボリュームに関連付けられた画像データなどの情報を含む。患者データ１４５は、（１）機能的器官モデルデータ（例えば、直列対並列器官、適切な線量応答モデルなど）；（２）放射線量データ（例えば、線量−体積ヒストグラム（ＤＶＨ）情報など）；または（３）患者および治療経過に関する他の臨床情報（例えば、他の手術、化学療法、以前の放射線療法など）などの情報を含む。
［００３２］
さらに、プロセッサ１１４は、例えばニューラルネットワークモデルによって使用される更新されたパラメータのような中間データを生成するためにソフトウェアプログラムを利用してもよく、または中間２Ｄまたは３Ｄ画像を生成してもよく、これらはその後メモリ１１６に格納されてもよい。プロセッサ１１４は、実行可能な放射線治療計画１４２を、通信インターフェース１１８を介してネットワーク１２０に送信してもよく、放射線治療計画は、患者を放射線で治療するために使用される放射線治療装置１３０に送信される。また、プロセッサ１１４は、画像変換、画像分割、ディープラーニング、ニューラルネットワーク、人工知能などの機能を実装するためのソフトウェアプログラム１４４を実行することができる。例えば、プロセッサ１１４は、医用画像を訓練するか、または輪郭を描くソフトウェアプログラム１４４を実行することができ、そのようなソフトウェア１４４は、実行されると、境界検出器を訓練することができ、形状辞書を利用することができる。
さらに、プロセッサ１１４は、例えばニューラルネットワークモデルによって使用される更新されたパラメータのような中間データを生成するためにソフトウェアプログラムを利用してもよく、または中間２Ｄまたは３Ｄ画像を生成してもよく、これらはその後メモリ１１６に格納されてもよい。プロセッサ１１４は、実行可能な放射線治療計画１４２を、通信インターフェース１１８を介してネットワーク１２０に送信してもよく、放射線治療計画は、患者を放射線で治療するために使用される放射線治療装置１３０に送信される。また、プロセッサ１１４は、画像変換、画像分割、ディープラーニング、ニューラルネットワーク、人工知能などの機能を実装するためのソフトウェアプログラム１４４を実行することができる。例えば、プロセッサ１１４は、医用画像を訓練するか、または輪郭を描くソフトウェアプログラム１４４を実行することができ、そのようなソフトウェア１４４は、実行されると、境界検出器を訓練することができ、形状辞書を利用することができる。
［００３３］
プロセッサ１１４は、処理装置であり、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）などの１つまたはそれ以上の汎用処理装置を含むことができる。より具体的には、プロセッサ２１４は、複雑命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令ワード（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであってもよい。また、プロセッサ１１４は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、システムオンチップ（ＳｏＣ）のような１つまたはそれ以上の特別な目的の処理装置により実装されてもよい。当業者には理解されるだろうが、いくつかの実施形態では、プロセッサ１１４は、汎用プロセッサではなく、特別目的プロセッサであってもよい。プロセッサ１１４は、Ｉｎｔｅｌ（登録商標）によって製造されたＰｅｎｔｉｕｍ（登録商標）、Ｃｏｒｅ（登録商標）、Ｘｅｏｎ（登録商標）、またはＩｔａｎｉｕｍ（登録商標）ファミリー、ＡＭＤ（登録商標）によって製造されたＴｕｒｉｏｎ（登録商標）、Ａｔｈｌｏｎ（登録商標）、Ｓｅｍｐｒｏｎ（登録商標）、Ｏｐｔｅｒｏｎ（登録商標）、ＦＸ（登録商標）、Ｐｈｅｎｏｎ（登録商標）ファミリー、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓによって製造された様々なプロセッサのいずれかのような１つまたはそれ以上の既知の処理装置を含むことができる。また、プロセッサ１１４は、Ｎｖｉｄｉａ（登録商標）によって製造されたＧｅＦｏｒｃｅ（登録商標）、Ｑｕａｄｒｏ（登録商標）、Ｔｅｓｌａ（登録商標）ファミリー、Ｉｎｔｅｌ（登録商標）によって製造されたＧＭＡ、Ｉｒｉｓ（登録商標）ファミリー、またはＡＭＤ（登録商標）によって製造されたＲａｄｅｏｎ（登録商標）ファミリーのような、グラフィック処理ユニットを含むことができる。また、プロセッサ１１４は、Ｉｎｔｅｌ（登録商標）によって製造されたＸｅｏｎ Ｐｈｉ（登録商標）ファミリーのような、加速処理ユニットを含むことができる。開示された実施形態は、本明細書に開示された方法を実行するために、大量のデータを特定し、分析し、維持し、生成し、および／または提供し、またはそのようなデータを操作するというコンピューティング要求を満たすように構成された任意のタイプのプロセッサ（複数可）に限定されるものではない。さらに、「プロセッサ」という用語は、１つまたはそれ以上のプロセッサ、例えば、マルチコア設計または複数のプロセッサのそれぞれがマルチコア設計を有するプロセッサを含むことができる。プロセッサ１１４は、メモリ１１６に記憶され、メモリ装置１１６からアクセスされるコンピュータプログラム命令のシーケンスを実行して、以下でより詳細に説明する様々な操作、プロセス、方法を実行することができる。
プロセッサ１１４は、処理装置であり、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）などの１つまたはそれ以上の汎用処理装置を含むことができる。より具体的には、プロセッサ２１４は、複雑命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令ワード（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであってもよい。また、プロセッサ１１４は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、システムオンチップ（ＳｏＣ）のような１つまたはそれ以上の特別な目的の処理装置により実装されてもよい。当業者には理解されるだろうが、いくつかの実施形態では、プロセッサ１１４は、汎用プロセッサではなく、特別目的プロセッサであってもよい。プロセッサ１１４は、Ｉｎｔｅｌ（登録商標）によって製造されたＰｅｎｔｉｕｍ（登録商標）、Ｃｏｒｅ（登録商標）、Ｘｅｏｎ（登録商標）、またはＩｔａｎｉｕｍ（登録商標）ファミリー、ＡＭＤ（登録商標）によって製造されたＴｕｒｉｏｎ（登録商標）、Ａｔｈｌｏｎ（登録商標）、Ｓｅｍｐｒｏｎ（登録商標）、Ｏｐｔｅｒｏｎ（登録商標）、ＦＸ（登録商標）、Ｐｈｅｎｏｎ（登録商標）ファミリー、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓによって製造された様々なプロセッサのいずれかのような１つまたはそれ以上の既知の処理装置を含むことができる。また、プロセッサ１１４は、Ｎｖｉｄｉａ（登録商標）によって製造されたＧｅＦｏｒｃｅ（登録商標）、Ｑｕａｄｒｏ（登録商標）、Ｔｅｓｌａ（登録商標）ファミリー、Ｉｎｔｅｌ（登録商標）によって製造されたＧＭＡ、Ｉｒｉｓ（登録商標）ファミリー、またはＡＭＤ（登録商標）によって製造されたＲａｄｅｏｎ（登録商標）ファミリーのような、グラフィック処理ユニットを含むことができる。また、プロセッサ１１４は、Ｉｎｔｅｌ（登録商標）によって製造されたＸｅｏｎ Ｐｈｉ（登録商標）ファミリーのような、加速処理ユニットを含むことができる。開示された実施形態は、本明細書に開示された方法を実行するために、大量のデータを特定し、分析し、維持し、生成し、および／または提供し、またはそのようなデータを操作するというコンピューティング要求を満たすように構成された任意のタイプのプロセッサ（複数可）に限定されるものではない。さらに、「プロセッサ」という用語は、１つまたはそれ以上のプロセッサ、例えば、マルチコア設計または複数のプロセッサのそれぞれがマルチコア設計を有するプロセッサを含むことができる。プロセッサ１１４は、メモリ１１６に記憶され、メモリ装置１１６からアクセスされるコンピュータプログラム命令のシーケンスを実行して、以下でより詳細に説明する様々な操作、プロセス、方法を実行することができる。
［００３４］
メモリ装置１１６は、医用画像１４６を記憶する。いくつかの実施形態では、医用画像１４６は、１つまたはそれ以上のＭＲＩ画像（例えば、２ＤＭＲＩ、３ＤＭＲＩ、２ＤストリーミングＭＲＩ、４ＤＭＲＩ、４ＤボリューメトリックＭＲＩ、４ＤシネＭＲＩなど）、機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩ、拡散ＭＲＩ）、コンピュータ断層撮影（ＣＴ）画像（例えば、２ＤＣＴ、コーンビームＣＴ、３ＤＣＴ、４ＤＣＴ）、超音波画像（例えば、２Ｄ超音波、３Ｄ超音波、４Ｄ超音波）、陽電子放出断層撮影（ＰＥＴ）画像、Ｘ線画像、透視画像、放射線治療ポータル画像、シングルフォトエミッションコンピュータ断層撮影（ＳＰＥＣＴ）画像、コンピュータで生成された合成画像（例えば、疑似ＣＴ画像）などを含み得る。さらに、医用画像１４６は、医用画像データ、例えば、訓練画像、およびグラウンドトゥルース画像、等高線画像、および線量画像を含むことができる。一実施形態では、医用画像１４６は、画像取得装置１３２から受信されてもよい。したがって、画像取得装置１３２は、ＭＲＩ撮像装置、ＣＴ撮像装置、ＰＥＴ撮像装置、超音波撮像装置、透視装置、ＳＰＥＣＴ撮像装置、リニアアクセラレータ及びＭＲＩ撮像装置を一体化したものなど、患者の医用画像を取得するための他の医用画像取得装置を含むことができる。医用画像１４６は、画像処理装置１１２が開示された実施形態と一致する動作を実行するために使用することができる任意のタイプのデータまたは任意のタイプのフォーマットで受信され、保存することができる。メモリ装置１１６は、読み取り専用メモリ（ＲＯＭ）、相変化ランダムアクセスメモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）のようなダイナミックランダムアクセスメモリ（ＤＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、スタティックメモリ（例えば、フラッシュメモリ、フラッシュディスク、スタティックランダムアクセスメモリ）、および、キャッシュ、レジスタ、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、またはその他の光学式ストレージ、カセットテープ、その他の磁気記憶装置のようなその他のタイプのランダムアクセスメモリ、のような非一時的なコンピュータ可読媒体、または、画像、データ、または、処理装置１１２または他の任意のタイプのコンピューティング装置によりアクセスすることができるコンピュータ実行可能命令（例えば、任意の形式で格納されている）を含む情報を格納するために使用できる他の任意の非一時的媒体を含むことができる。コンピュータプログラム命令は、プロセッサ１１４によってアクセスされ、ＲＯＭまたは他の任意の適切なメモリロケーションから読み出され、プロセッサ１１４によって実行されるためにＲＡＭにロードされ得る。例えば、メモリ１１６は、１つまたはそれ以上のソフトウェアアプリケーションを記憶することができる。メモリ１１６に記憶されたソフトウェアアプリケーションは、例えば、一般的なコンピュータシステムのためのオペレーティングシステム１４３、およびソフトウェア制御されたデバイスのためのオペレーティングシステム１４３を含むことができる。さらに、メモリ１１６は、プロセッサ１１４によって実行可能なソフトウェアアプリケーション全体を記憶することができるし、ソフトウェアアプリケーションの一部のみを記憶することができる。例えば、メモリ装置１１６は、１つまたはそれ以上の放射線治療計画１４２を記憶することができる。
メモリ装置１１６は、医用画像１４６を記憶する。いくつかの実施形態では、医用画像１４６は、１つまたはそれ以上のＭＲＩ画像（例えば、２ＤＭＲＩ、３ＤＭＲＩ、２ＤストリーミングＭＲＩ、４ＤＭＲＩ、４ＤボリューメトリックＭＲＩ、４ＤシネＭＲＩなど）、機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩ、拡散ＭＲＩ）、コンピュータ断層撮影（ＣＴ）画像（例えば、２ＤＣＴ、コーンビームＣＴ、３ＤＣＴ、４ＤＣＴ）、超音波画像（例えば、２Ｄ超音波、３Ｄ超音波、４Ｄ超音波）、陽電子放出断層撮影（ＰＥＴ）画像、Ｘ線画像、透視画像、放射線治療ポータル画像、シングルフォトエミッションコンピュータ断層撮影（ＳＰＥＣＴ）画像、コンピュータで生成された合成画像（例えば、疑似ＣＴ画像）などを含み得る。さらに、医用画像１４６は、医用画像データ、例えば、訓練画像、およびグラウンドトゥルース画像、等高線画像、および線量画像を含むことができる。一実施形態では、医用画像１４６は、画像取得装置１３２から受信されてもよい。したがって、画像取得装置１３２は、ＭＲＩ撮像装置、ＣＴ撮像装置、ＰＥＴ撮像装置、超音波撮像装置、透視装置、ＳＰＥＣＴ撮像装置、リニアアクセラレータ及びＭＲＩ撮像装置を一体化したものなど、患者の医用画像を取得するための他の医用画像取得装置を含むことができる。医用画像１４６は、画像処理装置１１２が開示された実施形態と一致する動作を実行するために使用することができる任意のタイプのデータまたは任意のタイプのフォーマットで受信され、保存することができる。メモリ装置１１６は、読み取り専用メモリ（ＲＯＭ）、相変化ランダムアクセスメモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）のようなダイナミックランダムアクセスメモリ（ＤＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、スタティックメモリ（例えば、フラッシュメモリ、フラッシュディスク、スタティックランダムアクセスメモリ）、および、キャッシュ、レジスタ、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、またはその他の光学式ストレージ、カセットテープ、その他の磁気記憶装置のようなその他のタイプのランダムアクセスメモリ、のような非一時的なコンピュータ可読媒体、または、画像、データ、または、処理装置１１２または他の任意のタイプのコンピューティング装置によりアクセスすることができるコンピュータ実行可能命令（例えば、任意の形式で格納されている）を含む情報を格納するために使用できる他の任意の非一時的媒体を含むことができる。コンピュータプログラム命令は、プロセッサ１１４によってアクセスされ、ＲＯＭまたは他の任意の適切なメモリロケーションから読み出され、プロセッサ１１４によって実行されるためにＲＡＭにロードされ得る。例えば、メモリ１１６は、１つまたはそれ以上のソフトウェアアプリケーションを記憶することができる。メモリ１１６に記憶されたソフトウェアアプリケーションは、例えば、一般的なコンピュータシステムのためのオペレーティングシステム１４３、およびソフトウェア制御されたデバイスのためのオペレーティングシステム１４３を含むことができる。さらに、メモリ１１６は、プロセッサ１１４によって実行可能なソフトウェアアプリケーション全体を記憶することができるし、ソフトウェアアプリケーションの一部のみを記憶することができる。例えば、メモリ装置１１６は、１つまたはそれ以上の放射線治療計画１４２を記憶することができる。
［００３５］
画像処理装置１１２は、通信インターフェース１１８を介してネットワーク１２０と通信することができ、この通信インターフェース１１８は、プロセッサ１１４およびメモリ１１６と通信的に結合することができる。通信インターフェース１１８は、画像処理装置１１２と放射線治療システム１００の構成要素との間の通信接続を提供することができる（例えば、外部装置とデータ交換することができる）。例えば、通信インターフェース１１８は、いくつかの実施形態では、ユーザインターフェース１３６に接続するための適切なインターフェース回路を有し、これは、ユーザが放射線治療システム１００に情報を入力するためのハードウェアキーボード、キーパッド、またはタッチスクリーンであり得る。
画像処理装置１１２は、通信インターフェース１１８を介してネットワーク１２０と通信することができ、この通信インターフェース１１８は、プロセッサ１１４およびメモリ１１６と通信的に結合することができる。通信インターフェース１１８は、画像処理装置１１２と放射線治療システム１００の構成要素との間の通信接続を提供することができる（例えば、外部装置とデータ交換することができる）。例えば、通信インターフェース１１８は、いくつかの実施形態では、ユーザインターフェース１３６に接続するための適切なインターフェース回路を有し、これは、ユーザが放射線治療システム１００に情報を入力するためのハードウェアキーボード、キーパッド、またはタッチスクリーンであり得る。
［００３６］
通信インターフェース１１８は、例えば、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、ＵＳＢコネクタ、パラレルコネクタ、高速データ伝送アダプタ（例えば、ファイバ、ＵＳＢ ３．０、Ｔｈｕｎｄｅｒｂｏｌｔなど）、無線ネットワークアダプタ（例えば、ＷｉＦｉアダプタなど）、通信アダプタ（例えば、３Ｇ、４Ｇ／ＬＴＥなど）などを含み得る。通信インターフェース１１８は、画像処理装置１１２がネットワーク１２０を介して、遠隔地に配置された構成要素などの他の機械および装置と通信することを可能にする１つまたは複数のデジタルまたはアナログ通信装置を含み得る。
通信インターフェース１１８は、例えば、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、ＵＳＢコネクタ、パラレルコネクタ、高速データ伝送アダプタ（例えば、ファイバ、ＵＳＢ ３．０、Ｔｈｕｎｄｅｒｂｏｌｔなど）、無線ネットワークアダプタ（例えば、ＷｉＦｉアダプタなど）、通信アダプタ（例えば、３Ｇ、４Ｇ／ＬＴＥなど）などを含み得る。通信インターフェース１１８は、画像処理装置１１２がネットワーク１２０を介して、遠隔地に配置された構成要素などの他の機械および装置と通信することを可能にする１つまたは複数のデジタルまたはアナログ通信装置を含み得る。
［００３７］
ネットワーク１２０は、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャなど）、クライアントサーバー、広域ネットワーク（ＷＡＮ）などの機能を提供し得る。例えば、ネットワーク１２０は、他のシステムＳ１（１３８）、Ｓ２（１４０）、Ｓ３（１４１）を含むＬＡＮまたはＷＡＮであり得る。システムＳ１、Ｓ２、Ｓ３は、画像処理装置１１２と同一であってもよいし、異なるシステムであってもよい。いくつかの実施形態では、ネットワーク１２０内の１つまたはそれ以上のシステムは、本明細書に記載された実施形態を協調的に実行する分散コンピューティング／シミュレーション環境を形成することができる。いくつかの実施形態では、１つまたはそれ以上のシステムＳ１、Ｓ２、Ｓ３は、ＣＴ画像（例えば、医用画像１４６）を取得するＣＴスキャナを含み得る。さらに、ネットワーク１２０は、インターネット１２２に接続され、インターネット上に遠隔地に存在するサーバーやクライアントと通信することができる。
ネットワーク１２０は、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャなど）、クライアントサーバー、広域ネットワーク（ＷＡＮ）などの機能を提供し得る。例えば、ネットワーク１２０は、他のシステムＳ１（１３８）、Ｓ２（１４０）、Ｓ３（１４１）を含むＬＡＮまたはＷＡＮであり得る。システムＳ１、Ｓ２、Ｓ３は、画像処理装置１１２と同一であってもよいし、異なるシステムであってもよい。いくつかの実施形態では、ネットワーク１２０内の１つまたはそれ以上のシステムは、本明細書に記載された実施形態を協調的に実行する分散コンピューティング／シミュレーション環境を形成することができる。いくつかの実施形態では、１つまたはそれ以上のシステムＳ１、Ｓ２、Ｓ３は、ＣＴ画像（例えば、医用画像１４６）を取得するＣＴスキャナを含み得る。さらに、ネットワーク１２０は、インターネット１２２に接続され、インターネット上に遠隔地に存在するサーバーやクライアントと通信することができる。
［００３８］
したがって、ネットワーク１２０は、画像処理装置１１２と、ＯＩＳ１２８、放射線治療装置１３０、画像取得装置１３２などの多数の他の様々なシステムおよび装置との間のデータ伝送を可能にする。さらに、ＯＩＳ１２８または画像取得装置１３２によって生成されたデータは、メモリ１１６、データベース１２４または病院データベース１２６に格納され得る。データは、必要に応じて、プロセッサ１１４によってアクセスされるために、通信インターフェース１１８を介して、ネットワーク１２０を介して送受信され得る。
したがって、ネットワーク１２０は、画像処理装置１１２と、ＯＩＳ１２８、放射線治療装置１３０、画像取得装置１３２などの多数の他の様々なシステムおよび装置との間のデータ伝送を可能にする。さらに、ＯＩＳ１２８または画像取得装置１３２によって生成されたデータは、メモリ１１６、データベース１２４または病院データベース１２６に格納され得る。データは、必要に応じて、プロセッサ１１４によってアクセスされるために、通信インターフェース１１８を介して、ネットワーク１２０を介して送受信され得る。
［００３９］
画像処理装置１１２は、ネットワーク１２０を介してデータベース１２４と通信し、データベース１２４に記憶されている複数の各種データを送受信することができる。例えば、データベース１２４は、放射線治療装置１３０、画像取得装置１３２、または放射線治療に関連する他の機械に関連する情報である機械データを含み得る。機械データ情報は、放射線ビームサイズ、アーク配置、ビームのオンオフ時間、機械パラメータ、セグメント、マルチリーフコリメータ（ＭＬＣ）構成、ガントリ速度、ＭＲＩパルスシーケンスなどを含み得る。データベース１２４は、記憶装置であり得、適切なデータベース管理ソフトウェアプログラムを備え得る。当業者であれば、データベース１２４が、中央または分散した方法のいずれかに配置された複数のデバイスを含んでもよいことを理解するであろう。
画像処理装置１１２は、ネットワーク１２０を介してデータベース１２４と通信し、データベース１２４に記憶されている複数の各種データを送受信することができる。例えば、データベース１２４は、放射線治療装置１３０、画像取得装置１３２、または放射線治療に関連する他の機械に関連する情報である機械データを含み得る。機械データ情報は、放射線ビームサイズ、アーク配置、ビームのオンオフ時間、機械パラメータ、セグメント、マルチリーフコリメータ（ＭＬＣ）構成、ガントリ速度、ＭＲＩパルスシーケンスなどを含み得る。データベース１２４は、記憶装置であり得、適切なデータベース管理ソフトウェアプログラムを備え得る。当業者であれば、データベース１２４が、中央または分散した方法のいずれかに配置された複数のデバイスを含んでもよいことを理解するであろう。
［００４０］
いくつかの実施形態では、データベース１２４は、プロセッサ読み取り可能な記憶媒体（図示せず）を含んでもよい。実施形態におけるプロセッサ読み取り可能な記憶媒体は単一の媒体であってもよいが、「プロセッサ読み取り可能な記憶媒体」という用語は、コンピュータ実行可能な命令またはデータの１つまたはそれ以上のセットを記憶する単一の媒体または複数の媒体（例えば、集中型または分散型のデータベース、または関連するキャッシュおよびサーバー）を含むものとされるべきである。「プロセッサ読み取り可能な記憶媒体」という用語は、また、プロセッサによって実行されるための一連の命令を記憶または符号化することが可能であり、プロセッサが本開示の方法論のうちの任意の１つまたはそれ以上の方法論を実行する原因となる任意の媒体を含むものと考えられる。したがって「プロセッサ読み取り可能な記憶媒体」という用語は、ソリッドステートメモリ、光学媒体および磁気媒体を含むが、これらに限定されないものとする。例えば、プロセッサ読み取り可能な記憶媒体は、１つまたはそれ以上の揮発性の、非可搬性の、または非揮発性の有形コンピュータ読み取り可能な媒体であってもよいし、それを含んでいてもよい。
いくつかの実施形態では、データベース１２４は、プロセッサ読み取り可能な記憶媒体（図示せず）を含んでもよい。実施形態におけるプロセッサ読み取り可能な記憶媒体は単一の媒体であってもよいが、「プロセッサ読み取り可能な記憶媒体」という用語は、コンピュータ実行可能な命令またはデータの１つまたはそれ以上のセットを記憶する単一の媒体または複数の媒体（例えば、集中型または分散型のデータベース、または関連するキャッシュおよびサーバー）を含むものとされるべきである。「プロセッサ読み取り可能な記憶媒体」という用語は、また、プロセッサによって実行されるための一連の命令を記憶または符号化することが可能であり、プロセッサが本開示の方法論のうちの任意の１つまたはそれ以上の方法論を実行する原因となる任意の媒体を含むものと考えられる。したがって「プロセッサ読み取り可能な記憶媒体」という用語は、ソリッドステートメモリ、光学媒体および磁気媒体を含むが、これらに限定されないものとする。例えば、プロセッサ読み取り可能な記憶媒体は、１つまたはそれ以上の揮発性の、非可搬性の、または非揮発性の有形コンピュータ読み取り可能な媒体であってもよいし、それを含んでいてもよい。
［００４１］
画像プロセッサ１１４は、データベース１２４と通信して、メモリ１１６に画像を読み込んだり、メモリ１１６からデータベース１２４に画像を格納したりすることができる。例えば、データベース１２４は、画像取得装置１３２から受信した複数の画像（例えば、３ＤＭＲＩ、４ＤＭＲＩ、２ＤＭＲＩスライス画像、ＣＴ画像、２Ｄ透視画像、Ｘ線画像、ＭＲスキャンまたはＣＴスキャンからの生データ、ＤＩＭＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）データなど）を記憶するように構成することができる。データベース１２４は、ソフトウェアプログラム１４４を実行するとき、または放射線治療計画１４２を作成するときに、画像プロセッサ１１４によって使用されるデータを格納することができる。データベース１２４は、ネットワークによって学習されたモデルを構成するネットワークパラメータを含む学習されたニューラルネットワークによって生成されたデータと、その結果として得られた予測データとを格納することができる。画像処理装置１１２は、データベース１２４、放射線治療装置１３０（例えば、ＭＲＩ−Ｌｉｎａｃ）、または画像取得装置１３２のいずれかから、画像データ１４６（例えば、２次元ＭＲＩスライス画像、ＣＴ画像、２次元透視画像、Ｘ線画像、３ＤＭＲＩ画像、４次元ＭＲＩ画像等）を受信して、治療計画１４２を生成することができる。
画像プロセッサ１１４は、データベース１２４と通信して、メモリ１１６に画像を読み込んだり、メモリ１１６からデータベース１２４に画像を格納したりすることができる。例えば、データベース１２４は、画像取得装置１３２から受信した複数の画像（例えば、３ＤＭＲＩ、４ＤＭＲＩ、２ＤＭＲＩスライス画像、ＣＴ画像、２Ｄ透視画像、Ｘ線画像、ＭＲスキャンまたはＣＴスキャンからの生データ、ＤＩＭＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）データなど）を記憶するように構成することができる。データベース１２４は、ソフトウェアプログラム１４４を実行するとき、または放射線治療計画１４２を作成するときに、画像プロセッサ１１４によって使用されるデータを格納することができる。データベース１２４は、ネットワークによって学習されたモデルを構成するネットワークパラメータを含む学習されたニューラルネットワークによって生成されたデータと、その結果として得られた予測データとを格納することができる。画像処理装置１１２は、データベース１２４、放射線治療装置１３０（例えば、ＭＲＩ−Ｌｉｎａｃ）、または画像取得装置１３２のいずれかから、画像データ１４６（例えば、２次元ＭＲＩスライス画像、ＣＴ画像、２次元透視画像、Ｘ線画像、３ＤＭＲＩ画像、４次元ＭＲＩ画像等）を受信して、治療計画１４２を生成することができる。
［００４２］
一実施形態では、放射線治療システム１００は、患者の医用画像（例えば、磁気共鳴画像（ＭＲＩ）画像、３次元ＭＲＩ、２次元ストリーミングＭＲＩ、４次元体積ＭＲＩ、コンピュータ断層撮影（ＣＴ）画像、コーンビームＣＴ、陽電子放出断層撮影（ＰＥＴ）画像、機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩ、拡散ＭＲＩ）、Ｘ線画像、透視画像、超音波画像、放射線治療ポータル画像、単写真放出コンピュータ断層撮影（ＳＰＥＣＴ）画像など）を取得する画像取得装置１３２を含むことができる。画像取得装置１３２は、例えば、ＭＲＩ撮像装置、ＣＴ撮像装置、ＰＥＴ撮像装置、超音波撮像装置、透視装置、ＳＰＥＣＴ撮像装置、または患者の１つまたはそれ以上の医用画像を取得するための他の適切な医用画像取得装置であってもよい。撮像取得装置１３２で取得した画像は、撮像データまたはテストデータのいずれかとしてデータベース１２４内に格納されていてもよい。一例として、画像取得装置１３２によって取得された画像は、画像処理装置１１２によって、医用画像データ１４６としてメモリ１１６に格納されてもよい。
一実施形態では、放射線治療システム１００は、患者の医用画像（例えば、磁気共鳴画像（ＭＲＩ）画像、３次元ＭＲＩ、２次元ストリーミングＭＲＩ、４次元体積ＭＲＩ、コンピュータ断層撮影（ＣＴ）画像、コーンビームＣＴ、陽電子放出断層撮影（ＰＥＴ）画像、機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩ、拡散ＭＲＩ）、Ｘ線画像、透視画像、超音波画像、放射線治療ポータル画像、単写真放出コンピュータ断層撮影（ＳＰＥＣＴ）画像など）を取得する画像取得装置１３２を含むことができる。画像取得装置１３２は、例えば、ＭＲＩ撮像装置、ＣＴ撮像装置、ＰＥＴ撮像装置、超音波撮像装置、透視装置、ＳＰＥＣＴ撮像装置、または患者の１つまたはそれ以上の医用画像を取得するための他の適切な医用画像取得装置であってもよい。撮像取得装置１３２で取得した画像は、撮像データまたはテストデータのいずれかとしてデータベース１２４内に格納されていてもよい。一例として、画像取得装置１３２によって取得された画像は、画像処理装置１１２によって、医用画像データ１４６としてメモリ１１６に格納されてもよい。
［００４３］
一実施形態では、例えば、画像取得装置１３２は、単一の装置として、放射線治療装置１３０と一体化されていてもよい（例えば、線形加速器と組み合わせたＭＲＩ装置、「ＭＲＩ−Ｌｉｎａｃ」とも呼ばれる）。このようなＭＲＩ−Ｌｉｎａｃは、例えば、放射線治療計画１４２に従って放射線治療を所定の標的に正確に指示するために、患者における標的臓器または標的腫瘍の位置を決定するために使用されてもよい。
一実施形態では、例えば、画像取得装置１３２は、単一の装置として、放射線治療装置１３０と一体化されていてもよい（例えば、線形加速器と組み合わせたＭＲＩ装置、「ＭＲＩ−Ｌｉｎａｃ」とも呼ばれる）。このようなＭＲＩ−Ｌｉｎａｃは、例えば、放射線治療計画１４２に従って放射線治療を所定の標的に正確に指示するために、患者における標的臓器または標的腫瘍の位置を決定するために使用されてもよい。
［００４４］
画像取得装置１３２は、関心のある領域（例えば、標的臓器、標的腫瘍、またはその両方）に対する患者の解剖学の１つまたはそれ以上の画像を取得するように構成されていてもよい。各画像、典型的には２Ｄ画像またはスライスは、１つまたはそれ以上のパラメータ（例えば、２Ｄスライスの厚さ、向き、位置など）を含んでもよい。一実施形態では、画像取得装置１３２は、任意の方向の２次元スライスを取得することができる。例えば、２次元スライスの配向は、サジタル配向、冠状配向、または軸方向配向を含んでもよい。プロセッサ１１４は、標的臓器または標的腫瘍を含むように、２次元スライスの厚さまたは向きなどの１つまたはそれ以上のパラメータを調整することができる。実施形態では、２Ｄスライスは、３ＤＭＲＩボリュームのような情報から決定されてもよい。このような２次元スライスは、患者が放射線治療を受けている間、例えば放射線治療装置１３０を使用している間に、画像取得装置１３２によって「ほぼリアルタイム」で取得されてもよい。「ほぼリアルタイム」とは、ミリ秒以下の持続時間でデータを取得することを意味する。
画像取得装置１３２は、関心のある領域（例えば、標的臓器、標的腫瘍、またはその両方）に対する患者の解剖学の１つまたはそれ以上の画像を取得するように構成されていてもよい。各画像、典型的には２Ｄ画像またはスライスは、１つまたはそれ以上のパラメータ（例えば、２Ｄスライスの厚さ、向き、位置など）を含んでもよい。一実施形態では、画像取得装置１３２は、任意の方向の２次元スライスを取得することができる。例えば、２次元スライスの配向は、サジタル配向、冠状配向、または軸方向配向を含んでもよい。プロセッサ１１４は、標的臓器または標的腫瘍を含むように、２次元スライスの厚さまたは向きなどの１つまたはそれ以上のパラメータを調整することができる。実施形態では、２Ｄスライスは、３ＤＭＲＩボリュームのような情報から決定されてもよい。このような２次元スライスは、患者が放射線治療を受けている間、例えば放射線治療装置１３０を使用している間に、画像取得装置１３２によって「ほぼリアルタイム」で取得されてもよい。「ほぼリアルタイム」とは、ミリ秒以下の持続時間でデータを取得することを意味する。
［００４５］
画像処理装置１１２は、１人またはそれ以上の患者のための放射線治療計画１４２を生成して記憶することができる。放射線治療計画１４２は、各患者に適用される特定の放射線量に関する情報を提供することができる。また、放射線治療計画１４２は、他の放射線治療情報、例えば、ビーム角度、線量−ヒストグラム−ボリューム情報、治療中に使用する放射線ビームの数、ビーム当たりの線量などを含んでいてもよい。
画像処理装置１１２は、１人またはそれ以上の患者のための放射線治療計画１４２を生成して記憶することができる。放射線治療計画１４２は、各患者に適用される特定の放射線量に関する情報を提供することができる。また、放射線治療計画１４２は、他の放射線治療情報、例えば、ビーム角度、線量−ヒストグラム−ボリューム情報、治療中に使用する放射線ビームの数、ビーム当たりの線量などを含んでいてもよい。
［００４６］
画像プロセッサ１１４は、スウェーデンのストックホルムにあるエレクタＡＢ社によって製造されたＭｏｎａｃｏ（登録商標）のような治療計画ソフトウェアのようなソフトウェアプログラム１４４を用いて、放射線治療計画１４２を生成することができる。放射線治療計画２４２を生成するために、画像プロセッサ１１４は、画像取得装置１３２（例えば、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、Ｘ線装置、超音波装置など）と通信して、患者の画像にアクセスし、腫瘍などの標的を画定するようにすることができる。いくつかの実施形態では、腫瘍を取り囲む健康な組織または腫瘍に近接している健康な組織のような、１つまたはそれ以上のリスク臓器（ＯＡＲ（複数可））を定義することが必要とされる場合がある。したがって、ＯＡＲが標的腫瘍に近い場合には、ＯＡＲのセグメンテーションが行われる。また、標的腫瘍がＯＡＲに近接している場合（例えば、膀胱や直腸に近接している前立腺）、腫瘍からＯＡＲをセグメンテーションすることにより、放射線治療システム１００は、標的内だけでなく、ＯＡＲ内の線量分布を検討することができる。
画像プロセッサ１１４は、スウェーデンのストックホルムにあるエレクタＡＢ社によって製造されたＭｏｎａｃｏ（登録商標）のような治療計画ソフトウェアのようなソフトウェアプログラム１４４を用いて、放射線治療計画１４２を生成することができる。放射線治療計画２４２を生成するために、画像プロセッサ１１４は、画像取得装置１３２（例えば、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、Ｘ線装置、超音波装置など）と通信して、患者の画像にアクセスし、腫瘍などの標的を画定するようにすることができる。いくつかの実施形態では、腫瘍を取り囲む健康な組織または腫瘍に近接している健康な組織のような、１つまたはそれ以上のリスク臓器（ＯＡＲ（複数可））を定義することが必要とされる場合がある。したがって、ＯＡＲが標的腫瘍に近い場合には、ＯＡＲのセグメンテーションが行われる。また、標的腫瘍がＯＡＲに近接している場合（例えば、膀胱や直腸に近接している前立腺）、腫瘍からＯＡＲをセグメンテーションすることにより、放射線治療システム１００は、標的内だけでなく、ＯＡＲ内の線量分布を検討することができる。
［００４７］
また、ＯＡＲから標的臓器や標的腫瘍を特定するために、放射線治療を受けている患者のＭＲＩ画像、ＣＴ画像、ＰＥＴ画像、ｆＭＲＩ画像、Ｘ線画像、超音波画像、放射線治療ポータル画像、ＳＰＥＣＴ画像等の医用画像を画像取得装置１３２により非侵襲的に取得して、身体部位の内部構造を明らかにするようにすることができる。医用画像からの情報に基づいて、該当する解剖学的部分の３次元構造を取得することができる。さらに、治療計画プロセスの間に、標的腫瘍の効率的な治療（例えば、標的腫瘍が効果的な治療のために十分な放射線量を受けるような）と、ＯＡＲ（複数可）の低照射（例えば、ＯＡＲ（複数可）が可能な限り低い放射線量を受ける）との間のバランスを達成するために、多くのパラメータが考慮されてもよい。考慮され得る他のパラメータには、標的臓器および標的腫瘍の位置、ＯＡＲの位置、およびＯＡＲに対する標的の動きが含まれる。例えば、ＭＲＩ画像またはＣＴ画像の各２Ｄ層またはスライス内に標的またはＯＡＲを輪郭付けし、各２Ｄ層またはスライスの輪郭を組み合わせることにより、３次元構造を得ることができる。輪郭は、手動で（例えば、スウェーデンのストックホルムにあるエレクタＡＢ社によって製造されたＭｏｎａｃｏ（登録商標）のようなプログラムを使用して、医師、線量測定士、または医療従事者によって）、または自動で（例えば、スウェーデンのストックホルムにあるエレクタＡＢ社によって製造されたアトラスベースの自動セグメンテーションソフトウェアＡＢＡＳ（登録商標）のようなプログラムを使用して）生成されてもよい。特定の実施形態では、標的腫瘍またはＯＡＲの３Ｄ構造は、本明細書の他の場所で示され、記載されているような１つまたはそれ以上の技術を使用するなど、治療計画ソフトウェアによって自動的に生成されてもよい。
また、ＯＡＲから標的臓器や標的腫瘍を特定するために、放射線治療を受けている患者のＭＲＩ画像、ＣＴ画像、ＰＥＴ画像、ｆＭＲＩ画像、Ｘ線画像、超音波画像、放射線治療ポータル画像、ＳＰＥＣＴ画像等の医用画像を画像取得装置１３２により非侵襲的に取得して、身体部位の内部構造を明らかにするようにすることができる。医用画像からの情報に基づいて、該当する解剖学的部分の３次元構造を取得することができる。さらに、治療計画プロセスの間に、標的腫瘍の効率的な治療（例えば、標的腫瘍が効果的な治療のために十分な放射線量を受けるような）と、ＯＡＲ（複数可）の低照射（例えば、ＯＡＲ（複数可）が可能な限り低い放射線量を受ける）との間のバランスを達成するために、多くのパラメータが考慮されてもよい。考慮され得る他のパラメータには、標的臓器および標的腫瘍の位置、ＯＡＲの位置、およびＯＡＲに対する標的の動きが含まれる。例えば、ＭＲＩ画像またはＣＴ画像の各２Ｄ層またはスライス内に標的またはＯＡＲを輪郭付けし、各２Ｄ層またはスライスの輪郭を組み合わせることにより、３次元構造を得ることができる。輪郭は、手動で（例えば、スウェーデンのストックホルムにあるエレクタＡＢ社によって製造されたＭｏｎａｃｏ（登録商標）のようなプログラムを使用して、医師、線量測定士、または医療従事者によって）、または自動で（例えば、スウェーデンのストックホルムにあるエレクタＡＢ社によって製造されたアトラスベースの自動セグメンテーションソフトウェアＡＢＡＳ（登録商標）のようなプログラムを使用して）生成されてもよい。特定の実施形態では、標的腫瘍またはＯＡＲの３Ｄ構造は、本明細書の他の場所で示され、記載されているような１つまたはそれ以上の技術を使用するなど、治療計画ソフトウェアによって自動的に生成されてもよい。
［００４８］
標的腫瘍およびＯＡＲ（複数可）の位置が特定され、境界が定められた後、線量測定者、医師または医療従事者は、標的腫瘍に適用される放射線の線量、および腫瘍に近接したＯＡＲ（例えば、左右の耳下腺、視神経、目、水晶体、内耳、脊髄、脳幹など）が受けることができる任意の最大線量を決定することができる。各解剖学的構造（例えば、標的腫瘍、ＯＡＲ）について放射線量が決定された後、所望の放射線量分布を達成するであろう１つまたはそれ以上の治療計画パラメータを決定するために、逆計画として知られているプロセスが実行されてもよい。治療計画パラメータの例としては、ボリュームデリネレーションパラメータ（volume delineation parameter）（例えば、標的ボリュームを定める、敏感な構造を輪郭付けする、など）、標的腫瘍およびＯＡＲの周囲のマージン、ビーム角度の選択、コリメータの設定、ビームオン時間が含まれる。逆計画プロセス中、医師は、ＯＡＲが受ける可能性のある放射線量の境界を設定する線量制約パラメータを定めること（例えば、腫瘍標的への全線量と任意のＯＡＲへのゼロ線量を定めること；脊髄、脳幹、および視覚構造が、それぞれ、４５Ｇｙ以下の線量、５５Ｇｙ以下の線量、および５４Ｇｙより低い線量を受けると定めること）ができる。逆計画の結果は、メモリ１１６またはデータベース１２４に記憶されている放射線治療計画１４２を構成することができる。これらの治療パラメータのいくつかは相関している可能性がある。例えば、治療計画を変更しようとして１つのパラメータ（例えば、標的腫瘍への投与量を増加させるなどの異なる目的のための重み）を調整すると、少なくとも１つの他のパラメータに影響を与え、その結果、異なる治療計画を開発される可能性がある。このように、画像処理装置１１２は、放射線治療装置１３０が患者に適切な放射線治療を提供するために、これらのパラメータを有する調整された放射線治療計画を生成することができる。
標的腫瘍およびＯＡＲ（複数可）の位置が特定され、境界が定められた後、線量測定者、医師または医療従事者は、標的腫瘍に適用される放射線の線量、および腫瘍に近接したＯＡＲ（例えば、左右の耳下腺、視神経、目、水晶体、内耳、脊髄、脳幹など）が受けることができる任意の最大線量を決定することができる。各解剖学的構造（例えば、標的腫瘍、ＯＡＲ）について放射線量が決定された後、所望の放射線量分布を達成するであろう１つまたはそれ以上の治療計画パラメータを決定するために、逆計画として知られているプロセスが実行されてもよい。治療計画パラメータの例としては、ボリュームデリネレーションパラメータ（volume delineation parameter）（例えば、標的ボリュームを定める、敏感な構造を輪郭付けする、など）、標的腫瘍およびＯＡＲの周囲のマージン、ビーム角度の選択、コリメータの設定、ビームオン時間が含まれる。逆計画プロセス中、医師は、ＯＡＲが受ける可能性のある放射線量の境界を設定する線量制約パラメータを定めること（例えば、腫瘍標的への全線量と任意のＯＡＲへのゼロ線量を定めること；脊髄、脳幹、および視覚構造が、それぞれ、４５Ｇｙ以下の線量、５５Ｇｙ以下の線量、および５４Ｇｙより低い線量を受けると定めること）ができる。逆計画の結果は、メモリ１１６またはデータベース１２４に記憶されている放射線治療計画１４２を構成することができる。これらの治療パラメータのいくつかは相関している可能性がある。例えば、治療計画を変更しようとして１つのパラメータ（例えば、標的腫瘍への投与量を増加させるなどの異なる目的のための重み）を調整すると、少なくとも１つの他のパラメータに影響を与え、その結果、異なる治療計画を開発される可能性がある。このように、画像処理装置１１２は、放射線治療装置１３０が患者に適切な放射線治療を提供するために、これらのパラメータを有する調整された放射線治療計画を生成することができる。
［００４９］
さらに、放射線治療システム１００は、表示装置１３４およびユーザインターフェース１３６を含むことができる。表示装置１３４は、医用画像、インターフェース情報、治療計画パラメータ（例えば、輪郭、線量、ビーム角度など）治療計画、目標、目標の定位または目標の追跡、または任意の関連情報をユーザに表示する１つまたはそれ以上の表示画面を含むことができる。ユーザインターフェース１３６は、キーボード、キーパッド、タッチスクリーン、またはユーザが放射線治療システム１００に情報を入力する任意のタイプのデバイスであってもよい。また、表示装置１３４およびユーザインターフェース１３６は、タブレットコンピュータ（例えば、アップル社製のｉＰａｄ（登録商標）、Ｌｅｎｏｖｏ社製のＴｈｉｎｋｐａｄ（登録商標）、サムソン社製のＧａｌａｘｙ（登録商標）など）のような装置に統合されていてもよい。
さらに、放射線治療システム１００は、表示装置１３４およびユーザインターフェース１３６を含むことができる。表示装置１３４は、医用画像、インターフェース情報、治療計画パラメータ（例えば、輪郭、線量、ビーム角度など）治療計画、目標、目標の定位または目標の追跡、または任意の関連情報をユーザに表示する１つまたはそれ以上の表示画面を含むことができる。ユーザインターフェース１３６は、キーボード、キーパッド、タッチスクリーン、またはユーザが放射線治療システム１００に情報を入力する任意のタイプのデバイスであってもよい。また、表示装置１３４およびユーザインターフェース１３６は、タブレットコンピュータ（例えば、アップル社製のｉＰａｄ（登録商標）、Ｌｅｎｏｖｏ社製のＴｈｉｎｋｐａｄ（登録商標）、サムソン社製のＧａｌａｘｙ（登録商標）など）のような装置に統合されていてもよい。
［００５０］
更に、放射線治療システム１００の構成要素のサブセットまたは全体は、仮想マシン（例えば、ＶＭＷａｒｅ（登録商標）、Ｈｙｐｅｒ−Ｖ（登録商標）など）として実装されてもよい。例えば、仮想マシンは、ハードウェアとして機能するソフトウェアであってもよい。したがって、仮想マシンは、少なくとも１つまたはそれ以上の仮想プロセッサ、１つまたはそれ以上の仮想メモリ、および一緒にハードウェアとして機能する１つまたはそれ以上の仮想通信インターフェースを含んでもよい。例えば、画像処理装置１１２、ＯＩＳ１２８、画像取得装置１３２は、仮想マシンとして実装されてもよい。利用可能な処理能力、メモリ、および計算能力を考慮して、放射線治療システム１００全体を仮想マシンとして実装することができる。
更に、放射線治療システム１００の構成要素のサブセットまたは全体は、仮想マシン（例えば、ＶＭＷａｒｅ（登録商標）、Ｈｙｐｅｒ−Ｖ（登録商標）など）として実装されてもよい。例えば、仮想マシンは、ハードウェアとして機能するソフトウェアであってもよい。したがって、仮想マシンは、少なくとも１つまたはそれ以上の仮想プロセッサ、１つまたはそれ以上の仮想メモリ、および一緒にハードウェアとして機能する１つまたはそれ以上の仮想通信インターフェースを含んでもよい。例えば、画像処理装置１１２、ＯＩＳ１２８、画像取得装置１３２は、仮想マシンとして実装されてもよい。利用可能な処理能力、メモリ、および計算能力を考慮して、放射線治療システム１００全体を仮想マシンとして実装することができる。
［００５１］
図２は、Ｘ線源または線形加速器などの放射線源、カウチ２１６、撮像検出器２１４、および放射線治療出力２０４を含み得る放射線治療装置２０２を含む実施例を示す。放射線治療装置２０２は、患者に治療を提供するために放射線ビーム２０８を放出するように構成することができる。放射線治療出力２０４は、マルチリーフコリメータ（ＭＬＣ）などの１つまたはそれ以上のアッテネータまたはコリメータを含むことができる。患者は、放射線治療計画に従って放射線治療線量を受けるために、治療用カウチ２１６に支持された領域２１２内に配置することができる。
図２は、Ｘ線源または線形加速器などの放射線源、カウチ２１６、撮像検出器２１４、および放射線治療出力２０４を含み得る放射線治療装置２０２を含む実施例を示す。放射線治療装置２０２は、患者に治療を提供するために放射線ビーム２０８を放出するように構成することができる。放射線治療出力２０４は、マルチリーフコリメータ（ＭＬＣ）などの１つまたはそれ以上のアッテネータまたはコリメータを含むことができる。患者は、放射線治療計画に従って放射線治療線量を受けるために、治療用カウチ２１６に支持された領域２１２内に配置することができる。
［００５２］
放射線治療出力２０４は、ガントリ２０６または他の機械的支持体に載せられまたは取り付けられることができる。１つまたはそれ以上のシャーシモータ（図示せず）は、カウチ２１６が治療領域に挿入されたときに、ガントリ２０６および放射線治療出力２０４をカウチ２１６の周りで回転させることができる。一実施例では、ガントリ２０６は、カウチ２１６が処置領域内に挿入されたときに、カウチ２１６の周りで連続的に回転可能とすることができる。別の実施例では、ガントリ２０６は、カウチ２１６が処置領域内に挿入されたときに、所定の位置まで回転することができる。例えば、ガントリ２０６は、治療出力２０４を軸（「Ａ」）の周りに回転させるように構成することができる。カウチ２１６および放射線治療出力２０４の両方は、横方向（「Ｔ」）に移動可能、横方向（「Ｌ」）に移動可能、または、横軸（「Ｒ」と表示）を中心とした回転のように１つまたは複数の周りの回転のように、患者の周りの他の位置に独立して移動可能である。１つまたはそれ以上のアクチュエータ（図示せず）に通信的に接続されたコントローラは、放射線治療計画に従って患者を放射線ビーム２０８内または放射線ビーム２０８外に適切に位置決めするために、カウチ２１６の動きまたは回転を制御することができる。例えば、カウチ２１６とガントリ２０６の両方が互いに独立して複数の自由度で移動可能であるため、放射線ビーム２０８が正確に腫瘍を標的とすることができるように患者を位置決めすることができる。
放射線治療出力２０４は、ガントリ２０６または他の機械的支持体に載せられまたは取り付けられることができる。１つまたはそれ以上のシャーシモータ（図示せず）は、カウチ２１６が治療領域に挿入されたときに、ガントリ２０６および放射線治療出力２０４をカウチ２１６の周りで回転させることができる。一実施例では、ガントリ２０６は、カウチ２１６が処置領域内に挿入されたときに、カウチ２１６の周りで連続的に回転可能とすることができる。別の実施例では、ガントリ２０６は、カウチ２１６が処置領域内に挿入されたときに、所定の位置まで回転することができる。例えば、ガントリ２０６は、治療出力２０４を軸（「Ａ」）の周りに回転させるように構成することができる。カウチ２１６および放射線治療出力２０４の両方は、横方向（「Ｔ」）に移動可能、横方向（「Ｌ」）に移動可能、または、横軸（「Ｒ」と表示）を中心とした回転のように１つまたは複数の周りの回転のように、患者の周りの他の位置に独立して移動可能である。１つまたはそれ以上のアクチュエータ（図示せず）に通信的に接続されたコントローラは、放射線治療計画に従って患者を放射線ビーム２０８内または放射線ビーム２０８外に適切に位置決めするために、カウチ２１６の動きまたは回転を制御することができる。例えば、カウチ２１６とガントリ２０６の両方が互いに独立して複数の自由度で移動可能であるため、放射線ビーム２０８が正確に腫瘍を標的とすることができるように患者を位置決めすることができる。
［００５３］
図２に示す座標系（軸Ａ、Ｔ、Ｌを含む）は、アイソセンタ２１０に位置する原点を有する。アイソセンタは、患者上または患者内の場所に所定の放射線量を送達するように、放射線治療ビーム２０８の中心軸が座標軸の原点と交差する位置として定義することができる。または、アイソセンタ２１０は、ガントリ２０６によって軸Ａの周りに位置決めされた放射線治療出力２０４の様々な回転位置から放射線治療ビーム２０８の中心軸が患者と交差する位置として定義することができる。
図２に示す座標系（軸Ａ、Ｔ、Ｌを含む）は、アイソセンタ２１０に位置する原点を有する。アイソセンタは、患者上または患者内の場所に所定の放射線量を送達するように、放射線治療ビーム２０８の中心軸が座標軸の原点と交差する位置として定義することができる。または、アイソセンタ２１０は、ガントリ２０６によって軸Ａの周りに位置決めされた放射線治療出力２０４の様々な回転位置から放射線治療ビーム２０８の中心軸が患者と交差する位置として定義することができる。
［００５４］
また、ガントリ２０６は、取り付けられた撮像検出器２１４を有し得る。撮像検出器２１４は、好ましくは、放射線源２０４に対向して配置することができ、一実施例では、撮像検出器２１４は、治療ビーム２０８のフィールド内に配置することができる。撮像検出器２１４は、治療ビーム２０８とのアライメントを維持するように、好ましくは放射線治療出力２０４に対向するガントリ２０６に取り付けられ得る。撮像検出器２１４は、ガントリ２０６の回転に伴って回転軸を中心に回転する。一実施形態では、撮像検出器２１４は、フラットパネル検出器（例えば、直接検出器またはシンチレータ検出器）とすることができる。このように、撮像検出器２１４は、治療ビーム２０８を監視するために使用することができ、または、撮像検出器２１４は、ポータルイメージングのような患者の解剖学的な撮像のために使用することができる。放射線治療装置２０２の制御回路は、放射線治療システム内に統合されてもよいし、放射線治療システムとは別個であってもよい。
また、ガントリ２０６は、取り付けられた撮像検出器２１４を有し得る。撮像検出器２１４は、好ましくは、放射線源２０４に対向して配置することができ、一実施例では、撮像検出器２１４は、治療ビーム２０８のフィールド内に配置することができる。撮像検出器２１４は、治療ビーム２０８とのアライメントを維持するように、好ましくは放射線治療出力２０４に対向するガントリ２０６に取り付けられ得る。撮像検出器２１４は、ガントリ２０６の回転に伴って回転軸を中心に回転する。一実施形態では、撮像検出器２１４は、フラットパネル検出器（例えば、直接検出器またはシンチレータ検出器）とすることができる。このように、撮像検出器２１４は、治療ビーム２０８を監視するために使用することができ、または、撮像検出器２１４は、ポータルイメージングのような患者の解剖学的な撮像のために使用することができる。放射線治療装置２０２の制御回路は、放射線治療システム内に統合されてもよいし、放射線治療システムとは別個であってもよい。
［００５５］
例示的な実施例では、カウチ２１６、治療出力２０４、またはガントリ２０６のうちの１つまたはそれ以上が自動的に位置決めされ、治療出力２０４は、特定の治療送達インスタンスのための指定された用量に従って治療ビーム２０８を確立することができる。ガントリ２０６、カウチ２１６、または治療出力２０４の１つまたはそれ以上の異なる向きまたは位置を使用するような、放射線治療計画に応じて、治療送達のシーケンスを指定することができる。治療の送達は、順次行うことができるが、アイソセンタ２１０のような患者上または患者内の所望の治療部位で交差することができる。所定の累積線量の放射線治療は、それによって治療部位に送達され得る一方で、治療部位の近くの組織への損傷を減少させるか、または回避することができる。
例示的な実施例では、カウチ２１６、治療出力２０４、またはガントリ２０６のうちの１つまたはそれ以上が自動的に位置決めされ、治療出力２０４は、特定の治療送達インスタンスのための指定された用量に従って治療ビーム２０８を確立することができる。ガントリ２０６、カウチ２１６、または治療出力２０４の１つまたはそれ以上の異なる向きまたは位置を使用するような、放射線治療計画に応じて、治療送達のシーケンスを指定することができる。治療の送達は、順次行うことができるが、アイソセンタ２１０のような患者上または患者内の所望の治療部位で交差することができる。所定の累積線量の放射線治療は、それによって治療部位に送達され得る一方で、治療部位の近くの組織への損傷を減少させるか、または回避することができる。
［００５６］
図２の例は、一般に、患者に放射線治療を提供するように構成された放射線治療装置の一実施形態を示しており、放射線治療出力が中心軸（例えば、軸「Ａ」）を中心に回転され得る構成を含む。他の放射線治療の出力構成を使用することができる。例えば、放射線治療出力は、複数の自由度を有するロボットアームまたはマニピュレータに取り付けることができる。更に別の実施形態では、治療出力は、患者から横方向に分離された領域に位置するように固定され、患者を支持するプラットフォームは、放射線治療アイソセンタを患者内の特定の標的軌跡に整列させるために使用され得る。別の実施形態では、放射線治療装置は、線形加速器と画像取得装置との組み合わせとすることができる。いくつかの実施形態では、画像取得装置は、当業者により認識されるように、ＭＲＩ、Ｘ線、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、光断層撮影、蛍光撮影、超音波撮影、または放射線治療ポータル撮像装置などであってもよい。
図２の例は、一般に、患者に放射線治療を提供するように構成された放射線治療装置の一実施形態を示しており、放射線治療出力が中心軸（例えば、軸「Ａ」）を中心に回転され得る構成を含む。他の放射線治療の出力構成を使用することができる。例えば、放射線治療出力は、複数の自由度を有するロボットアームまたはマニピュレータに取り付けることができる。更に別の実施形態では、治療出力は、患者から横方向に分離された領域に位置するように固定され、患者を支持するプラットフォームは、放射線治療アイソセンタを患者内の特定の標的軌跡に整列させるために使用され得る。別の実施形態では、放射線治療装置は、線形加速器と画像取得装置との組み合わせとすることができる。いくつかの実施形態では、画像取得装置は、当業者により認識されるように、ＭＲＩ、Ｘ線、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、光断層撮影、蛍光撮影、超音波撮影、または放射線治療ポータル撮像装置などであってもよい。
［００５７］
図３は、少なくとも１つの統計的学習モデル（例えば、畳み込みニューラルネットワーク（ＣＮＮ））の訓練を実行し、ＣＮＮモデルベースの画像合成技術を使用して合成画像を提供するためのシステム３００のアーキテクチャを含む例を示す。システム３００は、図１に示すように、放射線治療システム１００の一部として含まれてもよく、または、図３のシステム３００は、そのような放射線治療システムに通信的に結合されてもよい。図３に示すように、システム３００は、訓練段階と画像合成段階の２つの段階を実行するためのコンポーネントを含むことができる。訓練段階を実行するために、システム３００は、訓練画像データベース３０１とＣＮＮモデル訓練ユニット３０２とを含むことができる。合成を行うために、システム３００は、ＣＮＮモデルに基づく画像合成ユニット３０３と医用画像データベース３０４とを含むことができる。いくつかの実施形態では、システム３００は、図３に示された構成要素より多くの構成要素またはより少ない構成要素を含むことができる。例えば、画像合成用のＣＮＮモデルが予め訓練されて提供されている場合、システム３００は、ＣＮＮＮモデルに基づく画像合成ユニット３０３と医用画像データベース３０４のみを含むことができる。システム３００は、ネットワーク３０５を任意に含むことができる。いくつかの実施形態では、ネットワーク３０５は、有線データ通信システムまたは装置に置き換えることができる。
図３は、少なくとも１つの統計的学習モデル（例えば、畳み込みニューラルネットワーク（ＣＮＮ））の訓練を実行し、ＣＮＮモデルベースの画像合成技術を使用して合成画像を提供するためのシステム３００のアーキテクチャを含む例を示す。システム３００は、図１に示すように、放射線治療システム１００の一部として含まれてもよく、または、図３のシステム３００は、そのような放射線治療システムに通信的に結合されてもよい。図３に示すように、システム３００は、訓練段階と画像合成段階の２つの段階を実行するためのコンポーネントを含むことができる。訓練段階を実行するために、システム３００は、訓練画像データベース３０１とＣＮＮモデル訓練ユニット３０２とを含むことができる。合成を行うために、システム３００は、ＣＮＮモデルに基づく画像合成ユニット３０３と医用画像データベース３０４とを含むことができる。いくつかの実施形態では、システム３００は、図３に示された構成要素より多くの構成要素またはより少ない構成要素を含むことができる。例えば、画像合成用のＣＮＮモデルが予め訓練されて提供されている場合、システム３００は、ＣＮＮＮモデルに基づく画像合成ユニット３０３と医用画像データベース３０４のみを含むことができる。システム３００は、ネットワーク３０５を任意に含むことができる。いくつかの実施形態では、ネットワーク３０５は、有線データ通信システムまたは装置に置き換えることができる。
［００５８］
いくつかの実施形態では、システム３００の様々な構成要素は、互いに遠隔に配置することができるし、異なる空間に配置することもできるし、図３に示すように、ネットワーク３０５を介して接続することができる。いくつかの実施形態では、システム３００の特定の構成要素は、同じ部位に、または１つの装置内に配置することができる。例えば、訓練画像データベース３０１は、ＣＮＮモデル訓練ユニット３０２と共にその場に配置することができるし、ＣＮＮモデル訓練ユニット３０２の一部とすることができる。別の実施例として、ＣＮＮモデル訓練ユニット３０２と画像合成ユニット３０３は、同一のコンピュータまたは処理装置内に配置することができる。
いくつかの実施形態では、システム３００の様々な構成要素は、互いに遠隔に配置することができるし、異なる空間に配置することもできるし、図３に示すように、ネットワーク３０５を介して接続することができる。いくつかの実施形態では、システム３００の特定の構成要素は、同じ部位に、または１つの装置内に配置することができる。例えば、訓練画像データベース３０１は、ＣＮＮモデル訓練ユニット３０２と共にその場に配置することができるし、ＣＮＮモデル訓練ユニット３０２の一部とすることができる。別の実施例として、ＣＮＮモデル訓練ユニット３０２と画像合成ユニット３０３は、同一のコンピュータまたは処理装置内に配置することができる。
［００５９］
図３に示すように、ＣＮＮモデル訓練ユニット３０２は、訓練画像データベース３０１と通信して、訓練画像の１つまたはそれ以上のセットを受信することができる。訓練画像データベース３０１に格納されている訓練画像のセットは、医用画像データベース、例えば、放射線治療セッション中に以前に取得された医用画像を含む医用画像データベースから取得することができる。訓練画像のセットは、３Ｄ撮像データまたは２Ｄ撮像データを含むことができる。３Ｄ撮像データは、隣接する２Ｄ画像の１つまたはそれ以上の連続したスタックに選択的に分割される。各スタック内の隣接する２Ｄ画像のカウントは、３Ｄ画像のサイズ、ＣＮＮモデルの特定のフレームワーク、２Ｄ画像に直交する軸に沿った隣接する２Ｄ画像内の解剖学的構造の関係、または他の要因を考慮して、様々な要因に基づいて決定することができる。
図３に示すように、ＣＮＮモデル訓練ユニット３０２は、訓練画像データベース３０１と通信して、訓練画像の１つまたはそれ以上のセットを受信することができる。訓練画像データベース３０１に格納されている訓練画像のセットは、医用画像データベース、例えば、放射線治療セッション中に以前に取得された医用画像を含む医用画像データベースから取得することができる。訓練画像のセットは、３Ｄ撮像データまたは２Ｄ撮像データを含むことができる。３Ｄ撮像データは、隣接する２Ｄ画像の１つまたはそれ以上の連続したスタックに選択的に分割される。各スタック内の隣接する２Ｄ画像のカウントは、３Ｄ画像のサイズ、ＣＮＮモデルの特定のフレームワーク、２Ｄ画像に直交する軸に沿った隣接する２Ｄ画像内の解剖学的構造の関係、または他の要因を考慮して、様々な要因に基づいて決定することができる。
［００６０］
開示された実施形態によれば、訓練画像は、ＭＲＩ、機能的ＭＲＩ（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩおよび拡散ＭＲＩ）、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、Ｘ線、光断層撮影、蛍光撮影、超音波撮影、および放射線治療ポータル撮影などを含む様々な撮像モダリティを使用して取得される。いくつかの実施形態では、訓練データは、オンコロジー情報システム（Oncology Information System）または他の集中リポジトリ（centralized repository）から収集することができる例えば、訓練画像は、図１の画像取得装置２３２によって取得することができる。
開示された実施形態によれば、訓練画像は、ＭＲＩ、機能的ＭＲＩ（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩおよび拡散ＭＲＩ）、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、Ｘ線、光断層撮影、蛍光撮影、超音波撮影、および放射線治療ポータル撮影などを含む様々な撮像モダリティを使用して取得される。いくつかの実施形態では、訓練データは、オンコロジー情報システム（Oncology Information System）または他の集中リポジトリ（centralized repository）から収集することができる例えば、訓練画像は、図１の画像取得装置２３２によって取得することができる。
［００６１］
図３に戻って、ＣＮＮモデル訓練ユニット３０２は、訓練画像データベース３０１から受信した訓練画像を用いて、第１の撮像モダリティタイプに対応する撮像データを受信し、別の、第２の撮像モダリティタイプに対応する撮像データを合成するＣＮＮモデルを訓練することができる。例えば、訓練アーキテクチャは、（敵対的訓練アーキテクチャに対応する）図４に示すような側面を含むことができる。ＣＮＮモデル訓練ユニット３０２は、プロセッサと非一過性のコンピュータ可読媒体とを含むことができる。プロセッサは、コンピュータ読み取り可能な媒体に記憶された訓練処理の命令を実行することにより、訓練を実施することができる。ＣＮＮモデル訓練ユニット３０２は、訓練画像データベース３０１、ネットワーク３０５、またはユーザインターフェース（図示せず）と通信するための入出力インタフェースを追加的に含み得る。ユーザインターフェースは、例示的な実施例として、訓練画像のセットを選択するため、訓練プロセスの１つまたはそれ以上のパラメータを調整するため、またはＣＮＮモデルのフレームワークを選択または修正するために使用することができる。ＣＮＮモデル訓練ユニット３０２は、訓練処理を実行するソフトウェアによって特別にプログラムされたハードウェアに実装することができる。
図３に戻って、ＣＮＮモデル訓練ユニット３０２は、訓練画像データベース３０１から受信した訓練画像を用いて、第１の撮像モダリティタイプに対応する撮像データを受信し、別の、第２の撮像モダリティタイプに対応する撮像データを合成するＣＮＮモデルを訓練することができる。例えば、訓練アーキテクチャは、（敵対的訓練アーキテクチャに対応する）図４に示すような側面を含むことができる。ＣＮＮモデル訓練ユニット３０２は、プロセッサと非一過性のコンピュータ可読媒体とを含むことができる。プロセッサは、コンピュータ読み取り可能な媒体に記憶された訓練処理の命令を実行することにより、訓練を実施することができる。ＣＮＮモデル訓練ユニット３０２は、訓練画像データベース３０１、ネットワーク３０５、またはユーザインターフェース（図示せず）と通信するための入出力インタフェースを追加的に含み得る。ユーザインターフェースは、例示的な実施例として、訓練画像のセットを選択するため、訓練プロセスの１つまたはそれ以上のパラメータを調整するため、またはＣＮＮモデルのフレームワークを選択または修正するために使用することができる。ＣＮＮモデル訓練ユニット３０２は、訓練処理を実行するソフトウェアによって特別にプログラムされたハードウェアに実装することができる。
［００６２］
画像合成ユニット３０３は、訓練された少なくとも１つのＣＮＮモデルをＣＮＮモデル訓練ユニット３０２から受け取ることができる。画像合成ユニット３０３は、（図１のシステム１００に関連して述べたように）プロセッサと、非一時的のコンピュータ読み取り可能な媒体とを含み得る。プロセッサは、媒体に記憶された指示に従って、撮像情報の合成を行うことができる。画像合成ユニット３０３は、さらに、医用画像データベース３０４、ネットワーク３０５、またはユーザインターフェースと通信するための入出力インターフェースを含むことができる。ユーザインターフェースは、画像合成処理を開始すること、入力画像または出力画像を表示すること、または入力画像データまたは合成された出力画像データに基づいてさらなる解析を実行することを含む、第１の撮像モダリティタイプから第２の撮像モダリティタイプに変換するための画像情報を選択するために使用される。ＣＮＮベースの画像合成を実行するための様々な技術が、図４、図５、図６、図７、または図８に示され、記載されているように、本明細書の他の場所の実施例に関連して記載されている。
画像合成ユニット３０３は、訓練された少なくとも１つのＣＮＮモデルをＣＮＮモデル訓練ユニット３０２から受け取ることができる。画像合成ユニット３０３は、（図１のシステム１００に関連して述べたように）プロセッサと、非一時的のコンピュータ読み取り可能な媒体とを含み得る。プロセッサは、媒体に記憶された指示に従って、撮像情報の合成を行うことができる。画像合成ユニット３０３は、さらに、医用画像データベース３０４、ネットワーク３０５、またはユーザインターフェースと通信するための入出力インターフェースを含むことができる。ユーザインターフェースは、画像合成処理を開始すること、入力画像または出力画像を表示すること、または入力画像データまたは合成された出力画像データに基づいてさらなる解析を実行することを含む、第１の撮像モダリティタイプから第２の撮像モダリティタイプに変換するための画像情報を選択するために使用される。ＣＮＮベースの画像合成を実行するための様々な技術が、図４、図５、図６、図７、または図８に示され、記載されているように、本明細書の他の場所の実施例に関連して記載されている。
［００６３］
画像合成ユニット３０３は、異なる出力画像データの合成に使用するための入力画像データを受信するために、医用画像データベース３０４と通信することができる。医用画像データベース３０４に格納されている画像は、例えば、放射線治療セッションの２次元画像または３次元画像を含む医用画像データベースから取得することができる。本明細書に記載されているように、画像データは、図２に示されている画像取得装置２３２のような医用画像装置によって取得された２次元投影画像から再構成することができる。図３に戻り、画像合成ユニット３０３は、放射線治療計画または放射線療法送達のサポートのような、更なる処理で使用するために、１つまたはそれ以上の合成画像３０６を提供することができる。一実施例は、画像合成ユニット３０３が出力した画像３０６は、訓練画像データベース４０１内に格納することができ、統計的学習モデルを更に訓練させるためのように他の方法で使用することができる。
画像合成ユニット３０３は、異なる出力画像データの合成に使用するための入力画像データを受信するために、医用画像データベース３０４と通信することができる。医用画像データベース３０４に格納されている画像は、例えば、放射線治療セッションの２次元画像または３次元画像を含む医用画像データベースから取得することができる。本明細書に記載されているように、画像データは、図２に示されている画像取得装置２３２のような医用画像装置によって取得された２次元投影画像から再構成することができる。図３に戻り、画像合成ユニット３０３は、放射線治療計画または放射線療法送達のサポートのような、更なる処理で使用するために、１つまたはそれ以上の合成画像３０６を提供することができる。一実施例は、画像合成ユニット３０３が出力した画像３０６は、訓練画像データベース４０１内に格納することができ、統計的学習モデルを更に訓練させるためのように他の方法で使用することができる。
［００６４］
画像合成ユニット３０３を用いて翻訳される撮像データは、ＭＲＩ、機能的ＭＲＩ（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩ、拡散ＭＲＩ）、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、Ｘ線、光断層撮像、蛍光撮像、超音波撮像、放射線治療用ポータル撮像等の様々な撮像モダリティを用いて取得することができる。いくつかの実施形態では、医用画像データベース３０４は、画像合成ユニット３０３の一体的な部分であってもよいし、放射線治療室などの画像合成ユニット３０３と同じ場所に配置されていてもよい。ネットワーク３０５は、システム３００内の上述した構成要素のいずれかの間の接続を提供することができる。例えば、ネットワーク３０５は、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャ）、クライアントサーバー、ワイドエリアネットワーク（ＷＡＮ）等で有り得る。
画像合成ユニット３０３を用いて翻訳される撮像データは、ＭＲＩ、機能的ＭＲＩ（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩ、拡散ＭＲＩ）、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、Ｘ線、光断層撮像、蛍光撮像、超音波撮像、放射線治療用ポータル撮像等の様々な撮像モダリティを用いて取得することができる。いくつかの実施形態では、医用画像データベース３０４は、画像合成ユニット３０３の一体的な部分であってもよいし、放射線治療室などの画像合成ユニット３０３と同じ場所に配置されていてもよい。ネットワーク３０５は、システム３００内の上述した構成要素のいずれかの間の接続を提供することができる。例えば、ネットワーク３０５は、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャ）、クライアントサーバー、ワイドエリアネットワーク（ＷＡＮ）等で有り得る。
［００６５］
図４は、ＣＮＮモデルベースの画像合成技術を使用して合成画像４２８を提供するためのような、少なくとも１つの統計的学習モデル（例えば、生成器畳み込みニューラルネットワーク（ＣＮＮ）、「Ｇ１」４２０）の訓練を実行するための敵対的訓練アーキテクチャ４００を含む例を例示している。図４に例示的に示された訓練アーキテクチャ４００は、「ペア」画像情報の使用を必要としない。訓練に使用される入力撮像データ４１４は、ＭＲ撮像データのような第１の撮像モダリティタイプに対応する画像（例えば、画像４１６）を含むことができる。また、ペアされていない撮像データ４２２は、登録する必要のない画像（例えば、画像４２６）を含むように、異なる第２の撮像モダリティタイプに対応するように、または入力撮像データ４１４内の対応する画像と整列させるように、使用することができる。
図４は、ＣＮＮモデルベースの画像合成技術を使用して合成画像４２８を提供するためのような、少なくとも１つの統計的学習モデル（例えば、生成器畳み込みニューラルネットワーク（ＣＮＮ）、「Ｇ１」４２０）の訓練を実行するための敵対的訓練アーキテクチャ４００を含む例を例示している。図４に例示的に示された訓練アーキテクチャ４００は、「ペア」画像情報の使用を必要としない。訓練に使用される入力撮像データ４１４は、ＭＲ撮像データのような第１の撮像モダリティタイプに対応する画像（例えば、画像４１６）を含むことができる。また、ペアされていない撮像データ４２２は、登録する必要のない画像（例えば、画像４２６）を含むように、異なる第２の撮像モダリティタイプに対応するように、または入力撮像データ４１４内の対応する画像と整列させるように、使用することができる。
［００６６］
本明細書の他の箇所で述べたように、統計的学習モデルは、「ペア（paired）」撮像データに依存しない方法で訓練されてもよい。訓練コンテキストにおける「ペア」画像データは、第１の撮像モダリティタイプに対応する第１の撮像データと、異なる第２の撮像モダリティタイプに対応する関連する第２の「ペア」画像データとのペアリングを意味する。「ペア」方式では、第２の撮像データは、第１の撮像データからのそれぞれの画像に可能な限り密接に対応するように整列（例えば、登録）されているか、またはそうでなければ獲得された画像を含む。これに対し、「アンペア（unpaired）」撮像データの使用は、第１の撮像データに使用される訓練画像と、異なる第２の撮像データとの間の整列または密接な対応を必要としない。例えば、第１の撮像データは、第１の患者セットに関連しているか、または、そうでなければ対応していればよく、第２の撮像データは、部分的に異なるまたは全く異なる患者セットに関連しているか、またはそうでなければ対応していればよい。
本明細書の他の箇所で述べたように、統計的学習モデルは、「ペア（paired）」撮像データに依存しない方法で訓練されてもよい。訓練コンテキストにおける「ペア」画像データは、第１の撮像モダリティタイプに対応する第１の撮像データと、異なる第２の撮像モダリティタイプに対応する関連する第２の「ペア」画像データとのペアリングを意味する。「ペア」方式では、第２の撮像データは、第１の撮像データからのそれぞれの画像に可能な限り密接に対応するように整列（例えば、登録）されているか、またはそうでなければ獲得された画像を含む。これに対し、「アンペア（unpaired）」撮像データの使用は、第１の撮像データに使用される訓練画像と、異なる第２の撮像データとの間の整列または密接な対応を必要としない。例えば、第１の撮像データは、第１の患者セットに関連しているか、または、そうでなければ対応していればよく、第２の撮像データは、部分的に異なるまたは全く異なる患者セットに関連しているか、またはそうでなければ対応していればよい。
［００６７］
一般的に、アンペア（unpaired）撮像データは、はるかに簡単に取得することができる。例示的な実施例として、各ＣＴ画像がよく整列された、対応するＭＲ画像を有するという要件が存在しない場合には、多くのＣＴ画像および多くの（例えば、数１００またはそれ以上）ＭＲ画像を訓練に使用することができ、または、その逆も同様である。
一般的に、アンペア（unpaired）撮像データは、はるかに簡単に取得することができる。例示的な実施例として、各ＣＴ画像がよく整列された、対応するＭＲ画像を有するという要件が存在しない場合には、多くのＣＴ画像および多くの（例えば、数１００またはそれ以上）ＭＲ画像を訓練に使用することができ、または、その逆も同様である。
［００６８］
図４の例では、アーキテクチャ４００は、単一の発生器畳み込みニューラルネットワーク（ＣＮＮ）４２０「Ｇ１」と、単一の識別器畳み込みニューラルネットワーク４３０「Ｄ１」とを含むことができる。アーキテクチャ４００について示された敵対的スキームにおいて、生成器４２０は、その入力（例えば、画像４１６）をあるドメイン（例えば、あるモダリティタイプ）から別のモダリティタイプ（例えば、合成画像４１８のような合成された撮像データ４２８を生成するの）にマッピングまたは変換する責任を負う。例示的な例として、入力画像４１６はＭＲ画像であり、出力画像４１８は「擬似」ＣＴ画像または合成ＣＴ（ＳＣＴ）画像である。識別器４３０は、実際の（actual）または「現実の（real）」ＣＴ撮像データ（例えば、合成されるのではなくＣＴ撮像を用いて得られたＣＴ画像４２６を含む）を表すアンペア（unpaired）訓練画像データ４２２と比較して、生成器４２０からの合成撮像データ４２８の間で識別することを目的とすることにより、生成器４２０の訓練を容易にする。
図４の例では、アーキテクチャ４００は、単一の発生器畳み込みニューラルネットワーク（ＣＮＮ）４２０「Ｇ１」と、単一の識別器畳み込みニューラルネットワーク４３０「Ｄ１」とを含むことができる。アーキテクチャ４００について示された敵対的スキームにおいて、生成器４２０は、その入力（例えば、画像４１６）をあるドメイン（例えば、あるモダリティタイプ）から別のモダリティタイプ（例えば、合成画像４１８のような合成された撮像データ４２８を生成するの）にマッピングまたは変換する責任を負う。例示的な例として、入力画像４１６はＭＲ画像であり、出力画像４１８は「擬似」ＣＴ画像または合成ＣＴ（ＳＣＴ）画像である。識別器４３０は、実際の（actual）または「現実の（real）」ＣＴ撮像データ（例えば、合成されるのではなくＣＴ撮像を用いて得られたＣＴ画像４２６を含む）を表すアンペア（unpaired）訓練画像データ４２２と比較して、生成器４２０からの合成撮像データ４２８の間で識別することを目的とすることにより、生成器４２０の訓練を容易にする。
［００６９］
アーキテクチャ４００は、生成器４２０と識別器４３０とが競合し、生成器は、識別器４３０を「騙す」ために、実際の画像データ４２２に可能な限り近似して対応する合成撮像データ４２８を提供するように調整され、またはそうでなければ最適化されるようなタイプの敵対的生成ネットワーク（Generative adversarial network (GAN)）と呼ぶことができる。識別器４３０の出力４３６は、識別器への入力画像が実際の画像を表すとの判断を表す１と、入力画像が「偽物」であるとの判断を表す０との間の値のような分類値であり得る。限定的には、訓練が進むにつれて、生成器４２０は、識別器４３０が合成された撮像データ４２８と訓練に使用された実際の撮像データ４２２とを区別できないほど、実際の撮像データ４２２に酷似した撮像データ４２８を生成することができる。訓練が完了すると（例えば、識別器４３０に従って、実際の撮像データと所定の相関関係に近づく撮像データを提供するように生成器４２０が調整されると）、生成器４２０のモデルは、保存され、画像合成のために別個に使用される。
アーキテクチャ４００は、生成器４２０と識別器４３０とが競合し、生成器は、識別器４３０を「騙す」ために、実際の画像データ４２２に可能な限り近似して対応する合成撮像データ４２８を提供するように調整され、またはそうでなければ最適化されるようなタイプの敵対的生成ネットワーク（Generative adversarial network (GAN)）と呼ぶことができる。識別器４３０の出力４３６は、識別器への入力画像が実際の画像を表すとの判断を表す１と、入力画像が「偽物」であるとの判断を表す０との間の値のような分類値であり得る。限定的には、訓練が進むにつれて、生成器４２０は、識別器４３０が合成された撮像データ４２８と訓練に使用された実際の撮像データ４２２とを区別できないほど、実際の撮像データ４２２に酷似した撮像データ４２８を生成することができる。訓練が完了すると（例えば、識別器４３０に従って、実際の撮像データと所定の相関関係に近づく撮像データを提供するように生成器４２０が調整されると）、生成器４２０のモデルは、保存され、画像合成のために別個に使用される。
［００７０］
十分な制約がなければ、生成器４２０のモデルは、識別器４３０には実在するように見えるが、生成器４２０のモデル入力との相関が非常に悪い画像を生成することがある。例示的な実施例として、最悪の場合、生成器４２０は、入力画像に依存しない固定出力画像を常に生成することがある。別の例示的な実施例では、生成器４２０は、訓練撮像データ４２２のコーパスから実際のＣＴ画像をランダムに出力することがある。
十分な制約がなければ、生成器４２０のモデルは、識別器４３０には実在するように見えるが、生成器４２０のモデル入力との相関が非常に悪い画像を生成することがある。例示的な実施例として、最悪の場合、生成器４２０は、入力画像に依存しない固定出力画像を常に生成することがある。別の例示的な実施例では、生成器４２０は、訓練撮像データ４２２のコーパスから実際のＣＴ画像をランダムに出力することがある。
［００７１］
図４に示すアプローチは、ペア訓練データに依存しないので、生成器４２０の出力は、いくつかの対応するグラウンドトゥルース（ground truth）と直接比較されない。代わりに、生成器４２０の出力からの合成された撮像データ４２８と生成器４２０の入力における撮像データ４１４とを直接比較する類似度決定を実施するような、クロスモダリティ類似度測定値（cross-modality similarity measure）４１２を使用することができる。これにより、モードコラプシング問題（mode-collapsing problem）が回避され、生成器４２０が、生成器４２０の入力撮像データ４１４に関して十分に相関した合成撮像データ４２８を生成することを確実にするのに役立つ。図４に示す訓練アーキテクチャ４００は、訓練ユニット４０２の使用を含むように、部分的にまたは全体的にコンピュータに実装することができる。
図４に示すアプローチは、ペア訓練データに依存しないので、生成器４２０の出力は、いくつかの対応するグラウンドトゥルース（ground truth）と直接比較されない。代わりに、生成器４２０の出力からの合成された撮像データ４２８と生成器４２０の入力における撮像データ４１４とを直接比較する類似度決定を実施するような、クロスモダリティ類似度測定値（cross-modality similarity measure）４１２を使用することができる。これにより、モードコラプシング問題（mode-collapsing problem）が回避され、生成器４２０が、生成器４２０の入力撮像データ４１４に関して十分に相関した合成撮像データ４２８を生成することを確実にするのに役立つ。図４に示す訓練アーキテクチャ４００は、訓練ユニット４０２の使用を含むように、部分的にまたは全体的にコンピュータに実装することができる。
［００７２］
訓練ユニット４０２によって実行される最適化アプローチの表現は、以下のように記述される。
訓練ユニット４０２によって実行される最適化アプローチの表現は、以下のように記述される。
［００７３］
式１において、Ｇ＊は、訓練ユニット４０２の出力４３４により提供されるような調整された（例えば、最適化された）パラメータを有する生成器４２０を表し、「Ｌ（Ｇ，Ｄ）」は、「損失」関数または目的関数「Ｌ」を表す。式１により示されるアプローチは、識別器４３０への入力の分布にわたって目的の値を強化または最大化するように識別器４３０の畳み込みネットワークを調整し、かつ、生成器４２０への入力の分布にわたって目的の値を減少または最小化するように生成器４２０を調整することを示している。出力４３４を用いて生成器４２０を調整するために確率的勾配降下法 (Stochastic gradient descent：ＳＧＤ)の反復を実行し、次いで出力４３２を用いて識別器４３０を調整するために確率的勾配降下法の反復を実行するなどを含むような、そのような訓練を実施するために様々なアプローチを用いることができる。そのような調整は、生成器４２０および識別器４３０をそれぞれ定義するそれぞれの深層畳み込みニューラルネットワーク内のパラメータを変更することを含む。モーメンタムＳＧＤ（SGD with momentum）、Nesterovの加速勾配技術（Nesterov accelerated gradient technique）、ＡｄａＧｒａｄ、Ａｄａｄｅｌｔａ、ＲＭＳｐｒｏｐ、Ａｄａｍのような他の訓練技術を使用することができる。例示的な実施例として、進化的手法（evolutionary methods）、遺伝的手法（genetic techniques）、模擬アニーリング（simulated annealing）、粒子群最適化（particle swarm optimization）のような他の手法を使用することができる。例示的な実施例として、識別器４３０は、図５の実施例で例示的に示されているような、分類器として機能する畳み込みニューラルネットワークを使用して実装されてもよい。生成器４２０は、畳み込みレイヤ間の短距離または長距離スキップ接続（short-range or long-range skip connections）を含むような、図６に示すアーキテクチャを有する畳み込みニューラルネットワークを使用して実装することができる。図４に戻ると、目的関数は、次式に示すように、「ＬＧＡＮ」で表されるような敵対的目的４１０と、「ＬＳＩＭ」で表されるような類似度測定値４１２に対応する寄与を含むことができる。
式１において、Ｇ＊は、訓練ユニット４０２の出力４３４により提供されるような調整された（例えば、最適化された）パラメータを有する生成器４２０を表し、「Ｌ（Ｇ，Ｄ）」は、「損失」関数または目的関数「Ｌ」を表す。式１により示されるアプローチは、識別器４３０への入力の分布にわたって目的の値を強化または最大化するように識別器４３０の畳み込みネットワークを調整し、かつ、生成器４２０への入力の分布にわたって目的の値を減少または最小化するように生成器４２０を調整することを示している。出力４３４を用いて生成器４２０を調整するために確率的勾配降下法 (Stochastic gradient descent：ＳＧＤ)の反復を実行し、次いで出力４３２を用いて識別器４３０を調整するために確率的勾配降下法の反復を実行するなどを含むような、そのような訓練を実施するために様々なアプローチを用いることができる。そのような調整は、生成器４２０および識別器４３０をそれぞれ定義するそれぞれの深層畳み込みニューラルネットワーク内のパラメータを変更することを含む。モーメンタムＳＧＤ（SGD with momentum）、Nesterovの加速勾配技術（Nesterov accelerated gradient technique）、ＡｄａＧｒａｄ、Ａｄａｄｅｌｔａ、ＲＭＳｐｒｏｐ、Ａｄａｍのような他の訓練技術を使用することができる。例示的な実施例として、進化的手法（evolutionary methods）、遺伝的手法（genetic techniques）、模擬アニーリング（simulated annealing）、粒子群最適化（particle swarm optimization）のような他の手法を使用することができる。例示的な実施例として、識別器４３０は、図５の実施例で例示的に示されているような、分類器として機能する畳み込みニューラルネットワークを使用して実装されてもよい。生成器４２０は、畳み込みレイヤ間の短距離または長距離スキップ接続（short-range or long-range skip connections）を含むような、図６に示すアーキテクチャを有する畳み込みニューラルネットワークを使用して実装することができる。図４に戻ると、目的関数は、次式に示すように、「ＬＧＡＮ」で表されるような敵対的目的４１０と、「ＬＳＩＭ」で表されるような類似度測定値４１２に対応する寄与を含むことができる。
［００７４］
値「λ」は、調整可能な重み付け係数を表す。式２において、また下記の式３において、項「ＬＧＡＮ」は、２つの項を含み得る。第１の項は、実際の撮像データを含む第１の識別器への入力が、第１の識別器により識別されることの期待値を表す。（例えば、第１の識別器は、次の式で表される。
値「λ」は、調整可能な重み付け係数を表す。式２において、また下記の式３において、項「ＬＧＡＮ」は、２つの項を含み得る。第１の項は、実際の撮像データを含む第１の識別器への入力が、第１の識別器により識別されることの期待値を表す。（例えば、第１の識別器は、次の式で表される。
ここで、「Ｅｙ」は、確率分布からの期待値であり、「ＰＢ（ｙ）」は、識別器ネットワークへの入力として訓練目的で使用される実際の撮像データの分布を表し、「Ｄ（ｙ）」は、訓練で使用される実際の撮像データに対する識別器ネットワークの動作を表す。）第２の項は、第１の生成器からの合成画像を含む識別器への入力が、第１の識別器により実際の撮像データであると識別されないことの期待値を表す。（例えば、第１の識別器は、次の式で表される。
ここで、「Ｅｘ」は、確率分布からの期待値であり「ＰＡ（ｘ）」は、撮像データ「ｘ」の入力分布を表す確率分布を表し、「Ｇ（ｘ）」は、合成画像を生成するための入力撮像データに対する生成器ネットワークの動作を表し、「Ｄ（Ｇ（ｘ））」は、生成器ネットワークにより提供される合成画像に対する識別器ネットワークの動作を表す。）それは次の式３で示される。
［００７５］
類似度測定値４１２は、次の式４で表される。
類似度測定値４１２は、次の式４で表される。
［００７６］
項「Ｓｉｍ（ｘ，Ｇ（ｘ））」は、異なるモダリティ（例えば、入力画像「ｘ」と、生成器４２０によって提供される合成画像「Ｇ（ｘ）」）を有する２つの画像間の類似度を示す類似度関数を表す。モダリティ間画像類似性メトリックス（inter-modality image similarity metrics）は、一般に利用可能であり、相互情報、正規化された相互情報、相互相関、局所的な相互補正、または他の技術のうちの１つまたはそれ以上からなる技術の使用を含む。モダリティ間類似度関数（Inter-modality similarity function）を使用することにより、図４の訓練アーキテクチャ４００は、アンペア（unpaired）撮像データを使用することが可能になる。図４に示されたアプローチは、使用され得る唯一のアプローチではない。図４に示すアプローチに対して、画像合成または撮像モダリティ変換モデルの訓練は、アンペア（unpaired）撮像データを使用して、「ＣｙｃｌｅＧＡＮ」アプローチを使用して実行することができる。しかし、このようなアプローチには欠点がある。なぜなら、一般にＣｙｃｌｅＧＡＮアプローチでは、第１の合成モデル（例えば、Ｇ１に類似したもの）を、第１の撮像モダリティタイプから第２の撮像モダリティタイプに変換することと、第２の合成モデルを、第２の撮像モダリティタイプから第１の撮像モダリティタイプに戻るように変換することとを含む、２つの画像合成モデルが同時に訓練されるからである。さらに、このようなＣｙｃｌｅＧＡＮのアプローチでは、一般に２つの「識別器」を同時期に訓練する必要がある。２つのモデルを訓練することは不要であり、処理やメモリ消費の面で著しく大きなリソースを消費する。図４に示され、本明細書で一般的に説明されているアーキテクチャ４００は、ＣｙｃｌｅＧＡＮと比較して、より単純な敵対的ネットワークアーキテクチャを提供し、本明細書で説明されている技術は、依然として、アンペア（unpaired）撮像データを使用して訓練することができる。
項「Ｓｉｍ（ｘ，Ｇ（ｘ））」は、異なるモダリティ（例えば、入力画像「ｘ」と、生成器４２０によって提供される合成画像「Ｇ（ｘ）」）を有する２つの画像間の類似度を示す類似度関数を表す。モダリティ間画像類似性メトリックス（inter-modality image similarity metrics）は、一般に利用可能であり、相互情報、正規化された相互情報、相互相関、局所的な相互補正、または他の技術のうちの１つまたはそれ以上からなる技術の使用を含む。モダリティ間類似度関数（Inter-modality similarity function）を使用することにより、図４の訓練アーキテクチャ４００は、アンペア（unpaired）撮像データを使用することが可能になる。図４に示されたアプローチは、使用され得る唯一のアプローチではない。図４に示すアプローチに対して、画像合成または撮像モダリティ変換モデルの訓練は、アンペア（unpaired）撮像データを使用して、「ＣｙｃｌｅＧＡＮ」アプローチを使用して実行することができる。しかし、このようなアプローチには欠点がある。なぜなら、一般にＣｙｃｌｅＧＡＮアプローチでは、第１の合成モデル（例えば、Ｇ１に類似したもの）を、第１の撮像モダリティタイプから第２の撮像モダリティタイプに変換することと、第２の合成モデルを、第２の撮像モダリティタイプから第１の撮像モダリティタイプに戻るように変換することとを含む、２つの画像合成モデルが同時に訓練されるからである。さらに、このようなＣｙｃｌｅＧＡＮのアプローチでは、一般に２つの「識別器」を同時期に訓練する必要がある。２つのモデルを訓練することは不要であり、処理やメモリ消費の面で著しく大きなリソースを消費する。図４に示され、本明細書で一般的に説明されているアーキテクチャ４００は、ＣｙｃｌｅＧＡＮと比較して、より単純な敵対的ネットワークアーキテクチャを提供し、本明細書で説明されている技術は、依然として、アンペア（unpaired）撮像データを使用して訓練することができる。
［００７７］
図４に示すアーキテクチャ４００に関連して訓練に使用される撮像データは、部位特異的（site-specific）であってもよいし、複数の臨床部位を表すような集中リポジトリ（centralized repository）から取得されてもよい。このような訓練情報は、患者、部位、または特定の撮像装置の構成のうちの１つまたはそれ以上にわたって、このようなバリエーションに強固な（robust）生成器４２０のパラメータを提供するのに役立つように、解像度、コントラスト、撮像領域、撮像装置のタイプまたは製造者、または他のバリエーションに関連するような１つまたはそれ以上のバリエーションを含み得る。
図４に示すアーキテクチャ４００に関連して訓練に使用される撮像データは、部位特異的（site-specific）であってもよいし、複数の臨床部位を表すような集中リポジトリ（centralized repository）から取得されてもよい。このような訓練情報は、患者、部位、または特定の撮像装置の構成のうちの１つまたはそれ以上にわたって、このようなバリエーションに強固な（robust）生成器４２０のパラメータを提供するのに役立つように、解像度、コントラスト、撮像領域、撮像装置のタイプまたは製造者、または他のバリエーションに関連するような１つまたはそれ以上のバリエーションを含み得る。
［００７８］
図５は、画像合成を実行するための別の統計的学習モデルを訓練するために使用されてもよいような、医療用画像データの分類を実行するため（例えば、合成された撮像データと実際の撮像データとの間の識別のため）のような統計的学習モデル（例えば、畳み込みニューラルネットワーク（ＣＮＮ）５２０）を含む例を示す。図５に示すように、画像分類のためのＣＮＮモデル５２０は、別個の生成器畳み込みニューラルネットワークを訓練する目的で提供される１つまたはそれ以上の画像５２６の中から、入力として画像５２２を受け取ることができる。ＣＮＮ５２０は、図４に関連して上述したような、または本明細書の他の場所で議論されるような、様々なアプローチを用いて訓練することができる。
図５は、画像合成を実行するための別の統計的学習モデルを訓練するために使用されてもよいような、医療用画像データの分類を実行するため（例えば、合成された撮像データと実際の撮像データとの間の識別のため）のような統計的学習モデル（例えば、畳み込みニューラルネットワーク（ＣＮＮ）５２０）を含む例を示す。図５に示すように、画像分類のためのＣＮＮモデル５２０は、別個の生成器畳み込みニューラルネットワークを訓練する目的で提供される１つまたはそれ以上の画像５２６の中から、入力として画像５２２を受け取ることができる。ＣＮＮ５２０は、図４に関連して上述したような、または本明細書の他の場所で議論されるような、様々なアプローチを用いて訓練することができる。
［００７９］
ＣＮＮモデル５２０からの分類出力５２９は、１つまたはそれ以上の畳み込み層５２８の系列を用いて確立することができる。各畳み込み層５２８は、上位入力層によって決定される幅（「Ｗ」）および高さ（「Ｈ」）（例えば、畳み込み層５２８の入力サイズ）と、層内のフィルタまたはカーネルの数（「Ｎ」）およびそのサイズのような、複数のパラメータを有する。なお、フィルタの数は、特定の畳み込み層のチャネル数と呼ばれている。したがって、各畳み込み層５２８は、図５に示すように、３Ｄボリュームの観点から表現されることができるが、そのような表現は例示的なものにすぎない。各畳み込み層５２８の入力は、一般に、その幅および高さにわたって１つのフィルタと共に畳み込まれ、そのフィルタに対応する２次元活性化マップまたは特徴マップを生成する。畳み込みは、各畳み込みレイヤのすべてのフィルタに対して実行され、結果として得られた活性化マップまたは特徴マップは、チャネル次元に沿って積層され、３Ｄ出力を生成する。先行する畳み込み層の出力は、次の畳み込み層への入力として使用される。
ＣＮＮモデル５２０からの分類出力５２９は、１つまたはそれ以上の畳み込み層５２８の系列を用いて確立することができる。各畳み込み層５２８は、上位入力層によって決定される幅（「Ｗ」）および高さ（「Ｈ」）（例えば、畳み込み層５２８の入力サイズ）と、層内のフィルタまたはカーネルの数（「Ｎ」）およびそのサイズのような、複数のパラメータを有する。なお、フィルタの数は、特定の畳み込み層のチャネル数と呼ばれている。したがって、各畳み込み層５２８は、図５に示すように、３Ｄボリュームの観点から表現されることができるが、そのような表現は例示的なものにすぎない。各畳み込み層５２８の入力は、一般に、その幅および高さにわたって１つのフィルタと共に畳み込まれ、そのフィルタに対応する２次元活性化マップまたは特徴マップを生成する。畳み込みは、各畳み込みレイヤのすべてのフィルタに対して実行され、結果として得られた活性化マップまたは特徴マップは、チャネル次元に沿って積層され、３Ｄ出力を生成する。先行する畳み込み層の出力は、次の畳み込み層への入力として使用される。
［００８０］
いくつかの実施形態では、ＣＮＮモデル５２０は、１つまたはそれ以上のプーリング層を含む。ＣＮＮモデル５１０において、２つの連続する畳み込み層５２８の間にプーリング層を追加することができる。プーリング層は、その入力（例えば、前の畳み込み層からの活性化マップまたは特徴マップ）の各チャネルに対して独立して動作させることができ、非線形ダウンサンプリングのフォームを実行することによって空間次元を減少させる。特定の実施例では、非隣接層からの情報は、介在する層を「スキップ」することができ、図６に関連して説明されているように、プーリング層を通過する前に、後の畳み込み層の出力と共に集約することができる。図５に示すように、プーリング層の機能は、ネットワーク内のパラメータおよび計算のカウントを減少させ、オーバーフィッテング（over-fitting）を制御するために、抽出された活性化マップまたは特徴マップの空間次元を漸進的に減少させることを含み得る。プーリング層のカウントおよび配置は、畳み込みネットワークアーキテクチャの構成、入力の大きさ、畳み込み層５２８の大きさ、またはＣＮＮモデル５２０の適用などの様々な要因に基づいて決定される。
いくつかの実施形態では、ＣＮＮモデル５２０は、１つまたはそれ以上のプーリング層を含む。ＣＮＮモデル５１０において、２つの連続する畳み込み層５２８の間にプーリング層を追加することができる。プーリング層は、その入力（例えば、前の畳み込み層からの活性化マップまたは特徴マップ）の各チャネルに対して独立して動作させることができ、非線形ダウンサンプリングのフォームを実行することによって空間次元を減少させる。特定の実施例では、非隣接層からの情報は、介在する層を「スキップ」することができ、図６に関連して説明されているように、プーリング層を通過する前に、後の畳み込み層の出力と共に集約することができる。図５に示すように、プーリング層の機能は、ネットワーク内のパラメータおよび計算のカウントを減少させ、オーバーフィッテング（over-fitting）を制御するために、抽出された活性化マップまたは特徴マップの空間次元を漸進的に減少させることを含み得る。プーリング層のカウントおよび配置は、畳み込みネットワークアーキテクチャの構成、入力の大きさ、畳み込み層５２８の大きさ、またはＣＮＮモデル５２０の適用などの様々な要因に基づいて決定される。
［００８１］
プーリング層を実装するために、様々な非線形関数を使用することができる。例えば、最大プーリング（max pooling）を使用することができる。最大プーリングは、入力の画像スライスを、所定のストライドを有するオーバーラップまたは非オーバーラップのサブ領域のセットに分割することができる。各サブ領域に対して、最大プーリングはパーティション内の対応するサブ領域間の最大値を出力する。これにより、チャンネルの寸法は変更されずに、入力のすべてのスライスが幅と高さの両方に沿って効果的にダウンサンプリングされる。プーリング層を実装するために、平均プーリング、あるいはＬ２ノルムプーリングのような、他の適切な関数を使用してもよい。
プーリング層を実装するために、様々な非線形関数を使用することができる。例えば、最大プーリング（max pooling）を使用することができる。最大プーリングは、入力の画像スライスを、所定のストライドを有するオーバーラップまたは非オーバーラップのサブ領域のセットに分割することができる。各サブ領域に対して、最大プーリングはパーティション内の対応するサブ領域間の最大値を出力する。これにより、チャンネルの寸法は変更されずに、入力のすべてのスライスが幅と高さの両方に沿って効果的にダウンサンプリングされる。プーリング層を実装するために、平均プーリング、あるいはＬ２ノルムプーリングのような、他の適切な関数を使用してもよい。
［００８２］
ＣＮＮモデル５２０は、選択的に１つまたはそれ以上の追加の層を含むことができる。非限定的な例として、中間活性化マップまたは特徴マップを生成するために、畳み込み層の後に、正規化線形ユニット（Rectified Linear Unit：ＲｅＬｕ）層またはパラメトリックＲｅＬｕ（Parametric ReLU：ＰＲｅＬＵ）層を選択的に追加することができる。例えば、ＲｅＬｕ層は、畳み込み層５２８のそれぞれの寸法に影響を与えることなく、望ましくは、予測関数の非線形特性およびＣＮＮモデル５２０の全体の非線形特性を増加させることができる。さらに、ＲｅＬｕ層は、バックプロパゲーション訓練プロセス中に飽和を減少させるか、または回避することができる。
ＣＮＮモデル５２０は、選択的に１つまたはそれ以上の追加の層を含むことができる。非限定的な例として、中間活性化マップまたは特徴マップを生成するために、畳み込み層の後に、正規化線形ユニット（Rectified Linear Unit：ＲｅＬｕ）層またはパラメトリックＲｅＬｕ（Parametric ReLU：ＰＲｅＬＵ）層を選択的に追加することができる。例えば、ＲｅＬｕ層は、畳み込み層５２８のそれぞれの寸法に影響を与えることなく、望ましくは、予測関数の非線形特性およびＣＮＮモデル５２０の全体の非線形特性を増加させることができる。さらに、ＲｅＬｕ層は、バックプロパゲーション訓練プロセス中に飽和を減少させるか、または回避することができる。
［００８３］
上述したように、ＣＮＮからの分類出力５２９は、０と１の間の値のような分類値であり、１は、ＣＮＮモデル５２０への入力画像５２２が実際の画像を表すとの判断を表し、０は、入力画像５２２が別個の生成器統計学習モデルによって合成された「偽物」であるとの判断を表す。
上述したように、ＣＮＮからの分類出力５２９は、０と１の間の値のような分類値であり、１は、ＣＮＮモデル５２０への入力画像５２２が実際の画像を表すとの判断を表し、０は、入力画像５２２が別個の生成器統計学習モデルによって合成された「偽物」であるとの判断を表す。
［００８４］
図６は、第１の撮像モダリティタイプに対応する医用撮像データ（例えば、第１の画像６２６）を受信し、受信した医用撮像データを使用して、異なる第２の撮像モダリティタイプに対応する医用撮像データの合成を実行する（例えば、出力層６３２ａに第２の画像を提供する）ような、統計的学習モデル（例えば、畳み込みニューラルネットワーク（ＣＮＮ）６００Ａ）を含む実施例を示す。図６の実施例は、図４の実施例に関連して言及された「生成器」モデルを提供するために使用することができる。図６を参照すると、ＣＮＮ６００Ａは、「完全畳み込みニューラルネットワーク（fully convolutional neural network）」（ＦＣＮｓ）に分類することができる。異なるＦＣＮアーキテクチャが、符号化部６２４Ａを有するように使用することができる。符号化部は、低複雑度から高複雑度までの画像特徴の階層を抽出する典型的なＣＮＮに類似している。復号化部６３４ａは、特徴を変換して、合成画像を粗い解像度から細かい解像度へと徐々に再構成する。
図６は、第１の撮像モダリティタイプに対応する医用撮像データ（例えば、第１の画像６２６）を受信し、受信した医用撮像データを使用して、異なる第２の撮像モダリティタイプに対応する医用撮像データの合成を実行する（例えば、出力層６３２ａに第２の画像を提供する）ような、統計的学習モデル（例えば、畳み込みニューラルネットワーク（ＣＮＮ）６００Ａ）を含む実施例を示す。図６の実施例は、図４の実施例に関連して言及された「生成器」モデルを提供するために使用することができる。図６を参照すると、ＣＮＮ６００Ａは、「完全畳み込みニューラルネットワーク（fully convolutional neural network）」（ＦＣＮｓ）に分類することができる。異なるＦＣＮアーキテクチャが、符号化部６２４Ａを有するように使用することができる。符号化部は、低複雑度から高複雑度までの画像特徴の階層を抽出する典型的なＣＮＮに類似している。復号化部６３４ａは、特徴を変換して、合成画像を粗い解像度から細かい解像度へと徐々に再構成する。
［００８５］
ＣＮＮ６００Ａのアーキテクチャは、長距離接続（ long-range connection）６４０Ａ、６４０Ｂ、６４０Ｃを示している。符号化部６２４Ａ内、または復号化部６３４ａ内のような近距離接続（short-range connection）も使用することができる。符号化部と復号化部を横断する長距離接続（例えば、図６の符号化部６２４Ａと復号化部６３４Ａの間）を使用することにより、符号化部（６２４Ａ）からのより高い解像度の特徴を、復号化部（６３４Ａ）内の（逆）畳み込み層の入力として使用することを可能にする。このような構成とすることで、復号化部（６３４Ａ）の高解像度の予測値を生成する能力を高めることができる。また、このようなショートカットは、モデル６００Ａの柔軟性を高めている。例えば、モデル６００Ａは、高解像度の特徴（high resolution features）（ネットワークの「頂点」にある）が正確な合成を生成するのに十分である場合、粗いレベルの特徴（coarse level features）（図６の層６２９Ａのようなネットワークの「底辺」にある）をスキップするように、訓練を介して自動的に学習することができる。図６に示す長距離接続６４０Ａ、６４０Ｂ、６４０Ｃ、６４０Ｄは、それぞれ対応するコピー６４２Ａ、６４２Ｂ、６４２Ｃ、６４２Ｅを提供するために、対応する畳み込み層の出力を取得することによって提供することができる。
ＣＮＮ６００Ａのアーキテクチャは、長距離接続（ long-range connection）６４０Ａ、６４０Ｂ、６４０Ｃを示している。符号化部６２４Ａ内、または復号化部６３４ａ内のような近距離接続（short-range connection）も使用することができる。符号化部と復号化部を横断する長距離接続（例えば、図６の符号化部６２４Ａと復号化部６３４Ａの間）を使用することにより、符号化部（６２４Ａ）からのより高い解像度の特徴を、復号化部（６３４Ａ）内の（逆）畳み込み層の入力として使用することを可能にする。このような構成とすることで、復号化部（６３４Ａ）の高解像度の予測値を生成する能力を高めることができる。また、このようなショートカットは、モデル６００Ａの柔軟性を高めている。例えば、モデル６００Ａは、高解像度の特徴（high resolution features）（ネットワークの「頂点」にある）が正確な合成を生成するのに十分である場合、粗いレベルの特徴（coarse level features）（図６の層６２９Ａのようなネットワークの「底辺」にある）をスキップするように、訓練を介して自動的に学習することができる。図６に示す長距離接続６４０Ａ、６４０Ｂ、６４０Ｃ、６４０Ｄは、それぞれ対応するコピー６４２Ａ、６４２Ｂ、６４２Ｃ、６４２Ｅを提供するために、対応する畳み込み層の出力を取得することによって提供することができる。
［００８６］
図６のＣＮＮ６００Ａを参照すると、入力撮像データは、３２０×３２０の空間サイズを有するような第１の畳み込み層に提供することができ、畳み込み層は、６４個のフィルタまたは「チャンネル」を含むことができる。入力スタックは、訓練画像または変換される一連の画像を表す。図６のＣＮＮ６００Ａは、１６０×１６０×１２８チャネルの出力サイズを有する第１のダウンサンプリング層６２８Ａ、８０×８０×２５６チャネルの出力サイズを有する第２のダウンサンプリング層６２８Ｂ、４０×４０×５１２チャネルの出力サイズを有する第３のダウンサンプリング層６２８Ｃ、２０×２０×５１２チャネルの出力サイズを有するボトム層６２９Ａのような、５つの異なる解像度の層を含み得る。ボトム層６２９Ａの出力は、特徴領域情報（feature-domain information）（例えば、特徴マップまたは特徴ベクトルセット）を含み得る。レイヤやチャンネルの他のカウントまたは異なる解像度を使用してもよい。
図６のＣＮＮ６００Ａを参照すると、入力撮像データは、３２０×３２０の空間サイズを有するような第１の畳み込み層に提供することができ、畳み込み層は、６４個のフィルタまたは「チャンネル」を含むことができる。入力スタックは、訓練画像または変換される一連の画像を表す。図６のＣＮＮ６００Ａは、１６０×１６０×１２８チャネルの出力サイズを有する第１のダウンサンプリング層６２８Ａ、８０×８０×２５６チャネルの出力サイズを有する第２のダウンサンプリング層６２８Ｂ、４０×４０×５１２チャネルの出力サイズを有する第３のダウンサンプリング層６２８Ｃ、２０×２０×５１２チャネルの出力サイズを有するボトム層６２９Ａのような、５つの異なる解像度の層を含み得る。ボトム層６２９Ａの出力は、特徴領域情報（feature-domain information）（例えば、特徴マップまたは特徴ベクトルセット）を含み得る。レイヤやチャンネルの他のカウントまたは異なる解像度を使用してもよい。
［００８７］
ダウンサンプリングは、図５に関連して上述したようにプーリングによって達成することができる。図６のＣＮＮ６００Ａの復号化部６３４Ａは、第１のアップサンプリング層６３６Ｃ、第２のアップサンプリング層６３６Ｂ、第３のアップサンプリング層６３６Ａのようなアップサンプリングまたは「デコンボリューション」層を含み得る。ファイナル層または出力層６３２Ａは、入力された２次元撮像データの解像度と類似または一致する解像度を有する合成画像を提供することができる。本開示の様々な実施形態によれば、上述のＣＮＮモデルに基づく画像セグメンテーション方法、システム、装置、またはプロセスは、２つのステージである、訓練データセットを用いてＣＮＮモデルを訓練する訓練ステージと、訓練されたＣＮＮモデルを用いて入力画像とは異なるモダリティタイプを有する画像を合成する画像合成ステージ（例えば、ランタイム段階）とを含む。
ダウンサンプリングは、図５に関連して上述したようにプーリングによって達成することができる。図６のＣＮＮ６００Ａの復号化部６３４Ａは、第１のアップサンプリング層６３６Ｃ、第２のアップサンプリング層６３６Ｂ、第３のアップサンプリング層６３６Ａのようなアップサンプリングまたは「デコンボリューション」層を含み得る。ファイナル層または出力層６３２Ａは、入力された２次元撮像データの解像度と類似または一致する解像度を有する合成画像を提供することができる。本開示の様々な実施形態によれば、上述のＣＮＮモデルに基づく画像セグメンテーション方法、システム、装置、またはプロセスは、２つのステージである、訓練データセットを用いてＣＮＮモデルを訓練する訓練ステージと、訓練されたＣＮＮモデルを用いて入力画像とは異なるモダリティタイプを有する画像を合成する画像合成ステージ（例えば、ランタイム段階）とを含む。
［００８８］
図７は、統計的学習モデルを使用して医用撮像データの合成を実行するためのコンピュータに実装された方法のような一般的な技術７００を示す。ステップ７０２において、医用撮像データは、第１の撮像モダリティタイプを用いて取得される。本明細書に記載された他の実施例に関連して述べたように、このような画像データは、ＭＲスキャナのような接続された撮像装置から直接取得されてもよいし、または、このような撮像データは、医用撮像データベースから取得されてもよい。ステップ７０４において、訓練された統計的学習モデルは、受信された医用撮像データに適用され、異なる第２の撮像モダリティタイプに対応する医用画像を合成する。そのような学習モデルは、本明細書の他の箇所（例えば、図４および図８）に記載されているように、敵対的訓練アプローチを使用して確立されたパラメータを有する生成器畳み込みニューラルネットワークを含む。ステップ７０６において、合成された医用画像は、ユーザへの表示のために、またはさらなる処理で使用するために、提示される。例えば、ステップ７０８において、合成された画像は、放射線治療の治療計画または管理に使用するためにワークステーション上に表示することもできる。一例では、ステップ７１０において、放射線治療プロトコルの更新または受信が、例えば、合成された医用画像の少なくとも一部に基づいて実行することもできる。
図７は、統計的学習モデルを使用して医用撮像データの合成を実行するためのコンピュータに実装された方法のような一般的な技術７００を示す。ステップ７０２において、医用撮像データは、第１の撮像モダリティタイプを用いて取得される。本明細書に記載された他の実施例に関連して述べたように、このような画像データは、ＭＲスキャナのような接続された撮像装置から直接取得されてもよいし、または、このような撮像データは、医用撮像データベースから取得されてもよい。ステップ７０４において、訓練された統計的学習モデルは、受信された医用撮像データに適用され、異なる第２の撮像モダリティタイプに対応する医用画像を合成する。そのような学習モデルは、本明細書の他の箇所（例えば、図４および図８）に記載されているように、敵対的訓練アプローチを使用して確立されたパラメータを有する生成器畳み込みニューラルネットワークを含む。ステップ７０６において、合成された医用画像は、ユーザへの表示のために、またはさらなる処理で使用するために、提示される。例えば、ステップ７０８において、合成された画像は、放射線治療の治療計画または管理に使用するためにワークステーション上に表示することもできる。一例では、ステップ７１０において、放射線治療プロトコルの更新または受信が、例えば、合成された医用画像の少なくとも一部に基づいて実行することもできる。
［００８９］
図８は、一般に、医用撮像データの合成を実行するための統計的学習モデルを確立するための敵対的訓練アーキテクチャを実装するためのコンピュータに実装された方法のような技術８００を示す。ステップ８０２では、第１の撮像モダリティタイプに対応するデータのような訓練医用撮像データを受信する。他の箇所で述べたように、そのような訓練データは、部位固有のものであってもよいし、例えば、画像形成装置の構成、設定、患者、部位のより広い範囲を代表するものであってもよい。ステップ８０４において、統計的学習モデル（例えば、画像合成のための生成モデル）を受信した医用画像データに適用して、異なる第２の撮像モダリティタイプに対応する医用撮像データを合成する。ステップ８０６において、医用撮像データの合成に使用される統計的学習モデルは、例えば、モデル出力において、訓練撮像データと合成撮像データとの間の類似度判定を少なくとも部分的に使用するようにして調整される。ステップ８０８において、ステップ８０４での医用撮像データの合成に用いられた統計学習モデルを、別個の統計学習モデル（例えば、画像データの分類のための識別モデル）を用いて調整する。例えば、合成された撮像データと第２の撮像モダリティの種類に対応する実際の撮像データとを判別するために、別個の統計的学習モデルを設ける。繰り返しになるが、識別器モデルを確立するために使用される実際の撮像データは、部位固有のものであってもよいし、例えば、画像化装置の構成、設定、患者、部位のより広い範囲を代表するものであってもよい。
図８は、一般に、医用撮像データの合成を実行するための統計的学習モデルを確立するための敵対的訓練アーキテクチャを実装するためのコンピュータに実装された方法のような技術８００を示す。ステップ８０２では、第１の撮像モダリティタイプに対応するデータのような訓練医用撮像データを受信する。他の箇所で述べたように、そのような訓練データは、部位固有のものであってもよいし、例えば、画像形成装置の構成、設定、患者、部位のより広い範囲を代表するものであってもよい。ステップ８０４において、統計的学習モデル（例えば、画像合成のための生成モデル）を受信した医用画像データに適用して、異なる第２の撮像モダリティタイプに対応する医用撮像データを合成する。ステップ８０６において、医用撮像データの合成に使用される統計的学習モデルは、例えば、モデル出力において、訓練撮像データと合成撮像データとの間の類似度判定を少なくとも部分的に使用するようにして調整される。ステップ８０８において、ステップ８０４での医用撮像データの合成に用いられた統計学習モデルを、別個の統計学習モデル（例えば、画像データの分類のための識別モデル）を用いて調整する。例えば、合成された撮像データと第２の撮像モダリティの種類に対応する実際の撮像データとを判別するために、別個の統計的学習モデルを設ける。繰り返しになるが、識別器モデルを確立するために使用される実際の撮像データは、部位固有のものであってもよいし、例えば、画像化装置の構成、設定、患者、部位のより広い範囲を代表するものであってもよい。
［００９０］
図９Ａ、図９Ｂ、図９Ｃは、第１の撮像モダリティタイプ（例えば、ＭＲ撮像データ）に対応する撮像データの図（それぞれ、軸方向、矢状、冠状）からなる例示的な実施例を示す。図１０Ａ、図１０Ｂ、図１０Ｃは、それぞれ、図９Ａ、図９Ｂ、図９Ｃの撮像データに適用された統計的学習モデル（例えば、生成器モデルからなる深層畳み込みニューラルネットワーク）を使用して提供される、第２の撮像モダリティタイプ（例えば、ＣＴ画像）に対応する合成画像データの図を含む例示的な実施例を示す。図１１Ａ、図１１Ｂ、図１１Ｃは、それぞれ、図１０Ａ、図１０Ｂ、図１０Ｃの合成された画像データと比較するために提示された第２の撮像モダリティタイプ（例えば、ＣＴ画像）を用いて得られた実際の撮像データの図を含む例示的な実施例を示し、合成された画像が、図１１Ａ、図１１Ｂ、図１１Ｃの「グラウンドトゥルース（ground truth）」画像とよく一致することを示す。
図９Ａ、図９Ｂ、図９Ｃは、第１の撮像モダリティタイプ（例えば、ＭＲ撮像データ）に対応する撮像データの図（それぞれ、軸方向、矢状、冠状）からなる例示的な実施例を示す。図１０Ａ、図１０Ｂ、図１０Ｃは、それぞれ、図９Ａ、図９Ｂ、図９Ｃの撮像データに適用された統計的学習モデル（例えば、生成器モデルからなる深層畳み込みニューラルネットワーク）を使用して提供される、第２の撮像モダリティタイプ（例えば、ＣＴ画像）に対応する合成画像データの図を含む例示的な実施例を示す。図１１Ａ、図１１Ｂ、図１１Ｃは、それぞれ、図１０Ａ、図１０Ｂ、図１０Ｃの合成された画像データと比較するために提示された第２の撮像モダリティタイプ（例えば、ＣＴ画像）を用いて得られた実際の撮像データの図を含む例示的な実施例を示し、合成された画像が、図１１Ａ、図１１Ｂ、図１１Ｃの「グラウンドトゥルース（ground truth）」画像とよく一致することを示す。
各種注意事項
［００９１］
上記の本明細書に記載された非限定的な各々は、それ自体で自立していてもよいし、本明細書に記載された他の態様または他の主題のうちの１つまたはそれ以上と、様々な順列または組み合わせで結合していてもよい。
［００９１］
上記の本明細書に記載された非限定的な各々は、それ自体で自立していてもよいし、本明細書に記載された他の態様または他の主題のうちの１つまたはそれ以上と、様々な順列または組み合わせで結合していてもよい。
［００９２］
上記の詳細な説明は、詳細な説明の一部を形成する添付の図面への参照を含む。図面は、本発明を実施することができる特定の実施形態を、例示として示すものである。これらの実施形態は、本明細書では一般に「実施例」とも呼ばれる。そのような実施例は、図示または記載されたものに追加した要素を含むことができる。しかし、本願発明者らは、また、図示または記載されている要素のみが提供されている実施例を考慮している。さらに、本願発明者らは、また、特定の実施例（またはその１つまたは複数の態様）に関して、あるいは他の実施例（またはその１つまたは複数の態様）に関して示された、または説明された要素の任意の組合せまたは置換を用いる実施例を考慮している。
上記の詳細な説明は、詳細な説明の一部を形成する添付の図面への参照を含む。図面は、本発明を実施することができる特定の実施形態を、例示として示すものである。これらの実施形態は、本明細書では一般に「実施例」とも呼ばれる。そのような実施例は、図示または記載されたものに追加した要素を含むことができる。しかし、本願発明者らは、また、図示または記載されている要素のみが提供されている実施例を考慮している。さらに、本願発明者らは、また、特定の実施例（またはその１つまたは複数の態様）に関して、あるいは他の実施例（またはその１つまたは複数の態様）に関して示された、または説明された要素の任意の組合せまたは置換を用いる実施例を考慮している。
［００９３］
本明細書と、参照により組み込まれた文書との間に一貫性のない用法がある場合、本明細書の用法が支配する。
本明細書と、参照により組み込まれた文書との間に一貫性のない用法がある場合、本明細書の用法が支配する。
［００９４］
本明細書では、用語「ａ」または「ａｎ」は、特許文書で一般的であるように、本発明の態様の要素を導入するときに使用され、「少なくとも１つの」または「１つまたはそれ以上の」のいかなる他の例または使用法とは無関係に、１つまたはそれ以上の要素よりも１つまたはそれ以上を含む。本明細書では、用語「または（ｏｒ）」は、「ＡまたはＢ（Ａ ｏｒ Ｂ」が、そうでないと示されない限り、「Ａを含むがＢを含まない（Ａ ｂｕｔ ｎｏｔ Ｂ）」、「Ｂを含むがＡを含まない（Ｂ ｂｕｔ ｎｏｔ Ａ）」、「ＡおよびＢ（Ａ ａｎｄ Ｂ）」を含むように、非排他的であることを指すために使用される。本文書において、用語「ｉｎｃｌｕｄｉｎｇ（含む）」および「ｉｎ ｗｈｉｃｈ（その中で）」は、それぞれの用語「ｃｏｍｐｒｉｓｉｎｇ（含む）」および「ｗｈｅｒｅｉｎ（ここで）」の平易な英語の等価物として使用される。また、以下の請求項において、用語「ｉｎｃｌｕｄｉｎｇ（含む）」および「ｃｏｍｐｒｉｓｉｎｇ（含む）」は、オープンエンドであり、すなわち、請求項中のこのような用語の後に記載された要素に加えた要素を含むシステム、装置、成形品、組成物、製剤、またはプロセスは、依然としてその請求項の範囲内に含まれるものとみなされる。さらに、以下の請求項では、「第１の」、「第２の」、「第３の」などの用語は、単なるラベルとして使用されており、それらの対象に数値要件を課すことを意図していない。
本明細書では、用語「ａ」または「ａｎ」は、特許文書で一般的であるように、本発明の態様の要素を導入するときに使用され、「少なくとも１つの」または「１つまたはそれ以上の」のいかなる他の例または使用法とは無関係に、１つまたはそれ以上の要素よりも１つまたはそれ以上を含む。本明細書では、用語「または（ｏｒ）」は、「ＡまたはＢ（Ａ ｏｒ Ｂ」が、そうでないと示されない限り、「Ａを含むがＢを含まない（Ａ ｂｕｔ ｎｏｔ Ｂ）」、「Ｂを含むがＡを含まない（Ｂ ｂｕｔ ｎｏｔ Ａ）」、「ＡおよびＢ（Ａ ａｎｄ Ｂ）」を含むように、非排他的であることを指すために使用される。本文書において、用語「ｉｎｃｌｕｄｉｎｇ（含む）」および「ｉｎ ｗｈｉｃｈ（その中で）」は、それぞれの用語「ｃｏｍｐｒｉｓｉｎｇ（含む）」および「ｗｈｅｒｅｉｎ（ここで）」の平易な英語の等価物として使用される。また、以下の請求項において、用語「ｉｎｃｌｕｄｉｎｇ（含む）」および「ｃｏｍｐｒｉｓｉｎｇ（含む）」は、オープンエンドであり、すなわち、請求項中のこのような用語の後に記載された要素に加えた要素を含むシステム、装置、成形品、組成物、製剤、またはプロセスは、依然としてその請求項の範囲内に含まれるものとみなされる。さらに、以下の請求項では、「第１の」、「第２の」、「第３の」などの用語は、単なるラベルとして使用されており、それらの対象に数値要件を課すことを意図していない。
［００９５］
本明細書に記載された方法の実施例は、少なくとも部分的に機械的またはコンピュータ的に実施することができる。いくつかの実施例は、上記の実施例に記載されているような方法を実行するように電子デバイスを構成するために操作可能な命令をコード化したコンピュータ読み取り可能な媒体または機械読み取り可能な媒体を含むことができる。このような方法の実装は、マイクロコード、アセンブリ言語コード、より上位の言語コードなどのコードを含むことができる。このようなコードは、様々な方法を実行するためのコンピュータ読み取り可能な命令を含むことができる。コードは、コンピュータプログラム製品の一部を形成することができる。さらに、例示的な実施形態では、コードは、実行中または他の時間帯に、１つまたはそれ以上の揮発性、非一過性、または非揮発性の有形コンピュータ可読媒体に目に見える方法で記憶することができる。これらの有形のコンピュータ可読媒体の例としては、ハードディスク、取り外し可能な磁気ディスク、取り外し可能な光ディスク（例えば、コンパクトディスクおよびデジタルビデオディスク）、磁気カセット、メモリカードまたはスティック、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）などが挙げられるが、これらに限定されるものではない。
本明細書に記載された方法の実施例は、少なくとも部分的に機械的またはコンピュータ的に実施することができる。いくつかの実施例は、上記の実施例に記載されているような方法を実行するように電子デバイスを構成するために操作可能な命令をコード化したコンピュータ読み取り可能な媒体または機械読み取り可能な媒体を含むことができる。このような方法の実装は、マイクロコード、アセンブリ言語コード、より上位の言語コードなどのコードを含むことができる。このようなコードは、様々な方法を実行するためのコンピュータ読み取り可能な命令を含むことができる。コードは、コンピュータプログラム製品の一部を形成することができる。さらに、例示的な実施形態では、コードは、実行中または他の時間帯に、１つまたはそれ以上の揮発性、非一過性、または非揮発性の有形コンピュータ可読媒体に目に見える方法で記憶することができる。これらの有形のコンピュータ可読媒体の例としては、ハードディスク、取り外し可能な磁気ディスク、取り外し可能な光ディスク（例えば、コンパクトディスクおよびデジタルビデオディスク）、磁気カセット、メモリカードまたはスティック、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）などが挙げられるが、これらに限定されるものではない。
［００９６］
上記の説明は例示的なものであり、制限的なものではない。例えば、上述した実施例（またはその１つまたはそれ以上の態様）は、互いに組み合わせて使用することができる。他の実施形態は、上記の説明を検討する際に当業者によるように使用されてもよい。要約書は、読者が技術的開示の性質を迅速に確認できるようにするため、アメリカ合衆国特許規則第１．７２（ｂ）（37 C.F.R. §1.72(b)）に準拠して提供されている。それは、請求項の範囲や意味を解釈したり制限したりするものではないと理解した上で提出されている。また、上記の詳細な説明では、開示を簡素化するために、さまざまな機能をグループ化することがある。これは、クレームされていない開示された機能がクレームに不可欠であることを意図するものとして解釈されるべきではない。むしろ、発明の主題は、特定の開示された実施形態のすべての特徴より少ない場合がある。したがって、以下の請求項は、例示または実施形態としてここに詳細な説明に組み込まれ、各請求項は、それ自体が別個の実施形態として成立しており、そのような実施形態は、様々な組み合わせまたは変形で互いに結合されてもよいことが企図されている。本発明の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる均等物の全範囲とともに決定されるべきである。
上記の説明は例示的なものであり、制限的なものではない。例えば、上述した実施例（またはその１つまたはそれ以上の態様）は、互いに組み合わせて使用することができる。他の実施形態は、上記の説明を検討する際に当業者によるように使用されてもよい。要約書は、読者が技術的開示の性質を迅速に確認できるようにするため、アメリカ合衆国特許規則第１．７２（ｂ）（37 C.F.R. §1.72(b)）に準拠して提供されている。それは、請求項の範囲や意味を解釈したり制限したりするものではないと理解した上で提出されている。また、上記の詳細な説明では、開示を簡素化するために、さまざまな機能をグループ化することがある。これは、クレームされていない開示された機能がクレームに不可欠であることを意図するものとして解釈されるべきではない。むしろ、発明の主題は、特定の開示された実施形態のすべての特徴より少ない場合がある。したがって、以下の請求項は、例示または実施形態としてここに詳細な説明に組み込まれ、各請求項は、それ自体が別個の実施形態として成立しており、そのような実施形態は、様々な組み合わせまたは変形で互いに結合されてもよいことが企図されている。本発明の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる均等物の全範囲とともに決定されるべきである。
Claims (20)
- 訓練された統計的学習モデルを用いて医用画像を合成するためのコンピュータ実装方法であって、
前記方法は、
前記第１の撮像モダリティタイプを用いて得られた医用撮像データを受け取るステップと、
前記受け取った医用撮像データに訓練された統計学習モデルを適用して、異なる第２の撮像モダリティタイプに対応する医用画像を合成するステップと、
前記合成された医用画像を表示するために、または更なる処理に使用するために提供するステップと
を有し、
モデル入力で提供される訓練撮像データであって前記第１の撮像モダリティタイプに対応する訓練撮像データと、モデル出力での合成された撮像データであって前記第２の撮像モダリティタイプに対応する合成された撮像データとの間の類似判定を用いて、前記訓練された統計的学習モデルは、少なくとも一部が確立され、
前記第２の撮像モダリティに対応する実際の撮像データと前記合成された撮像データとを識別するように確立されている別個の統計的学習モデルを用いて、前記訓練された統計的学習モデルは、少なくとも一部が確立されている
ことを特徴とするコンピュータ実装方法。 - 請求項１記載のコンピュータ実装方法において、
前記訓練された統計的学習モデルは第１の生成器畳み込みネットワークを有し、前記別個の統計的学習モデルは第１の識別器畳み込みネットワークを有する
ことを特徴とするコンピュータ実装方法。 - 請求項２記載のコンピュータ実装方法において、
前記訓練された統計学習モデルは、第２の生成器畳み込みネットワークおよび第２の識別器畳み込みネットワークを使用することなく確立され、
前記第２の生成器畳み込みネットワークは、前記第２の撮像モダリティタイプに対応する入力画像から前記第１の撮像モダリティタイプに対応する医用画像を合成するように訓練され、
前記第２の識別器ネットワークは、前記第１の撮像モダリティタイプに対応する合成された撮像データと前記第１の撮像モダリティタイプに対応する実際の撮像データとを識別するように確立されている
ことを特徴とするコンピュータ実装方法。 - 請求項２記載のコンピュータ実装方法において、
前記第１の生成器畳み込みネットワークと前記第１の識別器畳み込みネットワークが敵対的ネットワークアーキテクチャを形成し、
前記敵対的ネットワークアーキテクチャは、前記第１の識別器畳み込みネットワークへの入力の分布にわたって目標の値を強化するまたは最大化するように前記第１の識別器畳み込みネットワークを調整し、前記第１の生成器畳み込みネットワークへの入力の分布にわたって前記目標の値を減少させるまたは最小化するように前記第１の生成器畳み込みネットワークを調整するように構成される
ことを特徴とするコンピュータ実装方法。 - 請求項４記載のコンピュータ実装方法において、
前記目標は、敵対的な目標と前記類似判定からの寄与の合計として表示される
ことを特徴とするコンピュータ実装方法。 - 請求項４記載のコンピュータ実装方法において、
前記目標は、（１）実際の撮像データを含む前記第１の識別器への入力が、前記第１の識別器などにより識別される期待値と（２）前記第１の生成器からの合成された画像を含む前記第１の識別器への入力が、前記第１の識別器によって実際の撮像データとして識別されない期待値とを表示する項を含む
ことを特徴とするコンピュータ実装方法。 - 請求項１記載のコンピュータ実装方法において、
前記類似判定は、相互情報判定または交差相関判定のうちの少なくとも１つを有する
ことを特徴とするコンピュータ実装方法。 - 請求項１記載のコンピュータ実装方法において、
前記第１の撮像モダリティタイプは、磁気共鳴（ＭＲ）撮像を有し、
前記第２の撮像モダリティタイプは、コンピュータ断層撮影（ＣＴ）撮像を有する
ことを特徴とするコンピュータ実装方法。 - 請求項１乃至８のいずれか１項に記載のコンピュータ実装方法において、
前記合成された画像を表示することは、放射線治療計画または管理で用いるためにＭＲ−ＬＩＮＡＣワークステーションに前記画像を表示することを含む
ことを特徴とするコンピュータ実装方法。 - 請求項１乃至８のいずれか１項に記載のコンピュータ実装方法において、
前記合成された医用画像の少なくとも一部に基づいて、放射線治療プロトコルを更新することまたは更新を受け取ることを有する
ことを特徴とするコンピュータ実装方法。 - 訓練のためのペア画像を必要とすることなく医用画像を合成する訓練された統計的学習モデルを確立するためのコンピュータ実装方法であって、
前記方法は、
前記第１の撮像モダリティタイプに対応する訓練医用撮像データを受け取るステップと、
前記受け取られた医用撮像データに統計的学習モデルを適用して、異なる第２の撮像モダリティタイプに対応する撮像データを合成するステップと、
前記訓練撮像データと前記モデル出力での合成撮像データとの間の類似判定を用いて、前記統計的学習モデルの少なくとも一部を調整するステップと、
前記合成された撮像データと前記第２の撮像モダリティタイプに対応する実際の撮像データとを識別するために確立された別個の統計的学習モデルを用いて、前記統計的学習モデルの少なくとも一部を調整するステップと
を有する
ことを特徴とするコンピュータ実装方法。 - 請求項１１記載のコンピュータ実装方法において、
前記統計的学習モデルは第１の生成器畳み込みネットワークを有し、前記別個の統計的学習モデルは第１の識別器畳み込みネットワークを有する
ことを特徴とするコンピュータ実装方法。 - 請求項１２記載のコンピュータ実装方法において、
前記統計的学習モデルを調整するステップは、確率的勾配降下法を使用することを含む
ことを特徴とするコンピュータ実装方法。 - 請求項１２記載のコンピュータ実装方法において、
前記第１の生成器畳み込みネットワークと前記第１の識別器畳み込みネットワークが敵対的ネットワークアーキテクチャを形成し、
前記敵対的ネットワークアーキテクチャは、前記第１の識別器畳み込みネットワークへの入力の分布にわたって目標の値を強化するまたは最大化するように前記第１の識別器畳み込みネットワークを調整し、前記第１の生成器畳み込みネットワークへの入力の分布にわたって前記目標の値を減少させるまたは最小化するように前記第１の生成器畳み込みネットワークを調整するように構成される
ことを特徴とするコンピュータ実装方法。 - 請求項１４記載のコンピュータ実装方法において、
前記目標は、敵対的な目標と前記類似判定からの寄与の合計として表示される
ことを特徴とするコンピュータ実装方法。 - 請求項１４記載のコンピュータ実装方法において、
前記目標は、（１）実際の撮像データを含む前記第１の識別器への入力が、前記第１の識別器などにより識別される期待値と（２）前記第１の生成器からの合成された画像を含む前記第１の識別器への入力が、前記第１の識別器によって実際の撮像データとして識別されない期待値とを表示する項を含む
ことを特徴とするコンピュータ実装方法。 - 請求項１１記載のコンピュータ実装方法において、
前記類似判定は、相互情報判定または交差相関判定のうちの少なくとも１つを有する
ことを特徴とするコンピュータ実装方法。 - 請求項１１乃至１７のいずれか１項に記載のコンピュータ実装方法において、
前記第１の撮像モダリティタイプは、磁気共鳴（ＭＲ）撮像を有し、
前記第２の撮像モダリティタイプは、コンピュータ断層撮影（ＣＴ）撮像を有する
ことを特徴とするコンピュータ実装方法。 - 少なくとも１つのプロセッサを有する処理回路と、
命令を含む記憶媒体と
を有するシステムであって、
前記少なくとも１つのプロセッサによって前記命令が実行された場合に、前記プロセッサに、
前記第１の撮像モダリティタイプを用いて得られた医用撮像データを受け取るステップと、
前記受け取った医用撮像データに訓練された統計学習モデルを適用して、異なる第２の撮像モダリティタイプに対応する医用画像を合成するステップと、
前記合成された医用画像を表示するために、または更なる処理に使用するために提供するステップと
を実行させ、
モデル入力で提供される訓練撮像データであって前記第１の撮像モダリティタイプに対応する訓練撮像データと、モデル出力での合成された撮像データであって前記第２の撮像モダリティタイプに対応する合成された撮像データとの間の類似判定を用いて、前記訓練された統計的学習モデルは、少なくとも一部が確立され、
前記第２の撮像モダリティに対応する実際の撮像データと前記合成された撮像データとを識別するように確立されている別個の統計的学習モデルを用いて、前記訓練された統計的学習モデルは、少なくとも一部が確立されている
ことを特徴とするシステム。 - 請求項１９記載のシステムにおいて、
前記命令は、前記プロセッサに、前記合成された医用画像の少なくとも一部に基づいて、放射線治療プロトコルを更新することまたは更新を受け取るステップを実行させる
ことを特徴とするシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/952,686 US11100632B2 (en) | 2018-04-13 | 2018-04-13 | Image synthesis using adversarial networks such as for radiation therapy |
| US15/952,686 | 2018-04-13 | ||
| PCT/US2019/026400 WO2019199699A1 (en) | 2018-04-13 | 2019-04-08 | Image synthesis using adversarial networks |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021521534A true JP2021521534A (ja) | 2021-08-26 |
Family
ID=66248784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020556251A Pending JP2021521534A (ja) | 2018-04-13 | 2019-04-08 | 敵対的ネットワークを使用した画像合成 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11100632B2 (ja) |
| EP (1) | EP3776354A1 (ja) |
| JP (1) | JP2021521534A (ja) |
| CN (1) | CN111971689A (ja) |
| AU (2) | AU2019253572B2 (ja) |
| WO (1) | WO2019199699A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021521993A (ja) * | 2018-04-26 | 2021-08-30 | エレクタ、インク.Elekta, Inc. | 敵対的生成ネットワークを使用した画像強調 |
| US11699281B2 (en) | 2018-04-13 | 2023-07-11 | Elekta, Inc. | Image synthesis using adversarial networks such as for radiation therapy |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11850445B2 (en) | 2016-09-07 | 2023-12-26 | Elekta, Inc. | System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions |
| AU2017420781B2 (en) | 2017-06-26 | 2020-12-17 | Elekta, Inc. | Method for improving cone-beam CT image quality using a deep convolutional neural network |
| US11517768B2 (en) | 2017-07-25 | 2022-12-06 | Elekta, Inc. | Systems and methods for determining radiation therapy machine parameter settings |
| US11557390B2 (en) * | 2018-04-30 | 2023-01-17 | Elekta, Inc. | Radiotherapy treatment plan modeling using generative adversarial networks |
| WO2019224800A1 (en) * | 2018-05-25 | 2019-11-28 | Mahajan Vidur | Method and system for simulating and constructing original medical images from one modality to other modality |
| US11853892B2 (en) * | 2018-07-11 | 2023-12-26 | Google Llc | Learning to segment via cut-and-paste |
| US10803591B2 (en) * | 2018-08-28 | 2020-10-13 | International Business Machines Corporation | 3D segmentation with exponential logarithmic loss for highly unbalanced object sizes |
| CN109754447B (zh) * | 2018-12-28 | 2021-06-22 | 上海联影智能医疗科技有限公司 | 图像生成方法、装置、设备和存储介质 |
| US10867375B2 (en) * | 2019-01-30 | 2020-12-15 | Siemens Healthcare Gmbh | Forecasting images for image processing |
| US11062459B2 (en) * | 2019-02-07 | 2021-07-13 | Vysioneer INC. | Method and apparatus for automated target and tissue segmentation using multi-modal imaging and ensemble machine learning models |
| US11933870B2 (en) * | 2019-06-19 | 2024-03-19 | Siemens Healthineers Ag | Contrast and/or system independent motion detection for magnetic resonance imaging |
| EP4004875A1 (en) | 2019-07-22 | 2022-06-01 | Raytheon Company | Cross-modality image generation |
| US11373064B2 (en) | 2019-07-22 | 2022-06-28 | Raytheon Company | Cross-modality automatic target recognition |
| AU2020347797A1 (en) * | 2019-09-18 | 2022-03-31 | Bayer Aktiengesellschaft | Forecast of MRI images by means of a forecast model trained by supervised learning |
| AU2020349121A1 (en) | 2019-09-18 | 2022-03-31 | Bayer Aktiengesellschaft | System, method, and computer program product for predicting, anticipating, and/or assessing tissue characteristics |
| US11062486B2 (en) * | 2019-10-21 | 2021-07-13 | Siemens Medical Solutions Usa, Inc. | Methods and apparatus for deep learning based data transfer between imaging systems |
| EP4049238A1 (en) * | 2019-10-25 | 2022-08-31 | Deephealth, Inc. | System and method for analyzing three-dimensional image data |
| EP3816864A1 (en) * | 2019-10-28 | 2021-05-05 | Robert Bosch GmbH | Device and method for the generation of synthetic data in generative networks |
| CN111105013B (zh) * | 2019-11-05 | 2023-08-11 | 中国科学院深圳先进技术研究院 | 对抗网络架构的优化方法、图像描述生成方法和系统 |
| WO2021113326A1 (en) * | 2019-12-03 | 2021-06-10 | Leverton Holding Llc | Data style transformation with adversarial models |
| US11348243B2 (en) | 2020-01-24 | 2022-05-31 | GE Precision Healthcare LLC | Systems and methods for medical image style transfer using deep neural networks |
| US11077320B1 (en) | 2020-02-07 | 2021-08-03 | Elekta, Inc. | Adversarial prediction of radiotherapy treatment plans |
| US20210387018A1 (en) * | 2020-06-11 | 2021-12-16 | Varian Medical Systems International Ag | Method and Apparatus to Facilitate Administering Therapeutic Radiation to a Patient |
| CN111835983B (zh) * | 2020-07-23 | 2021-06-29 | 福州大学 | 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统 |
| JP7505116B2 (ja) | 2020-08-21 | 2024-06-24 | ベンタナ メディカル システムズ， インコーポレイテッド | デジタル病理画像についてのマルチスキャナにおける相違の深層学習を使用した補正 |
| US20220059221A1 (en) * | 2020-08-24 | 2022-02-24 | Nvidia Corporation | Machine-learning techniques for oxygen therapy prediction using medical imaging data and clinical metadata |
| US11992702B2 (en) | 2020-09-21 | 2024-05-28 | Elekta, Inc. | Machine learning optimization of fluence maps for radiotherapy treatment |
| US11478661B2 (en) * | 2020-09-29 | 2022-10-25 | Varian Medical Systems International Ag | Trajectory optimization using dose estimation and conflict detection |
| US20230377320A1 (en) * | 2020-10-13 | 2023-11-23 | Koninklijke Philips N.V. | Deep learning model training of x-ray and ct |
| US11620453B2 (en) * | 2020-10-16 | 2023-04-04 | CS Disco, Inc. | System and method for artificial intelligence driven document analysis, including searching, indexing, comparing or associating datasets based on learned representations |
| US11915401B2 (en) | 2020-12-09 | 2024-02-27 | Shenzhen Institutes Of Advanced Technology | Apriori guidance network for multitask medical image synthesis |
| CN113205567A (zh) * | 2021-04-25 | 2021-08-03 | 复旦大学 | 基于深度学习的mri影像合成ct影像的方法 |
| KR102412874B1 (ko) * | 2021-07-27 | 2022-06-24 | 주식회사 제이엔제이테크 | 조제검수장치의 영상 감시 시스템 및 방법 |
| CN114820861A (zh) * | 2022-05-18 | 2022-07-29 | 北京医智影科技有限公司 | 基于CycleGAN的MR合成CT方法、设备和计算机可读存储介质 |
| CN116737129B (zh) * | 2023-08-08 | 2023-11-17 | 杭州比智科技有限公司 | 一种供应链控制塔生成式大语言模型及其构建方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018505705A (ja) * | 2014-12-10 | 2018-03-01 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 機械学習を用いた医用イメージングの変換のためのシステムおよび方法 |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3642591B2 (ja) | 1994-11-29 | 2005-04-27 | 株式会社日立メディコ | 画像処理装置 |
| JP2008036284A (ja) * | 2006-08-09 | 2008-02-21 | Toshiba Corp | 医用画像合成方法及びその装置 |
| CN103339652A (zh) | 2010-12-01 | 2013-10-02 | 皇家飞利浦电子股份有限公司 | 靠近伪影源的诊断图像特征 |
| WO2012139031A1 (en) | 2011-04-06 | 2012-10-11 | The Trustees Of Columbia University In The City Of New York | System, method and computer-accessible medium for providing a panoramic cone beam computed tomography (cbct) |
| US8705828B2 (en) | 2011-08-31 | 2014-04-22 | Carestream Health, Inc. | Methods and apparatus for super resolution scanning for CBCT system and cone-beam image reconstruction |
| US9202296B2 (en) | 2011-09-16 | 2015-12-01 | Caresteam Health, Inc. | Metal artifacts reduction for cone beam CT |
| US9332953B2 (en) | 2012-08-31 | 2016-05-10 | The University Of Chicago | Supervised machine learning technique for reduction of radiation dose in computed tomography imaging |
| KR20160020917A (ko) | 2014-08-14 | 2016-02-24 | 삼성전자주식회사 | 컴퓨터 보조 진단 장치 및 방법 |
| US9922272B2 (en) * | 2014-09-25 | 2018-03-20 | Siemens Healthcare Gmbh | Deep similarity learning for multimodal medical images |
| WO2016069633A1 (en) * | 2014-10-27 | 2016-05-06 | Elekta, Inc. | Image guidance for radiation therapy |
| US9878177B2 (en) * | 2015-01-28 | 2018-01-30 | Elekta Ab (Publ) | Three dimensional localization and tracking for adaptive radiation therapy |
| US10034648B2 (en) | 2016-01-13 | 2018-07-31 | Carestream Health, Inc. | System and method for motion artifacts reduction |
| CN105741241B (zh) * | 2016-01-27 | 2018-08-17 | 中南民族大学 | 基于合成增强图像的肿瘤区域图像增强方法及系统 |
| US10387765B2 (en) | 2016-06-23 | 2019-08-20 | Siemens Healthcare Gmbh | Image correction using a deep generative machine-learning model |
| CN106373109B (zh) * | 2016-08-31 | 2018-10-26 | 南方医科大学 | 一种医学图像模态合成的方法 |
| US20180070902A1 (en) | 2016-09-14 | 2018-03-15 | Carestream Health, Inc. | Apparatus and method for 4d x-ray imaging |
| US10346974B2 (en) | 2017-05-18 | 2019-07-09 | Toshiba Medical Systems Corporation | Apparatus and method for medical image processing |
| CN107341813B (zh) * | 2017-06-15 | 2019-10-25 | 西安电子科技大学 | 基于结构学习和素描特性推理网络的sar图像分割方法 |
| AU2017420781B2 (en) | 2017-06-26 | 2020-12-17 | Elekta, Inc. | Method for improving cone-beam CT image quality using a deep convolutional neural network |
| US11257259B2 (en) | 2017-08-15 | 2022-02-22 | Siemens Healthcare Gmbh | Topogram prediction from surface data in medical imaging |
| CN107506770A (zh) * | 2017-08-17 | 2017-12-22 | 湖州师范学院 | 糖尿病视网膜病变眼底照相标准图像生成方法 |
| CN107506800A (zh) * | 2017-09-21 | 2017-12-22 | 深圳市唯特视科技有限公司 | 一种基于无监督域适应的无标签视频人脸识别方法 |
| US10593051B2 (en) * | 2017-12-20 | 2020-03-17 | International Business Machines Corporation | Medical image registration guided by target lesion |
| US10592779B2 (en) * | 2017-12-21 | 2020-03-17 | International Business Machines Corporation | Generative adversarial network medical image generation for training of a classifier |
| US10878529B2 (en) | 2017-12-22 | 2020-12-29 | Canon Medical Systems Corporation | Registration method and apparatus |
| US11062489B2 (en) | 2018-02-13 | 2021-07-13 | Wisconsin Alumni Research Foundation | System and method for multi-architecture computed tomography pipeline |
| US10910099B2 (en) * | 2018-02-20 | 2021-02-02 | Siemens Healthcare Gmbh | Segmentation, landmark detection and view classification using multi-task learning |
| US10825227B2 (en) * | 2018-04-03 | 2020-11-03 | Sri International | Artificial intelligence for generating structured descriptions of scenes |
| US11100632B2 (en) | 2018-04-13 | 2021-08-24 | Elekta, Inc. | Image synthesis using adversarial networks such as for radiation therapy |
| US11501438B2 (en) | 2018-04-26 | 2022-11-15 | Elekta, Inc. | Cone-beam CT image enhancement using generative adversarial networks |
-
2018
- 2018-04-13 US US15/952,686 patent/US11100632B2/en active Active
-
2019
- 2019-04-08 CN CN201980025669.7A patent/CN111971689A/zh active Pending
- 2019-04-08 AU AU2019253572A patent/AU2019253572B2/en active Active
- 2019-04-08 WO PCT/US2019/026400 patent/WO2019199699A1/en unknown
- 2019-04-08 EP EP19719052.3A patent/EP3776354A1/en active Pending
- 2019-04-08 JP JP2020556251A patent/JP2021521534A/ja active Pending
-
2021
- 2021-07-20 US US17/443,035 patent/US11699281B2/en active Active
-
2022
- 2022-01-27 AU AU2022200517A patent/AU2022200517B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018505705A (ja) * | 2014-12-10 | 2018-03-01 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 機械学習を用いた医用イメージングの変換のためのシステムおよび方法 |
Non-Patent Citations (2)
| Title |
|---|
| AVI BEN-COHEN, ET AL.: "Virtual PET Images from CT Data Using Deep Convolutional Networks: Initial Results", ARXIV:1707.09585V1, JPN7021003289, 30 July 2017 (2017-07-30), pages 1 - 9, ISSN: 0004685111 * |
| PHILLIP ISOLA, ET AL.: "Image-to-Image translation with conditional adversarial networks", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, JPN6022001718, 2017, pages 5967 - 5976, XP055620831, ISSN: 0004685112, DOI: 10.1109/CVPR.2017.632 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11699281B2 (en) | 2018-04-13 | 2023-07-11 | Elekta, Inc. | Image synthesis using adversarial networks such as for radiation therapy |
| JP2021521993A (ja) * | 2018-04-26 | 2021-08-30 | エレクタ、インク.Elekta, Inc. | 敵対的生成ネットワークを使用した画像強調 |
| JP7039153B2 (ja) | 2018-04-26 | 2022-03-22 | エレクタ、インク． | 敵対的生成ネットワークを使用した画像強調 |
| US11501438B2 (en) | 2018-04-26 | 2022-11-15 | Elekta, Inc. | Cone-beam CT image enhancement using generative adversarial networks |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2019253572B2 (en) | 2021-11-18 |
| US20220012881A1 (en) | 2022-01-13 |
| AU2022200517B2 (en) | 2024-02-01 |
| AU2019253572A1 (en) | 2020-11-26 |
| US20190318474A1 (en) | 2019-10-17 |
| CN111971689A (zh) | 2020-11-20 |
| EP3776354A1 (en) | 2021-02-17 |
| US11699281B2 (en) | 2023-07-11 |
| WO2019199699A1 (en) | 2019-10-17 |
| US11100632B2 (en) | 2021-08-24 |
| AU2022200517A1 (en) | 2022-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2022200517B2 (en) | Image synthesis using adversarial networks | |
| US11547874B2 (en) | Machine learning approach to real-time patient motion monitoring | |
| US11491348B2 (en) | Real-time patient motion monitoring using a magnetic resonance linear accelerator (MRLINAC) | |
| JP6960509B2 (ja) | 合成医療画像を生成するためのニューラルネットワーク | |
| US20240075315A1 (en) | System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions | |
| US10751548B2 (en) | Automated image segmentation using DCNN such as for radiation therapy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210518 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210824 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211119 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220118 |