JP2019526380A - 放射線療法治療計画のモデルを学習して放射線療法の線量分布を予測するためのシステムおよび方法 - Google Patents
放射線療法治療計画のモデルを学習して放射線療法の線量分布を予測するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2019526380A JP2019526380A JP2019513074A JP2019513074A JP2019526380A JP 2019526380 A JP2019526380 A JP 2019526380A JP 2019513074 A JP2019513074 A JP 2019513074A JP 2019513074 A JP2019513074 A JP 2019513074A JP 2019526380 A JP2019526380 A JP 2019526380A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- dose
- map
- dose distribution
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011282 treatment Methods 0.000 title claims abstract description 170
- 238000001959 radiotherapy Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000009826 distribution Methods 0.000 title claims abstract description 74
- 238000013439 planning Methods 0.000 title description 42
- 238000012549 training Methods 0.000 claims abstract description 200
- 238000013528 artificial neural network Methods 0.000 claims abstract description 87
- 238000012545 processing Methods 0.000 claims description 45
- 210000003484 anatomy Anatomy 0.000 claims description 38
- 238000003062 neural network model Methods 0.000 claims description 38
- 238000013527 convolutional neural network Methods 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 20
- 230000002441 reversible effect Effects 0.000 claims description 7
- 238000007620 mathematical function Methods 0.000 claims 3
- 238000010801 machine learning Methods 0.000 abstract description 7
- 238000013459 approach Methods 0.000 abstract description 5
- 230000005855 radiation Effects 0.000 description 65
- 230000008569 process Effects 0.000 description 51
- 238000003384 imaging method Methods 0.000 description 49
- 238000002591 computed tomography Methods 0.000 description 48
- 238000002595 magnetic resonance imaging Methods 0.000 description 38
- 206010028980 Neoplasm Diseases 0.000 description 34
- 230000006870 function Effects 0.000 description 34
- 230000015654 memory Effects 0.000 description 34
- 238000004891 communication Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 21
- 230000000875 corresponding effect Effects 0.000 description 20
- 210000000056 organ Anatomy 0.000 description 17
- 238000011176 pooling Methods 0.000 description 17
- 238000003860 storage Methods 0.000 description 16
- 238000002725 brachytherapy Methods 0.000 description 14
- 238000000605 extraction Methods 0.000 description 13
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 11
- 238000002059 diagnostic imaging Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 238000002603 single-photon emission computed tomography Methods 0.000 description 9
- 238000002600 positron emission tomography Methods 0.000 description 8
- 210000002307 prostate Anatomy 0.000 description 8
- 238000012384 transportation and delivery Methods 0.000 description 8
- 238000002604 ultrasonography Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000000670 limiting effect Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 238000002560 therapeutic procedure Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 238000007408 cone-beam computed tomography Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 5
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 description 5
- 238000003325 tomography Methods 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 238000012285 ultrasound imaging Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013170 computed tomography imaging Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000000799 fluorescence microscopy Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000011287 therapeutic dose Methods 0.000 description 3
- 238000005481 NMR spectroscopy Methods 0.000 description 2
- 238000012879 PET imaging Methods 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000000133 brain stem Anatomy 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011369 optimal treatment Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 210000000278 spinal cord Anatomy 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000005010 torso Anatomy 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 235000013929 Psidium pyriferum Nutrition 0.000 description 1
- 244000236580 Psidium pyriferum Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 210000000695 crystalline len Anatomy 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 231100000673 dose–response relationship Toxicity 0.000 description 1
- 238000004980 dosimetry Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000011221 initial treatment Methods 0.000 description 1
- 238000002721 intensity-modulated radiation therapy Methods 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000000920 organ at risk Anatomy 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 238000002673 radiosurgery Methods 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000001625 seminal vesicle Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011272 standard treatment Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 201000010653 vesiculitis Diseases 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/103—Treatment planning systems
- A61N5/1039—Treatment planning systems using functional images, e.g. PET or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/103—Treatment planning systems
- A61N5/1031—Treatment planning systems using a specific method of dose optimization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Software Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiation-Therapy Devices (AREA)
Abstract
Description
[0001]
この出願は「Learning Models of Radiotherapy Treatment Plans to Predict Therapy Dose Distributions」なる発明の名称の2016年9月7日に出願された米国仮特許出願第62/384,192号の全利益および優先権を主張し、この仮特許出願の開示は、あらゆる目的のために参照により本明細書に完全に組み込まれる。
[0002]
本発明は一般に放射線治療システムに関する。より具体的には、開示された発明の実施形態は、機械学習アルゴリズムおよびニューラルネットワークを利用する放射線治療システム内で放射線治療計画を開発および実施するためのシステムおよび方法を扱う。
放射線療法は、ヒト(および動物)組織中の腫瘍を治療するために利用されてきた。強度変調放射線療法(FMRT)および体積変調アーク療法(VMAT)は、現代の癌放射線療法における標準治療となり、以前の治療法よりも標的照射の精度を高め、近くの敏感な組織をより強力に保護する。残念ながら、個々の患者治療計画(例えば、FMRT、VMAT、などのいずれか)を作成することは、計算集約的プロセスと試行錯誤プロセスの両方であり得る。重要な臓器や周囲の健康な組織を節約しながら、規定の線量の放射線を標的に照射する最適な治療計画をたてることは、忙しい診療所のスケジュールで可能であるよりも多くの時間を必要とし、結果的に失敗(例えば、提案された計画から生じる過剰投与されたホットスポットや未治療の腫瘍塊)となる。
さらに、治療計画は、プログラムの制約を操作し、次にフルエンスマップ、あるいはその代わり、またはそれに加えて線量マップを再計算することによって調整される。本明細書で使用されるように、「フルエンスマップ」は、患者における局所的なエネルギーの蓄積を表す。例えば、フルエンスマップは、例えば、組織を貫通することを考慮に入れて、3D画像中の各ボクセル(体積要素)を横切る照射された放射線の1秒当たりの粒子または光子の数を表すことができる。また、本明細書では、「線量マップ」は、特定の位置(例えばビーム角)で放射線治療装置から患者に送達されるべき放射線量を表し、ガントリおよびマルチリーフコリメータの運動上の制約または放射線治療システムの他の送達上の制約などの特定の放射線治療装置情報を利用する。
再計算されたフルエンス/線量マップに対するこれらの操作の影響を予測するのは難しい。例えば、プログラム制約が調整される順序でさえも、フルエンス/線量マップに影響を及ぼし得る。結果として、治療計画はしばしば経験豊富な施術者の主観的判断に左右される。治療計画の質を保証することの困難さは、測定基準(例えば、線量−容積ヒストグラム、重なり−容積ヒストグラム)を定義することによって対処されており、これらの測定基準を使用することは関連する高品質治療計画の特定に役立ち得る。しかし、最も熟練した施術者でさえ、治療計画の最適性や追加の努力によってより良い治療計画を特定できるかどうかを保証することはできない。
治療計画を作成する試行錯誤のプロセスは当技術分野において周知である。例えば、医療専門家が治療計画プロセスを実行するのに必要な時間量のために、初期治療が遅れる可能性がある。EVIRTと比較して、VMATの治療計画は、実質的により多くの治療計画時間(例えば、EVIRTとして最適化された治療計画を得るための計画時間の5倍から6.8倍まで)を必要とすることを示した研究がある。
これらのアプローチは、深いローカル専門知識および/または新しい機器がない治療クリニックにとって特に問題であり、適応療法における使用には不適当である。例えば、典型的な放射線療法治療計画は、複数の治療セッション(例えば、週に5日間まで)を含む一連の放射線療法の開始前に、何週間にもわたり(例えば、8週間まで)行われる。対照的に、適応放射線療法は、元の治療計画に対する患者の変化を評価し、治療精度を高めるために、元の治療計画が適応される。元の治療計画を適応させるには、治療計画を繰り返す必要がある。例えば、適応治療計画は、追加の画像化、治療計画、室内画像化、画像登録および治療実施前の補正を必要とする。明らかに、放射線療法治療計画システムは、より最適化された一貫した治療計画アプローチから恩恵を得ることができる。
したがって、処方された放射線療法治療のための治療計画を最適化するためにフルエンスマップおよび線量マップを効率的に生成するための新しいシステムおよび方法が必要とされている。そのようなシステムおよび方法は、同じ種類の例示的な治療計画のセットから導出された治療計画プロセスのモデルによって支援される。
本明細書で使用されているように、「機械学習アルゴリズム」とは、既存の情報または知識に基づいてモデルまたはパターンを学習し、新しい情報または知識の入力を使用して出力を予測または推定することができる任意のアルゴリズムを指す。教師あり学習は、トレーニングデータのセットを与えられた予測モデルを推論する機械学習の一分野である。トレーニングデータの個々のサンプルは、データセット(例えば、1つまたは複数の画像または画像データ)と所望の出力値またはデータセットとのペアである。教師あり学習アルゴリズムは、トレーニングデータを分析し、予測関数を生成する。予測関数は、いったんトレーニングによって導出されると、有効な入力に対する正しい出力値またはデータセットを合理的に予測または推定することができる。予測関数は、様々な機械学習モデル、アルゴリズム、および/またはプロセスに基づいて定式化することができる。本開示は、ニューラルネットワーク構成要素を介して実施される機械学習アプローチの使用を通じて放射線療法治療計画を策定するためのシステムおよび方法に関する。
一実施形態では、放射線療法治療システムが放射線療法線量を予測するために提供される。このシステムは、1つまたは複数の三次元医用画像を取得するための画像取得装置と、1つまたは複数の三次元医用画像とニューラルネットワークモデルと1つまたは複数の三次元解剖学的構造マップと1つまたは複数の三次元線量分布を記憶するための非一時的機械可読媒体と、画像処理装置とを含む。画像処理装置は、ニューラルネットワークモデルをトレーニングし、1つまたは複数の三次元医用画像と1つまたは複数の三次元解剖学的マップに基づくフルエンスマップおよび線量マップのうちの少なくとも1つを予測し、ニューラルネットワークに基づく三次元線量分布を生成するように構成されている。
別の実施形態では、放射線療法治療システムは、一組のトレーニングデータを取得するための画像取得装置を含む放射線療法線量を予測するために提供される。トレーニングデータは、1つまたは複数の三次元医用画像と、ニューラルネットワークモデルと、1つまたは複数の三次元解剖学的マップと、1つまたは複数の三次元線量分布を含む。さらに、このシステムは、トレーニングデータと第1のニューラルネットワークモデルと第2のニューラルネットワークモデルを記憶するための非一時的機械可読媒体を含む。このシステムは、さらに、トレーニングデータを使用して第1のニューラルネットワークモデルをトレーニングして第1の線量分布を予測するために使用される画像処理装置を含む。画像プロセッサは、また、トレーニングデータを使用して第2のニューラルネットワークモデルをトレーニングして第2の線量分布を予測する。第1の線量分布と第2の線量分布とを比較することによって誤差が決定され、この誤差は第1のニューラルネットワークモデルをさらにトレーニングするために使用される。
放射線療法線量を予測するための方法が提供される。この方法は、画像取得装置から1つまたは複数の三次元医用画像を受信することを含む。この方法は、さらに、三次元画像と、ニューラルネットワークモデルと、1つまたは複数の三次元解剖学的マップと、1つまたは複数の三次元線量分布とを非一時的コンピュータ可読媒体に格納する。この方法は、プロセッサを使用して、ニューラルネットワークをトレーニングして、1つまたは複数の三次元医用画像および1つまたは複数の三次元解剖学的マップおよび1つまたは複数の三次元線量分布に基づくフルエンスマップおよび線量マップの少なくとも一方を予測する。そして、この方法は、ニューラルネットワーク予測に基づいて三次元線量分布を生成する。
本発明の実施形態の有益な効果は数多くあり、患者への放射線治療の計画と実施における費用と遅延を減少させること、計画設計における主観性を低下させること、計画策定のための有用なガイドラインまたは洞察を提供すること、既存計画の実績を予測すること、現地の専門知識が不足している治療クリニックに支援を提供することを含む。いずれにしても、このプロセスは、従来技術の実装の非効率的な試行錯誤の局面を置き換え、以前の実装よりも計画の正確さ性能の改善を提供する。さらに、本明細書に組み込まれてその一部を構成する添付の図面は、本発明のいくつかの実施形態を示し、その説明と共に本発明の原理を説明するのに役立つ。
本明細書の一部を構成する添付の図面は、いくつかの実施形態を例示し、その説明と共に、開示された原理を説明するのに役立つ。
図1は、患者に放射線療法を提供するための例示的な放射線療法システム10を示す図である。放射線治療システム10は、画像処理装置12を含む。画像処理装置12はネットワーク20に接続される。ネットワーク20はインターネット22に接続される。ネットワーク20は、画像処理装置12をデータベース24、病院データベース26、腫瘍学情報システム(OIS)28、放射線治療装置30、画像取得装置32、表示装置34、表示装置34、およびユーザインターフェース36のうちの1つまたは複数と接続することができる。例えば、ネットワーク20は、画像処理装置12を、データベース24または病院データベース26、表示装置34、およびユーザインターフェース36と接続することができる。また、例えば、ネットワーク20は、画像処理装置12を、放射線治療装置30、画像取得装置32、表示装置34、およびユーザインターフェース36と接続することができる。画像処理装置12は、放射線療法装置30によって使用される放射線療法治療計画を生成するように構成されている。さらに、画像処理装置12は、画像プロセッサ14に通信可能に結合されたユーザインターフェースおよびディスプレイ(図示せず)をさらに備える。
本明細書で使用されるように、画像データまたは画像データは、例えば、物の1つまたは複数の画像を取得または構築するために使用することができる情報を含む、物の画像またはビューを表す情報を指す。例えば、腫瘍の画像は、画素値の配列によって表すことができ、各画素は、輝度および色などのパラメータについての画像データと関連付けられる。そのようなパラメータは、さまざまな規則(conventions)またはスキーム(schemes)のいずれを使用することができ、例えば、色は、RGB、CMYK、CIE、またはHSVカラーモデルを使用して表現することができる。画像データは、例えば、様々な画像、ASCII、数値、圧縮、または標準化フォーマットのうちのいずれかでの1つまたは複数のコンピュータファイルを含む、任意のフォーマットで格納することができる。画像は、二次元(2D)および三次元(3D)を含む多次元であり得、そしてより少ない次元の画像を得るために多くの次元の画像データが使用され得る。例えば、3D画像データは、そこから複数の異なる2D画像を取得することができる、またはそこから様々な3D等面(3D iso-surfaces)をレンダリングすることができるデータを含むことができる。同様に、4D画像データ(例えば、時系列の3D画像)は、そこから複数の異なる3D画像または2D画像を得ることができるデータを含むことができる。
画像処理装置12は、記憶装置16と、画像プロセッサのようなプロセッサ14と、ニューラルネットワーク47、通信インターフェース18を含むことができる。ニューラルネットワーク47は、深層畳み込みニューラルネットワーク(DCNN)アーキテクチャを含むことができ、ニューラルネットワーク47は、メモリ装置16に格納されたソフトウェアを介して、画像処理装置12に結合された(ハードウェアアクセラレータまたはグラフィックス処理ユニットのような)外部ハードウェアを介して、または、格納されているソフトウェアと外部ハードウェアの組み合わせを介して、実装することができる。メモリ装置16は、オペレーティングシステム43、放射線療法治療計画42(例えば、オリジナルの治療計画、適合された治療計画など)、ソフトウェアプログラム44(例えば、人工知能、ニューラルネットワーク47の全部または一部、および放射線療法治療計画ソフトウェア)、および、プロセッサ14によって実行される他の任意のコンピュータ実行可能命令のような非一時的に態様で、コンピュータ実行可能命令を記憶することができる。一実施形態では、ソフトウェアプログラム44は、擬似CT画像のような合成画像を生成することによって、あるタイプ(例えば、MRI)の医用画像を別のタイプ(例えば、CT)の医用画像に変換することができる。本明細書で使用されるように、「医用画像」は、医療目的に有用である人または動物の解剖学的領域のような対象を表す画像を指し、「患者画像」を含む。医用画像データは、とりわけ、CT、磁気共鳴イメージング(MRI)、機能的MRI(例えば、fMRI、DCE−MRI、および拡散MRI)、コーンビームコンピュータ断層撮影(CBCT)、スパイラルCT、陽電子放出断層撮影法(PET)、単光子放出型コンピュータ断層撮影法(SPECT)、X線、光断層撮影法、蛍光イメージング、超音波イメージング、放射線治療ポータルイメージングのような、任意の種類の撮像モダリティによって取得することができる。医用撮像データは、DICOMフォーマット、JPEG、TIFF、GIF、EPS、PNG、PDF、スケーラブルベクトルグラフィックス、ビットマップ、または他の任意の従来のもしくは従来にはない画像データフォーマットを含む任意のフォーマットで記憶することができる。「2D医用画像」または「スライス」は、特定の視点から人または動物の解剖学的領域のような対象物の平面表現を指す。「3D医用画像」は、人または動物の解剖学的領域のような対象物の容積を表す画像を指す。例えば、ソフトウェアプログラム44は、あるモダリティの医用画像46(例えば、MRI画像)を異なるモダリティの合成画像(例えば、擬似CT画像)に変換するための予測モデルをトレーニングするための画像処理プログラムを含むことができ、あるいは、トレーニングされた予測モデルがCT画像をMRI画像に変換することができる。メモリ装置16は、(医用撮像データを含む)医用画像46、患者データ45、および放射線療法治療計画42を作成し実施するのに必要な他のデータを含むデータを記憶することができる。
ソフトウェアプログラム44を記憶するメモリ16の他に、固定された記憶媒体に加えて、またはその代わりに使用できる取り外し可能なコンピュータ媒体にソフトウェアプログラム44を格納することができると考えられ、固定記憶媒体は、ハードドライブ、コンピュータディスク、CD−ROM、DVD、HD、ブルーレイDVD、USBフラッシュドライブ、SDカード、メモリースティック、またはプロセッサ14に接続される他の任意の適切な非一時的媒体のようなデバイスを含む。ソフトウェアプログラム44は、画像処理装置12にダウンロードされたとき、またはアクセス可能なときに、画像プロセッサ14によって実行することができる。
プロセッサ14は、メモリ装置16およびニューラルネットワーク47に通信可能に結合されてもよく、プロセッサ14は、その上に格納されているコンピュータ実行可能命令を実行するように構成されてもよい。プロセッサ14は、ポジション46に格納された医用画像のようなメモリ16またはニューラルネットワーク47の任意の領域に送信または受信することができる。例えば、プロセッサ14は、通信インターフェース18を介してネットワーク20を介して画像取得装置32から医用画像を受信してメモリ16に格納することができる。プロセッサ14は、また、メモリ16、46に格納された医用画像を、通信インターフェース18を介してネットワーク20に送信し、データベース24または病院データベース26に格納することができる。
さらに、プロセッサ14は、医用画像46および患者データ45と共にソフトウェアプログラム44(例えば治療計画ソフトウェア)およびニューラルネットワーク47を利用して、放射線治療計画42を作成することができる。医用画像46は、画像の解釈または処理のためのデータ、患者の解剖学的領域に関連するデータ、臓器、または関心体積、ならびにセグメンテーションデータのような画像データを含むことができる。患者データ45は、(1)機能的臓器モデリングデータ(例えば、連続対並列臓器、適切用量反応モデルなど)、(2)放射線量データ(例えば、線量−体積ヒストグラム(DVH)情報)、または(3)患者および治療の経過に関する他の臨床情報(例えば、他の手術、化学療法、および以前の放射線療法)のような情報を含むことができる。
さらに、プロセッサ14は、ソフトウェアプログラムを利用して、例えばニューラルネットワーク47によって実施されるモデルによって使用される更新されたパラメータなどの中間データを生成するか、その後メモリ16に記憶される中間の2D画像または3D画像を生成することができる。次に、プロセッサ14は、ネットワーク20を介して通信インターフェース18を介して実行可能な放射線療法治療計画42を放射線療法装置30に送信することができ、放射線療法装置30において放射線療法計画は患者を放射線で治療するために使用される。さらに、プロセッサ14は、ソフトウェアプログラム44を実行して、画像変換、画像分割、深層学習、ニューラルネットワークトレーニング、ニューラルネットワーク評価、および人工知能のような機能を実施することができる。例えば、プロセッサ14は、医用画像をトレーニングするまたは輪郭を描くソフトウェアプログラム44を実行することができ、そのようなソフトウェア44は、実行されたときに境界検出器をトレーニングし、または形状辞書を利用することができる。
プロセッサ14は、処理装置を含むことができ、また、マイクロプロセッサ、中央処理装置(CPU)、グラフィック処理装置(GPU)、高速処理装置(APU)、高速処理装置(APU)、ハードウェアアクセラレータなどのような1つまたは複数の汎用処理装置を含むことができる。より具体的には、プロセッサ14は、複合命令セット計算(CISC)マイクロプロセッサ、縮小命令セット計算(RISC)マイクロプロセッサ、超長命令語(VLIAV)マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサを含むことができる。プロセッサ14は、また、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、システムオンチップ(SoC)のような1つまたは複数の専用処理装置によって実装されることができる。当業者に理解されるように、いくつかの実施形態では、プロセッサ14は、汎用プロセッサよりも専用プロセッサであり得る。プロセッサ14は、Intel(登録商標)により製造されたPentium(登録商標)、Core(登録商標)、Xeon(登録商標)、Itanium(登録商標)ファミリーのマイクロプロセッサ、AMD(登録商標)により製造されたTurion(登録商標)、Athlon(登録商標)、Opteron(登録商標)、FX(登録商標)、Phenom(登録商標)ファミリーのマイクロプロセッサ、Sun Microsystemsによって製造された様々なプロセッサのいずれかのような1つまたは複数の処理デバイスを含むことができる。プロセッサ14は、また、Nvidia(登録商標)により製造されたGeForce(登録商標)、Quadro(登録商標)、Tesla(登録商標)ファミリー、Intel(登録商標)により製造されたGMA、Iris(登録商標)ファミリー、AMD(登録商標)により製造されたRadeon(登録商標)ファミリーからのGPUのようなグラフィカル処理ユニットを含むことができる。プロセッサ14は、また、Intel(登録商標)により製造されたXeon Phi(登録商標)ファミリーのような加速処理ユニットを含むことができる。開示された実施形態はプロセッサのタイプに限定されず、そのプロセッサは、本明細書に開示された方法を実行するために、大量のデータを識別、分析、維持、生成、および/または提供する、あるいはそのようなデータを操作するという計算要求を満たすように構成されている。さらに、「プロセッサ」という用語は、1つより多いプロセッサ、例えば、マルチコアデザインまたはそれぞれがマルチコアデザインを有する複数のプロセッサを含むことができる。プロセッサ14は、メモリ16に格納された一連のコンピュータプログラム命令を実行して、以下さらに詳細に説明する様々な動作、プロセス、方法を実行することができる。
メモリ装置16は医用画像(画像データを含む)46を記憶することができる。いくつかの実施形態では、医用画像46は、1つまたは複数のMRI画像(例えば、2DMRI、3DMRI、2DストリーミングMRI、4DMRI、4D容積測定MRI、4DシネMRIなど)、機能的MRI画像(例えば、fMRI、DCE−MRI、拡散MRI)、デジタルカメラ画像(例えば、JPEG、RAW、TIFF、GIF形式)、コンピュータグラフィックス画像、コンピュータ断層撮影(CT)画像(例えば、2DCT、コーンビームCT、3DCT、4DCT)、超音波画像(例えば、2D超音波、3D超音波、4D超音波)、陽電子放出断層撮影(PET)画像、X線画像、蛍光透視画像、放射線治療ポータル画像、単一写真放出コンピュータ断層撮影(SPECT)画像、コンピュータで生成された合成画像(例えば、擬似CT画像)、ユーザ生成画像などを含むことができる。さらに、医用画像46は、また、トレーニング画像、期待結果画像、グラウンドトゥルース画像、架空の画像、処理済み画像、および輪郭付き画像を含むことができる。一実施形態では、医用画像46をデータベース24、26から受け取ることができる。別の実施形態では、医用画像46を画像取得装置32から受信することがある。したがって、画像取得装置32は、例えば、MRI撮像装置、CT撮像装置、PET撮像装置、超音波撮像装置、蛍光透視装置、SPECT撮像装置、一体型線形加速器、MRI画像装置を含むような撮像データを提供することができる任意の装置や、患者の医用画像を得るための他の医用画像装置を含むことができる。医用画像(医用撮像データを含む)46は、開示された実施形態と一致する動作を実行するために画像処理装置12が使用することができる任意の種類のデータまたは任意の種類のフォーマットで受信および格納することができる。メモリ装置16は、読み出し専用メモリ(ROM)、相変化ランダムアクセスメモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、フラッシュメモリ、ランダムアクセスメモリ(RAM)、シンクロナスDRAM(SDRAM)のようなダイナミックランダムアクセスメモリ(DRAM)、電気的消去可能プログラマブルリードオンリーメモリ(EEPROM)、スタティックメモリ(例えば、フラッシュメモリ、フラッシュディスク、スタティックランダムアクセスメモリ)、他のタイプのランダムアクセスメモリ、キャッシュ、レジスタ、コンパクトディスク読み取り専用メモリ(CD−ROM)、デジタル多用途ディスク(DVD)または他の光学記憶装置、カセットテープ、他の磁気記憶装置、または、プロセッサ14または任意の他のタイプのコンピュータ装置によってアクセスすることができる、画像、データ、またはコンピュータ実行可能命令(例えば、任意のフォーマットで格納される)を含む情報を格納するために使用することができる任意の他の非一時的媒体のような非一時的コンピュータ可読媒体であり得る。コンピュータプログラム命令は、プロセッサ14によってアクセスされ、ROM、または任意の他の適切なメモリ位置から読み出され、プロセッサ14による実行のためにRAMにロードされ得る。例えば、メモリ16は1つまたは複数のソフトウェアアプリケーションを記憶することができる。メモリ16に格納されたソフトウェアアプリケーションは、例えば、一般的なコンピュータシステム用のソフトウェア制御装置用のオペレーティングシステム43を含むことができる。さらに、メモリ16は、プロセッサ14によって実行可能なソフトウェアアプリケーション全体、またはソフトウェアアプリケーションの一部のみを記憶することができる。例えば、記憶装置16は1つまたは複数の放射線療法治療計画42を記憶することができる。さらに別の実施形態では、医用画像データ46はデータベースとデバイスの両方から受信することができる(例えば、デバイスは、変更された特徴を識別することによってデータベースに格納されている画像の更新版を提供する)。
画像処理装置12は、プロセッサ14、メモリ16、およびニューラルネットワーク47に通信可能に結合されている通信インターフェース18を介してネットワーク20と通信することができる。通信インターフェース18は、画像処理装置12と放射線治療システム10の構成要素との間の通信接続を提供する(例えば、外部装置とのデータ交換を可能にする)ことができる。例えば、通信インターフェース18は、いくつかの実施形態では、ユーザが放射線治療システム10に情報を入力することができる、ハードウェアキーボード、キーパッド、またはタッチスクリーンであり得るユーザインターフェース36に接続するための適切なインターフェース回路を有し得る。
通信インターフェース18は、例えば、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、USBコネクタ、パラレルコネクタ、高速データ伝送アダプタ(例えば、ファイバ、USB3.0、サンダーボルトなど)、無線ネットワークアダプタ(例えば、WiFiアダプタなど)、電気通信アダプタ(例えば、3G、4G/LTEなど)を含むことができる。通信インターフェース18は、画像処理装置12がネットワーク20を介して遠隔地にある構成要素のような他の機械および装置と通信することを可能にする1つまたは複数のデジタルおよび/またはアナログ通信装置を含むことができる。
ネットワーク20は、ローカルエリアネットワーク(LAN)、無線ネットワーク、クラウドコンピューティング環境(例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャなど)、クライアントサーバ、ワイドエリアネットワーク(WAN)などの機能を提供することができる。例えば、ネットワーク20は、他のシステムS1(38)、S2(40)、およびS3(41)を含み得るLANまたはWANであり得る。システムS1、S2、およびS3は、画像処理装置12と同一でもよく、または異なるシステムでもよい。いくつかの実施形態では、ネットワーク20内の1つまたは複数のシステムは、本明細書に記載の実施形態を協調的に実行する分散コンピューティング/シミュレーション環境を形成することができる。いくつかの実施形態では、1つまたは複数のシステムS1、S2、S3は、CT画像(例えば、医用画像46)を取得するCTスキャナを含むことができる。さらに、ネットワーク20をインターネット22に接続して、インターネット上に遠隔に存在するサーバおよびクライアントと通信することができる。追加の実施形態では、1つまたは複数のシステムS1、S2、S3は、外部からアクセス可能なニューラルネットワークまたは関連する計算機能を含むことができる。
したがって、ネットワーク20は、画像処理装置12と、OIS28、放射線治療装置30、および画像取得装置32のような、他のさまざまなシステムおよび装置との間のデータ伝送を可能にすることができる。さらに、OIS28および/または画像取得装置32によって生成されたデータは、メモリ16、データベース24、および/または病院データベース26に格納することができる。データは、必要に応じてプロセッサ14によってアクセスされるために、通信インターフェース18を介してネットワーク20を介して送信/受信されることができる。
画像処理装置12は、ネットワーク20を介してデータベース24と通信し、データベース24に格納されている複数の様々な種類のデータを送受信することができる。例えば、データベース24は、放射線療法装置30、画像取得装置32、または放射線療法に関連する他の機械に関する情報である機械データを含むことができる。機械データ情報は、放射ビームサイズ、アーク配置、ビームオンオフ時間、制御点、セグメント、マルチリーフコリメータ(MLC)構成、ガントリ速度、MRIパルスシーケンスなどを含み得る。データベース24は、非一時的な記憶装置であり得る。当業者であれば、データベース24が集中方式または分散方式で配置された複数の装置を含むことができることを理解するであろう。
いくつかの実施形態では、データベース24は、プロセッサ可読非一時的記憶媒体(図示せず)を含み得る。一実施形態におけるプロセッサ可読記憶媒体は単一の媒体とすることができるが、「プロセッサ可読記憶媒体」という用語は、コンピュータ実行可能命令またはデータの1つまたは複数の組を記憶する、単一の媒体または複数の媒体(例えば、集中型または分散型データベース、および/または関連キャッシュ)を含むと解釈されるべきである。「プロセッサ可読記憶媒体」という用語は、プロセッサによる実行のために一組の命令を記憶または符号化することができ、本開示の方法論のうちの任意の1つまたは複数をプロセッサに実行させる任意の媒体も含むものとする。したがって、「プロセッサ可読記憶媒体」という用語は、それには限定されないが、固体メモリ、光媒体および磁気媒体を含むと解釈されるものとする。例えば、プロセッサ可読記憶媒体は、1つまたは複数の揮発性、非一時的、または不揮発性有形のコンピュータ可読媒体とすることができる。
画像プロセッサ14は、データベース24と通信して、画像をメモリ16に読み込むか、または画像をメモリ16からデータベース24に格納することができる。例えば、データベース24は、データベース24が画像取得装置32から受信した複数の画像(例えば、3DMRI、4DMRI、2DMRIスライス画像、CT画像、2D透視画像、X線画像、MRスキャンまたはCTスキャンからの生データ、医学におけるデジタル画像形成通信(DFMCOM)データなど)を格納するように構成されている。データベース24は、ソフトウェアプログラム44を実行するとき、または放射線療法治療計画42を作成するときに、画像プロセッサ14によって使用されるデータを格納することができる。画像処理装置12は、データベース24、放射線療法装置30(例えば、MRI−Linac)、および/または治療計画42を生成するための画像取得装置32のいずれかから画像データ46(例えば、2DMRIスライス画像、CT画像、2D透視画像、X線画像、3DMRI画像、4DMRI画像など)を受け取ることができる。
一実施形態において、放射線治療システム10は、患者の医用画像(例えば、磁気共鳴画像法(MRI)画像、3DMRI、2DストリーミングMRI、4D体積MRI、コンピュータ断層撮影(CT)画像、コーンビームCT、陽電子放出断層撮影(PET)画像、機能的MRI画像(例えば、fMRI、DCE−MRI、拡散MRI)、X線画像、X線透視画像、超音波画像、放射線治療ポータル画像、単一光放出コンピュータ断層撮影(SPECT)画像など)を取得することができる画像取得装置32を含むことができる。画像取得装置32は、例えば、MRI撮像装置、CT撮像装置、PET撮像装置、超音波装置、蛍光透視装置、SPECT撮像装置、または、患者の1つまたは複数の医用画像を取得するための任意の他の適切な医用撮像装置であり得る。撮像取得装置32によって取得された画像は、撮像データおよび/またはテストデータのいずれかとしてデータベース24内に格納することができる。例として、撮像取得装置32によって取得された画像は、また、医用画像データ46として画像処理装置12によってメモリ16に格納され得る。
一実施形態では、例えば、画像取得装置32は、単一の装置30A(例えば、「MRI−Linac」とも呼ばれる線形加速器と組み合わされたMRI装置)として放射線治療装置30と任意に一体化することができる。このようなMRI−Linacは、例えば、放射線治療計画42に従って放射線治療を所定の標的に正確に向けるように、患者の標的器官または標的腫瘍の位置を決定するために使用することができる。
画像取得装置32は、関心領域(例えば、標的器官、標的腫瘍、またはその両方)についての患者の解剖学的構造の1つまたは複数の画像を取得するように構成することができる。各画像、通常は2D画像またはスライスは、1つまたは複数のパラメータ(例えば、2Dスライスの厚さ、向き、および位置)を含むことができる。一例では、画像取得装置32は、任意の向きで2Dスライスを取得することができる。例えば、2Dスライスの配向は、矢状配向、冠状配向、または軸方向配向を含み得る。プロセッサ14は、標的臓器および/または標的腫瘍を含むように、2Dスライスの厚さおよび/または向きのような1つまたは複数のパラメータを調整することができる。一例では、2Dスライスは3DMRIボリュームのような情報から決定することができる。このような2Dスライスは、例えば、放射線治療装置30を使用しているときに、患者が放射線治療を受けている間に「リアルタイム」で画像取得装置32によって取得することができる。「リアルタイム」とは、少なくともミリ秒以下でデータを取得することを意味する。
画像処理装置12は、1人または複数人の患者に対する放射線療法治療計画42を生成して記憶することができる。放射線療法治療計画42は、各患者に適用されるべき特定の放射線量についての情報を提供することができる。放射線療法治療計画42は、また、ビーム角度、線量−ヒストグラム−容積情報、治療中に使用される放射線ビームの数、ビーム当たりの最大線量またはガントリ速度などのような送達パラメータのような他の放射線療法情報も含むことができる。
画像プロセッサ14は、ジョージア州アトランタのエレクタ社によって製造されているMONACO(登録商標)のような治療計画ソフトウェアのようなソフトウェアプログラム44を使用することによって放射線療法治療計画42を生成することができる。放射線療法治療計画42を生成するために、画像プロセッサ14は、画像取得装置32(例えば、CT装置、MRI装置、PET装置、X線装置、超音波装置)、メモリ16、またはデータベース24と通信して、患者の画像にアクセスし、腫瘍のような標的を描写することができる。いくつかの実施形態では、腫瘍周囲のまたは腫瘍に近接した健康な組織のような1つまたは複数のリスク臓器(OAR)の描写が必要とされる。したがって、OARのセグメンテーション(すなわち、近くの治療体積から危険にさらされている器官の構造の描写)は、OARが標的腫瘍に近いときに実行される。さらに、標的腫瘍がOARに近い場合(例えば、膀胱および直腸に近接している前立腺)、腫瘍からOARをセグメント化することによって、治療計画装置は標的内だけでなくOAR内での線量分布も研究することができる。
OARから標的器官または標的腫瘍を描写するために、MRI画像、CT画像、PET画像、fMRI画像、X線画像、超音波画像、放射線治療ポータル画像、SPECT画像などのような放射線治療を受けている患者の医用画像は、身体部分の内部構造を明らかにするために、画像取得装置32によって非侵襲的に取得される。医用画像からの情報に基づいて、関連する解剖学的部分の三次元構造を得ることができる。加えて、治療計画プロセスの間、標的腫瘍の効率的な治療(例えば、標的腫瘍が有効な治療のために十分な放射線量を受けるように)と、OARへの低照射(例えば、OARはできるだけ低い放射線量を受ける)との間のバランスを達成することを考慮して多くのパラメータがとられる。考慮される他のパラメータは、標的器官および標的腫瘍の位置、OARの位置、ならびにOARに対する標的の移動を含む。例えば、3D構造は、MRIまたはCT画像の各2D層またはスライス内で標的を輪郭付けする、またはOARを輪郭付けし、各2D層またはスライスの輪郭を組み合わせることによって得ることができる。輪郭は、手動で(例えば、医師、線量測定者、医療従事者により)または自動で(例えば、スウェーデン、ストックホルムのElektaAB社製のアトラスベースの自動セグメンテーションソフトウェア、ABASのようなプログラムを使用して)生成され得る。特定の実施形態において、標的腫瘍またはOARの3D構造は、治療計画ソフトウェアによって自動的に生成され得る。
標的腫瘍およびOARが特定され、描写された後、線量測定医、医師または医療従事者は、標的腫瘍に適用されるべき放射線量と、腫瘍に近いOAR(例えば、左右の耳下腺、視神経、眼、水晶体、内耳、脊髄、脳幹など)で受けられ得る最大量の線量を決定することができる。各解剖学的構造(例えば、標的腫瘍、OAR)について放射線量が決定された後、所望の放射線量分布を達成するであろう1つまたは複数の治療計画パラメータを決定するために逆計画として知られるプロセスを実行することができる。治療計画パラメータの例には、(例えば、標的体積または輪郭に敏感な構造を定義する)体積描写パラメータ、標的腫瘍およびOARの周囲のマージン、ビーム角度選択、コリメータ設定、およびビームオン時間が含まれる。逆計画プロセス中に、医師は、OARがどれだけの放射線を受けることができるかについての限界を設定する線量制約パラメータを定義することができる(例えば、腫瘍標的に対する全線量および任意のOARに対するゼロ線量を定義すること;標的腫瘍に対する線量の95%を定義すること;脊髄、脳幹、光学構造がそれぞれ<45Gy、<55Gy、<54Gyを受けることを定義すること)。逆計画の結果は、メモリ16またはデータベース24に格納することができる放射線療法治療計画42を構成することができる。これらの治療パラメータのいくつかは相関している可能性がある。例えば、治療計画を変更する試みにおいて1つのパラメータ(例えば、標的腫瘍への線量を増加させるなどの異なる目的に対する重み)を調整することは、少なくとも1つの他のパラメータに影響を与えることができ、その結果、別の治療計画が策定される可能性がある。したがって、画像処理装置12は、放射線療法装置30が患者に放射線療法治療を提供するために、これらのパラメータを有する調整された放射線療法治療計画42を生成することができる。
さらに、放射線治療システム10は、表示装置34とユーザインターフェース36とを含むことができる。表示装置34は、医用画像、インターフェース情報、治療計画パラメータ(例えば、輪郭、線量、ビーム角など)、治療計画、目標、目標の位置特定および/または目標の追跡、またはユーザや患者に関するいかなす情報を表示する1つまたは複数の表示画面を含むことができる。ユーザインターフェース36は、キーボード、キーパッド、マウス、タッチパッド、タッチスクリーン、またはユーザが放射線治療システム10に情報を入力することができる任意の種類の装置とすることができる。また、表示装置34およびユーザインターフェース36は、タブレットコンピュータ、例えば、アップルのiPad(登録商標)、レノボのThinkpad(登録商標)、サムスンのGalaxy(登録商標)などのような装置に統合されてもよい。
さらに、放射線治療システム10の任意のおよびすべての構成要素は、仮想マシン(例えば、VMWare、Hyper−Vなど)として実装することができる。例えば、仮想マシンはハードウェアとして機能するソフトウェアである。したがって、仮想マシンは、少なくとも1つまたは複数の仮想プロセッサ、1つまたは複数の仮想メモリ、および一緒になってハードウェアとして機能する1つまたは複数の仮想通信インターフェースを含むことができる。例えば、画像処理装置12、OIS28、または画像取得装置32は仮想マシンとして実施することができる。利用可能な処理能力、メモリ、および計算能力が与えられれば、放射線治療システム10全体を仮想マシンとして実施することができる。
図2は、X線源または線形加速器などの放射線源、マルチリーフコリメータ(図示せず)、治療台216、画像検出器214、および放射線治療出力204を含む例示的な放射線治療装置202を示す図である。放射線治療装置202は、患者に治療を提供するために放射線ビーム208を放射するように構成することができる。放射線治療出力204は、図5の例示的な例に記載されているように、マルチリーフコリメータ(MLC)のような1つまたは複数の減衰器またはコリメータを含むことができる。
図2に戻ると、患者は、放射線療法治療計画に従って放射線療法線量を受けるためにテーブルまたは治療台216を使用して、領域212内に配置することができる。放射線療法出力204は、ガントリ206または他の機械的支持体に搭載するか取り付けることができる。治療台216が治療領域内にあるとき、1つまたは複数のシャーシモータ(図示せず)が治療台216の周りでガントリ206および放射線治療出力204を回転させることができる。一実施形態では、治療台216が治療領域内にあるとき、ガントリ206は治療台216の周りを連続的に回転可能である。別の実施形態では、治療台216が治療領域内にあるとき、ガントリ206は所定の位置まで回転することができる。例えば、ガントリ206は、治療出力204を、軸(「A」)を中心に回転させるように構成することができる。治療台216は、ガントリ206および治療出力204とは独立に移動させることができ、「R」によって示される横軸(「T」)を中心に回転し、横軸(「L」)、縦軸(「T」)および残りの軸(「A」)と平行に並進する。治療装置202に通信可能に接続されたコントローラ(図示せず)は、放射線療法治療計画に従って患者を放射線ビーム208の位置に出入りさせるために、治療台216の移動または回転を制御することができる。治療台216とガントリ206の両方が互いに独立して多自由度で動くことができるので、放射線ビーム208が正確に腫瘍を標的とすることができるように患者を位置決めすることができる。
図2に示す(A軸、T軸、L軸を含む)座標系は、アイソセンタ210に位置する原点を有する。アイソセンタは、例えば、規定の放射線量を患者上または内部の位置に送達するために、放射線治療ビーム208が座標軸の原点と交差する位置として定義することができる。例えば、アイソセンタ210は、ガントリ206によって軸線Aの周りに位置決めされたときの放射線治療出力204の様々な回転位置に対して放射線治療ビーム208が患者と交差する場所として定義することができる。
ガントリ206は、また、取り付けられたイメージング検出器214を有してもよい。イメージング検出器214は好ましくは放射線源204とは反対側に配置され、一例では、イメージング検出器214は治療ビーム208の視野内に配置することができる。
イメージング検出器214は、治療ビーム208との位置合わせを維持するように、好ましくは放射線治療出力204の反対側でガントリ206に取り付けることができ、その場合、イメージング検出器214はガントリ206が回転するにつれて回転軸の周りを回転する。一実施形態では、イメージング検出器214は、フラットパネル検出器(例えば直接検出器またはシンチレータ検出器)とすることができる。このようにして、イメージング検出器214を用いて治療ビーム208を監視することができ、あるいはイメージング検出器214をポータルイメージングなどの患者の解剖学的構造をイメージングするために使用することができる。放射線治療装置202の制御回路は、システム202内に統合されていてもよく、またはシステム202外であってもよい。
例示的な例では、治療台216、治療出力204、またはガントリ206のうちの1つまたは複数を自動的に位置決めすることができ、治療出力204は、特定の治療実施例の指定線量に従って治療ビーム208を確立することができる。一連の治療送達は、ガントリ206、治療台216、または治療出力204の1つまたは複数の異なる向きまたは場所を使用するように、放射線療法治療計画に従って指定することができる。治療送達は連続して起こり得るが、アイソセンタ210のように、患者上または患者内の所望の治療場所で交差することができる。それにより、治療部位の近くの組織への損傷を低減または回避しながら、処方された累積線量の放射線療法を治療部位に送達することができる。
図3は、線形加速器と、コンピュータ断層撮影(CT)撮像システムのような撮像システムとを組み合わせることを含み得る例示的な放射線療法装置302を示す。CT撮像システムは、キロ電子ボルト(keV)エネルギー範囲のX線エネルギーを提供するX線源のようなイメージングX線源318を含むことができる。イメージングX線源318は、フラットパネル検出器のようなイメージング検出器322に向けられる扇形および/または円錐形ビーム320を提供することができる。放射線治療システム302は、例えば、放射線療法出力304、ガントリ306、プラットフォーム316、および他のフラットパネル検出器314を含むように、図2に関して説明したシステム302と同様とすることができる。X線源318は、治療用よりもイメージング用に比較的低エネルギーのビームを提供することができる。
図3の例示的な例では、放射線治療出力304とX線源318は、互いに90度回転して分離された同じ回転ガントリ306上に取り付けることができる。別の例では、それぞれが独自の検出器構成を有するように、2つ以上のX線源をガントリ306の円周に沿って取り付けて、複数の角度の診断撮像を同時に提供することができる。同様に、複数の放射線療法出力304を提供することができる。
図4は、放射線治療装置402と、開示された実施形態による(MR−Linacとして当該技術分野で知られている)核磁気共鳴(MR)イメージングシステム430のようなイメージングシステムとを組み合わせることができる例示的な放射線治療システム400を示す図である。図示するように、システム400は、治療台(図示せず)、画像取得装置430、および放射線送達装置424を含み得る。システム400は、放射線療法治療計画に従って患者に放射線療法を施す。いくつかの実施形態において、画像取得装置430は、第1のモダリティの原画像(例えば、CT画像またはMRI画像)を取得することができる、図1の画像取得装置32に対応する。
治療台(図示せず)は、治療セッション中に患者を支持する。いくつかの実装形態では、治療台は、治療台が患者をシステム400の内外に移動させることができるように、水平の並進軸(「A」と示された)に沿って移動することができる。治療台は、また、並進軸を横切る中心垂直回転軸を中心に回転することができる。そのような移動または回転を可能にするために、治療台は、治療台を様々な方向に動かし、様々な軸に沿って回転させることを可能にするモータ(図示せず)を有する。治療計画に従って患者を適切に位置決めするために、コントローラ(図示せず)がこれらの動きまたは回転を制御してもよい。
いくつかの実施形態では、画像取得装置430は、治療セッションの前、最中、および/または後に患者の2Dまたは3DのMRI画像を取得するために使用されるMRI装置を含むことができる。画像取得装置430は、磁気共鳴イメージング用の一次磁場を発生させるための磁石を含むことができる。いくつかの実施形態では、磁石内の1つまたは複数のコイルは、磁石の中央窓にコイルを含まず、線源404からの治療ビームのアクセスを可能にするように離間させることができる。他の実施形態では、磁石内のコイルは、それらが放射線治療装置400によって生成された波長の放射線に対して実質的に透明であるように十分に薄いかまたは密度が低くなっていてもよい。画像取得装置430は、また、磁石の外側の磁場を相殺または減少させるために、ほぼ等しい大きさおよび反対の極性の磁石の外側の磁場を発生させることができる、1つまたは複数の遮蔽コイルを含むことができる。
いくつかの実施形態では、画像取得装置430は、X線、CT、CBCT、スパイラルCT、PET、SPECT、光断層撮影法、蛍光撮像、超音波イメージング、または放射線治療ポータルイメージング装置などのような、MRI以外の撮像装置であり得る。当業者により認識されているように、画像取得装置430の上記説明は特定の実施形態に関するものであり、限定することを意図するものではない。
放射線治療装置400は、X線源または線形加速器およびマルチリーフコリメータ(MLC)のような放射線源404を含むことができる。放射線治療装置ガントリ406は、シャーシに取り付けることができる。1つまたは複数のシャーシモータ(図示せず)は、治療台が軸「A」を通り治療領域に挿入されると、治療台の周りでシャーシを回転させることができる。一実施形態では、治療台が治療領域に挿入されると、治療台の周りをシャーシが連続的に回転可能である。シャーシは、また、好ましくは放射線源404の反対側に配置され、シャーシの回転軸が放射線源404と検出器(図示せず)との間に配置された、取り付けられた放射線検出器(図示せず)を有する。さらに、装置400は、例えば、患者治療台、画像取得装置430、および放射線療法出力424のうちの1つ以上を制御するために使用される制御回路(図示せず)を含むことができる。放射線治療装置400の制御回路は、システム内に一体化されていてもよく、またはシステム外に設けてもよく、機能的には、図1に示されたユーザインターフェース36によって表されている。
図2と図3と図4は、放射線治療出力が中心軸(例えば軸「A」)の周りを回転することができる構成を含む、患者に放射線治療を提供するように構成された放射線治療装置の例を示す。他の放射線治療出力構成を使用することができる。例えば、放射線治療出力は、多自由度を有するロボットアームまたはマニピュレータに取り付けることができる。さらに別の例では、治療出力は、患者から横方向に離れた領域に位置するように固定することができ、患者を支持するプラットフォームを使用して放射線治療アイソセンタを患者内の特定の標的部位と位置合わせすることができる。
上述したように、図2と図3と図4によって説明された放射線治療装置は、患者内の特定の標的部位への放射線療法ビームの強度を成形、方向付け、または変調するためのマルチリーフコリメータを含むことができる。図5は、腫瘍の断面または投影540に近似する開口を画定するために自動的に位置決めすることができるリーフ532Aから532Jを含む例示的なマルチリーフコリメータ(MLC)532を示す。リーフ532Aから532Jは、放射線療法ビームの変調を可能にする。リーフ532Aから532Jは、放射線治療計画に従って、開口部以外の領域で放射線ビームを減衰または遮断するように指定された材料で作ることができる。例えば、リーフ532Aから532Jは、タングステンを含むような金属プレートまたはリーフを含むことができ、リーフの長軸およびリーフの端部がビーム方向に平行に配向され、かつリーフの動きがビーム方向に直交している。MLC532の「状態」は、腫瘍540または他の標的遺伝子座の形状または位置により良く近似するような治療ビームを確立するように、放射線療法治療の過程中に適応的に調整することができる。
図6は、本開示のいくつかの実施形態による、別の種類の放射線療法装置600(例えば、Leksell Gamma Knife)の一例を示す。放射線療法治療セッションにおいて、患者602は、手術または放射線療法を受けている患者の身体部分(例えば、頭部)を安定に保つために、座標フレーム620を着用する。座標フレーム620および患者位置決めシステム622は、空間座標系を確立することができ、それは患者を撮像している間または放射線手術の間に使用する。放射線治療装置600は、複数の放射線源612を封入するための保護ハウジング614を含む。放射源612は、ビームチャネル616を介して複数のミリメートル幅の放射ビーム(例えば、ビームレット)を生成する。複数の放射ビームは、異なる方向からアイソセンタ618に集束するように構成されている。個々の放射ビームは比較的低い強度を有するが、異なる放射ビームからの複数の線量がアイソセンタ618に集積すると、アイソセンタ618は比較的高レベルの放射を受けることができる。特定の実施形態では、アイソセンタ618は、外科手術または治療中の腫瘍のような標的に対応している。
図7は、3つのフェーズ、すなわち、トレーニング準備フェーズ725、ネットワークトレーニングフェーズ726、ネットワーク推論フェーズ727を含む、本発明の一実施形態のフローダイアグラム700の概要を示す図である。
トレーニング準備フェーズ725では、ニューラルネットワーク構成要素をトレーニングする際に使用するためにトレーニング入力720が準備され処理される(図1、47)。ネットワークモデルがトレーニングで使用するために選択され(705);そのようなモデル選択は、例えば、(例示的な実施形態として図8により以下でより詳細に論じるように)深層畳み込みニューラルネットワークアーキテクチャの識別および適切な処理層構成を含む。ニューラルネットワーク構成要素モデル(図1、47)は、初期層構成、初期接続構成、一組の重み、および一組のバイアスで初期化される。医用画像710および期待される結果(当業者には「グラウンドトゥルース」データとしても知られている)715に加えて、他のパラメータ(以下で十分に説明されるように)がトレーニングデータ720として入力のために特定され得る。一実施形態では、トレーニングデータ720は、また、実際の患者または試験対象についてのデータを含み得る。別の実施形態では、トレーニングデータ720は合成して作成されてもよく、例えば理論的に可能な状況に基づいてコンピュータで生成された画像であってもよく、またはモデル試験の目的で考案されてもよい。
ニューラルネットワーク構成要素モデルの一実施形態および構成(図1、47)では、入力患者データは3D情報に対応し、ネットワークからの出力データは、3D医用画像または構造の軸方向断面のような2D医用画像(または画像関数)に対応する。この実施形態は、2D画像を操作するディープラーニングネットワークと相互運用するように最適化することができる。一実施形態では、トレーニングデータ720は、全トレーニングデータコレクション720の互いに素な集合である、患者に関するトレーニングデータと患者に関する試験データの両方を含み得る。この構成は、後に続くトレーニングフェーズ中のネットワーク反復収束の精度のテストを改善する。
様々な実施形態では、準備フェーズ725は、解剖学的構造および線量を整列させ、解剖学的構造を患者画像の軸方向ビューの中心に置いて、トレーニングデータ720内のすべてのイメージングデータを共通のグリッドサイズおよびグリッド間隔に再サンプリングすることを含む。画像強度は、リサンプリングされ、出力画像に対応するチャンネル(例えば、RGBチャンネル)に挿入され得る。次に、ネットワークに供給されたトレーニングデータに基づいて学習性能および収束を改善するために、トレーニングデータ720内の全患者にわたる線量値を共通の尺度にリサンプリングすることができる。このようなトレーニングデータを作成する前に、トレーニングデータ720は、医用(患者)画像、患者画像に関連する画像関数、患者の解剖学的構造、および患者線量分布を含む。データ作成後、トレーニングデータおよび試験データは、患者の画像と、グラウンドトゥルースデータを含む対応する線量とを表す。
ネットワークトレーニングフェーズ726は、トレーニングデータ720がステップ705から構成され初期化されたニューラルネットワークモデルに提示されることで開始する(入力線量が指定されていない場合)。ニューラルネットワーク構成要素(図1、47)は、患者画像データから結果735を推定し、推定結果、例えばフルエンスマップまたは線量マップを生成する。次いで、ステップ735からの推定結果と医用画像データ710に対応する予想結果715との間で比較が行われ、予想結果735と推定結果735との間の差に基づいてエラー(「トレーニングエラー」)マップが生成される。エラーマップは評価基準745と比較される。例えば、平均絶対誤差関数(MAE、下記により詳細に説明される)のような損失関数は、誤差基準が満たされるかどうかを決定するために使用され得る。誤差が誤差閾値基準を満たさない場合、ニューラルネットワークのモデルパラメータ(図1、47)(例えば、重みおよびバイアス)は、例えば、学習アルゴリズム(例えば、正規化勾配)に従って誤差を最小にするために更新され(750)、ニューラルネットワークの新たに割り当てられたモデルパラメータを用いてトレーニングデータがニューラルネットワーク(図1、47)に再提示される(730)。
一実施形態では、基準が満たされるかどうかを判断すること(745)は、トレーニング画像とは異なる1つまたは複数のテスト患者画像(しかし入力線量を指定していない)を、現在そのようなテスト患者画像の患者線量の推定値を生成するようにネットワークモデルに提示することを含む。結果として得られた線量推定値は、ネットワークパラメータモデルの品質を評価するために、グラウンドトゥルース/予想線量と比較される。このテストデータの予想線量と推定線量の差が「テスト誤差」である。いずれにしても、ステップ750からステップ730、ステップ735および740、ステップ745までの反復は、エラーしきい値基準が満たされるまで続き、その後、トレーニングプロセス725は、トレーニングされたニューラルネットワークコンポーネントモデルが実際の患者の画像およびデータを使用する準備ができた状態で終了(755)する(図1、45、46)。
いちどトレーニングされると、ニューラルネットワーク構成要素モデル(図1、47)は、メモリ(例えば、図1、16)内、ネットワーク構成要素の非一時的メモリ(図1、47)内、またはデータベース内に格納される(例えば、図1、24)。次いで、放射線治療計画が望まれる患者データ(図1、45、46)と共に提示されたとき、トレーニングされたネットワークモデルをネットワーク推論ステップ727で使用して有用な出力(例えば、フルエンスマップまたは線量マップ)を計算することができる。トレーニングされたニューラルネットワークは、例えば、特定のトレーニングされたネットワーク構成のために記憶されている重みおよびバイアスをロードすることによって構成される(765)。患者データ入力は、予測結果を得るために、トレーニングされ構成されたニューラルネットワーク構成要素(図1、47)に提示される。好ましい実施形態では、予測結果はフルエンスマップ情報および線量マップ情報の一方を含み;次いで、フルエンスマップまたは線量マップ情報を使用して患者のための放射線治療計画を完成させることができる。したがって、関心のある患者について、予測された結果775を生成するために、トレーニングされ構成されたニューラルネットワークモデル770に患者の画像および/またはデータ760が提示される。さらなる実施形態では、予測された結果は、次に、治療計画システム(例えば、スウェーデン、ストックホルムのElektaAB社によるMONACO(登録商標)システム)で使用するための線量−容積ヒストグラム(DVH)の生成のためのように、治療計画システム780による使用のために処理される。
本発明の実施形態は、内部および外部の放射線源を含むフルエンスおよび線量マップの計算を提供する。実施形態は、内部近接照射療法アプリケーションのための計算を提供するものを含む。近接照射療法は一般に腫瘍部位に放射線源を直接配置することを含む。最適治療プロファイルを決定するための計算は、多くの場合、様々な最適化ルーチンにおいて線形ボルツマン輸送方程式を利用する複雑な計算および推定を必要とする。理想化された入力データ(例えば、患者の画像および所望の結果)からフルエンスマップを識別するために本発明のニューラルネットワークをトレーニングすることによって、近接照射療法用途を支援することができる。
本発明の様々な実施形態では、近接照射療法計画は、計画基準を満たす線量分布を達成するために、外部ビーム治療(目標とOARが描かれた計画CTまたはMR画像、および目標処方とOAR制約)と類似の出発点から始まる。したがって、様々な実施形態において、近接照射療法線量分布を予測するためのディープラーニングの適用は、外部ビーム分布予測と類似している。両方の治療法で、ネットワークモデルは画像内の構造から線量マップへのマッピングを学習し、それを使用して新しい患者の線量マップを予測する。その学習されたマッピングは治療管理のメカニズムの詳細を無視する。
近接照射療法に関する本発明の更なる態様では、適用される放射線源の崩壊中の様々な時点で推定線量を提供するための深層畳み込みニューラルネットワーク(DCNN)の使用を提供する。そのような態様では、サンプリングの時間はトレーニングセットにおける追加のパラメータであり、(滞留時間または治療時間を含む)4−D分析は特定の放射線源に基づく累積線量を提供する。これらの実施形態の予測された結果は、患者の標的治療領域における放射線源の配置、治療標的に送達されるべき放射線量強度、および経時的な線量送達期間の決定を補助する。
別の実施形態では、リアルタイムのMRI画像を近接照射療法(brachytherapy)と組み合わせて使用する。MRI装置は、優れた軟組織コントラストと腫瘍および周囲の臓器の正確な画像化を提供する。これにより、近接照射療法(brachytherapy)用放射線源移植の精度の向上、標的およびリスク臓器の描写の向上、ならびに線量処方の向上が可能になる。MRI装置からのリアルタイムMRI画像(例えば、MRI装置と近接照射療法装置が同時に動作している場合)は、近接照射療法アプリケータと近接照射療法用放射線源の適切な配置のためのリアルタイム視覚化を提供し、(1)穿孔を回避し、(2)近接照射療法治療を提供するために線源を標的に導く。CTベースの画像に対するMRの別の利点は、MRがCTよりも正確な標的輪郭を提供することができ、それによって標的構造のより良好な描写およびより高度の線量最適化が可能になることである。MRIはCTと比較して標的構造の可視性を改善するが、標的輪郭形成は依然として画像誘導処置に関連する不確実性を提供する。MRIを用いて線源とアプリケータの両方を追跡することができれば、1)インプラント検証(例えば、典型的には20個の線源が5mm間隔で設けられ、線源当たり0.5秒の滞留時間である)、2)線源滞留位置測定(例えば、典型的には20個の線源が5mm間隔で設けられ、線源当たり0.5秒の滞留時間である)、3)患者における実際の放射線量分布を用いた計画立案が行える。さらなる実施形態では、機能的MRI(fMRI)を前立腺近接照射療法に使用することができる。機能的MRIは、前立腺内病変の同定を改善することができ、これはサルベージ前立腺近接照射療法およびサブボリュームブーストのために特に重要である。
入力データは医用画像を含み得る。入力データは、解剖学的データおよび計画メタパラメータのうちの少なくとも一方を含み得る。いくつかの態様では、計画メタパラメータは、装置による制約、診断情報、および計画された放射線療法の経過についての他の情報を含み得る。装置による制約には、ビームガントリ角度、ビームレットベクトル、および放射線送達に対する同様の制約を含み得る。
図9に示されているように、本発明のシステムおよび方法の実施形態は、入力データからフルエンスマップ930および線量マップ950を生成するために使用される。例えば、システム900は、入力データ910から放射線治療装置960と共に使用するための線量マップ950を生成するように構成することができる。線量マップ950は、放射線装置160によって課せられた制約を受ける患者における局所的なエネルギーの蓄積を表すことができる。フルエンスマップ930は、典型的には線量マップ950とは異なり、開示されたシステムおよび方法は、この差を減らすように構成される。いくつかの態様では、代替経路935に示すように、システム900は、ニューラルネットワーク920を使用して入力データ910から線量マップ950を直接生成するように構成され得る。入力データ910は、医用画像912、解剖学的マップ914、および計画メタデータ916を含み得る。医用画像912は、撮像モダリティを使用して患者から取得されたものであり得る。解剖学的マップは、患者の一組の定義された標的および敏感な器官を示し得る。いくつかの局面において、定義された標的は腫瘍を含み得る。入力データ910はニューラルネットワーク920に提供され得る。図7に関連して以下および以上でより完全に説明されているように。ニューラルネットワーク920は、入力データ910からフルエンスマップ930(および、あるいは線量マップ950)を生成するようにトレーニングされる。ニューラルネットワーク920は畳み込みニューラルネットワークを含むことができ、いくつかの態様では、フルエンスマップ930はニューラルネットワーク920の出力を含むことができる。図9に示されるニューラルネットワーク920は、図1に示すニューラルネットワーク構成要素47と同一または類似のアーキテクチャと、図8に示すニューラルネットワーク920とを含むことができる。
さらに、図9のニューラルネットワーク920は、深層畳み込みニューラルネットワーク(DCNN)を含み得る。DCNNモデルのアーキテクチャには、入力を出力に変換する個別のレイヤのスタックが含まれている。異なる層の例には、1つまたは複数の畳み込み層、非線形演算子層(整流線形単位(ReLu)関数、シグモイド関数、双曲線正接関数のような)、プーリング層またはサブサンプリング層、完全接続層、最終損失層、デコンボリューション層、アンプーリング層またはアップサンプリング層、ピクセル単位の予測層、および/または、コピー層およびクロップオペレータ層を含み得る。各層は、1つのアップストリーム層と1つのダウンストリーム層を接続してもよい。入力は入力層とすることができ、出力は最終出力層とすることができる。
DCNNモデルの性能および学習能力を高めるために、異なる層の数を選択的に増やすことができる。入力層から出力層までの中間の別個の層の数は非常に多くなる可能性があり、それによってDCNNモデルのアーキテクチャの複雑さが増す。本開示は、フルエンスマップおよび/または出力マップを生成するために強力なラーニングDCNNモデルを使用する。開示された実施形態によれば、システム900は、入力データ910を受信するトレーニングされたDCNNモデル(ニューラルネットワーク920で実施される)を使用してフルエンスマップ930または線量マップ950を生成するように構成され得る。有利には、本開示の実施形態におけるフルエンスマップおよび線量マップの生成のためのDCNNモデルは、手動の特徴抽出を必要とせずにそのようなマップの自動生成を可能にする。
本明細書で使用されるように、開示された生成方法によって使用されるDCNNモデルは、畳み込みニューラルネットワークの枠組みに基づいて定式化、適合、または修正された任意のニューラルネットワークモデルを指す。例えば、本開示の実施形態においてフルエンスマップおよび/または線量マップの生成に使用されるDCNNモデルは、1つまたは複数の畳み込み層、非線形演算子層、プーリング層またはサブサンプリング層、完全接続層、最終損失層、デコンボリューション層、および/またはアンプーリング層またはアップサンプリング層のような、入力層と出力層との間の中間層を選択的に含み得る。
開示された出力マップを生成するシステムおよび方法は、一般に、2つのフェーズ、すなわち、トレーニングデータセットを使用してDCNNモデルを「トレーニング」または「学習」するトレーニングフェーズ、およびトレーニングDCNNモデルがトレーニングデータセットおよび出力マップを生成するための入力データを使用する予測フェーズまたは推論フェーズを含む。上述のように、前述のトレーニングフェーズは一般に、図7に示されたネットワークトレーニング726と相関する。本明細書で使用されるように、DCNNモデルを「トレーニングする」とは、DCNNモデル内の少なくとも1つのレイヤの1つまたは複数のパラメータを決定することを指す。例えば、DCNNモデルの畳み込み層は、少なくとも1つのフィルタまたはカーネルを含み得る。少なくとも1つのフィルタのカーネル重み、サイズ、形状、および構造などの1つまたは複数のパラメータは、例えば、逆伝播ベースのトレーニングプロセスによって決定され得る。
前述の予測フェーズは一般に、図7に示すようなネットワーク推論727と相関する。本明細書に記載の実施形態に関して使用されるように、DCNNモデルからの「予測」は、2Dおよび3Dフルエンスおよび/または任意のタイプの撮像モダリティからの線量マップを含む医用画像912を使用してフルエンスおよび/または線量マップを生成することを指す。
[0093]
図8は、本開示のいくつかの実施形態による、出力マップ生成(例えばフルエンスマップおよび/または線量マップの生成)のための深層畳み込みニューラルネットワークアーキテクチャを実装する例示的なニューラルネットワーク920を示す。ニューラルネットワーク920は、深層畳み込みニューラルネットワークを含み得る。図8に示すように、ニューラルネットワーク920は、入力として1つまたは複数の第1の撮像モダリティを使用して取得された医用画像912を受け取ることができる。本明細書で使用されるように、医用画像は、医用画像912、解剖学的マップ914、および計画メタデータ916を含む入力データ(図9、910)の内容を制限なく含むことができる。ニューラルネットワーク920は、フルエンスマップまたは線量マップに対応する出力840を生成し得る。出力840は、入力医用画像のうちの1つと同じ主題に関するものであり得る。例えば、医用画像912が隣接する画像のスタックを含むとき、出力840は、スタック912の中央にある画像のうちの1つと同じ主題に関係し得る。例えば、医用画像912が奇数個の画像を含むとき、出力840は、スタックの中央の画像と同じ主題に関するものであり得る。あるいは、医用画像912が偶数個の画像を含むとき、出力840は、スタックの2つの中間画像のうちの一方と同じ主題に関するものであり得る。
図8に示すように、本発明のニューラルネットワーク920の一実施形態は、一般に、2つの部分、すなわち第1の特徴抽出部820と第2の出力マップ構成部830とを含み得る。特徴抽出部820は、医用画像912の1つまたは複数の特徴を抽出し得る。特徴抽出部820は、医用画像912を受信し、入力スタックの特徴を表す少なくとも1つの特徴ベクトルまたは行列を出力するために深層畳み込みニューラルネットワークアプローチを使用する。したがって、特徴抽出部820は、異なるスケールおよび異なる複雑性レベルで特徴を抽出することができ、特徴抽出部820の各層は、その入力として前の層の潜在的表現を受け取る。出力マップ構築部830は、特徴抽出部820の出力を使用して出力840を生成することができ、これは前述のようにフルエンスマップまたは線量マップを含むことができる。第2の部分は、所望の画像解像度または画像サイズが達成されるまで、出力マップを粗い解像度から細かい解像度まで徐々に再構成することができる。
いくつかの実施形態では、ニューラルネットワーク920は、特徴抽出部820内のレイヤの出力から出力マップ構成830内のレイヤの入力への直接接続で構成されてもよい。いくつかの態様では、そのような接続は、特徴抽出部820の最終層の出力から出力マップ構成830の初期層の入力までのみであってもよい。様々な態様では、ニューラルネットワーク920は、特徴抽出部820と出力マップ構成830との間の1つまたは複数の追加の接続を用いて構成することができる。これらの接続は、特徴抽出部820の非最終層および出力マップ構成830の非最終層、特徴抽出部820の最終層および出力マップ構成830の非最終層、および/または特徴抽出部820の非最終層および出力マップ構成830の最終層を含み得る。
いくつかの実施形態では、特徴抽出部820および出力マップ構成830は一緒にトレーニングされてもよい。例えば、特徴抽出部820および出力マップ構成830のパラメータは、モデルトレーニングの各反復中に一緒に更新されてもよい。様々な実施形態において、特徴抽出部820および出力マップ構成830は別々にトレーニングされてもよい。例えば、特徴抽出部820は、VGG画像分類モデルのような既知のモデルを含み、出力マップ構成830のパラメータのみがトレーニング中に更新され得る。
有利には、医用画像912が依存構造情報を含む隣接する2D画像のスタックを含むとき、ニューラルネットワーク920の精度が向上する。ニューラルネットワーク920は、トレーニング時およびフルエンスマップまたは線量マップの形態の出力マップの生成時の両方で、このような隣接2D画像のスタックを使用するように構成され得る。本明細書で使用されるとき、依存構造情報は、2D画像の解剖学的平面に直交する軸に沿って隣接する2D画像のスタックに示される解剖学的構造の間の空間的に依存する関係を指す。非限定的な例として、スタックの第1の画像内の第1の画素群によって表される解剖学的構造の形状および種類は、また、第1の画像に隣接する第2の画像内の第2の画素群によって表されてもよい。これは、解剖学的平面に直交する軸に沿った第1の画像および第2の画像の空間的な隣接が、これらの画像に示される解剖学的構造のある程度の依存性または連続性を可能にするためである。したがって、1つの画像内の解剖学的構造の形状、サイズ、および/またはタイプは、同じ平面に沿って別の隣接する画像内の解剖学的構造の形状、サイズ、および/またはタイプの情報を提供することができる。依存構造情報の効果は、スタック内の隣接画像の数、医用画像912に描かれている解剖学的構造、および/または画像を取得するために使用される撮像モダリティに依存し得る。
本開示の実施形態で使用されるニューラルネットワーク920の様々な構成要素および特徴は、以下に詳細に説明される。
[0099]
いくつかの実施形態では、ニューラルネットワーク920の特徴抽出部820は入力層、例えば医用画像912を含む。いくつかの実施形態では、医用画像912は複数の画像を含み得る。いくつかの態様では、医用画像912は1つまたは複数の組の医用画像を含むことができる。例えば、医用画像912は1つまたは複数の3DCT画像を含み得る。様々な態様では、医用画像912は隣接する2DCT画像のスタックを含み得る。上述のように、隣接スライスは、より正確なまたは頑強な(robust)予測を可能にする依存構造情報をニューラルネットワーク920に提供することができる。
いくつかの実施形態では、ニューラルネットワーク920の特徴抽出部820は、入力層、例えば医用画像912の機能または解剖学的マップ914の機能を含む。いくつかの実施形態では、患者の解剖学的構造情報は、バイナリマスクまたは画像で符号化され、そこでは、放射線治療の標的および近くのリスク臓器のような輪郭を描かれた構造が固定ピクセル値によって表され、構造外のすべてのピクセルが背景値に設定される。いくつかの実施形態では、患者の解剖学的構造情報は、各画素値が構造境界までの最短距離に等しい符号付き距離マップとして符号化され、そこでは、構造内の画素に正の値が割り当てられ、構造外の画素に負の値を割り当てられる。いくつかの実施形態では、患者の解剖学的構造情報は、アルゴリズムによって、例えば解剖学的構造のエッジが強調されている新しい画像に変換された元の画像の関数として符号化されてもよい。これらの実施形態は、特徴抽出に有用であり得るものを例示するものであり、限定するものではない。
いくつかの実施形態では、入力層は体積を有し、その空間寸法は2D画像の幅および高さによって決定され、その深さは部分的に医用画像912を構成する画像の数によって決定される。
いくつかの実施形態では、ニューラルネットワーク920の特徴抽出部820は、1つまたは複数の畳み込み層322を含み得る。各畳み込み層322は、上部入力層によって決定される幅(「W」)および高さ(「H」)(例えば、畳み込み層322の入力の大きさ)、および、レイヤ内のフィルタまたはカーネルの数(「N」)とそれらの大きさのような複数のパラメータを有することができる。フィルタの数は、畳み込み層の深さと呼ばれる。したがって、各畳み込み層322は、図8に示されるように3Dボリュームの観点から説明することができる。各畳み込み層322の入力は、1つのフィルタと畳み込まれ、そのフィルタに対応する特徴マップを生成することができる。そのような畳み込みは、各畳み込み層の各フィルタに対して実行され得る。結果としての特徴マップは幅と高さを有し、奥行き寸法に沿って積み重ねられ、3D出力を生成する。この出力は、次の畳み込み層への入力を含み得る。
いくつかの実施形態では、ニューラルネットワーク920の特徴抽出部820は、1つまたは複数のプーリング層(図示せず)を含み得る。ニューラルネットワーク920内の2つの連続する畳み込み層322の間にプーリング層を追加することができる。プーリング層は、入力(例えば、前の畳み込み層からの特徴マップ)のあらゆる深度スライスに対して独立して動作し、非線形ダウンサンプリングの形式を実行することによってその空間次元を縮小する。図8に示すように、プーリング層は、抽出された特徴マップの空間次元を漸進的に縮小して、ネットワーク内のパラメータおよび計算量を削減することができる。これは過学習(overfitting)を制御することもできる。プーリング層の数および配置は、畳み込みネットワークアーキテクチャの設計、入力のサイズ、畳み込み層322のサイズ、および/またはニューラルネットワーク920の用途のような様々なファクタに基づいて決定される。
プーリング層を実装するために様々な非線形関数を使用することができる。例えば、最大プーリングが使用されてもよい。最大プーリングは、入力の画像スライスを、所定のストライドを有する一組の重複または非重複のサブ領域に分割することができる。各サブ領域について、最大プーリングは、最大幅を出力することができ、深さ寸法を変更せずに、その幅と高さの両方に沿って入力の各スライスをダウンサンプリングすることができる。他の適切な機能を、平均プーリングまたはL2ノルムプーリングのようなプーリング層を実装するために使用することができる。
様々な実施形態において、ニューラルネットワーク920の特徴抽出部820は1つまたは複数の追加の層を含み得る。非限定的な例として、ReLu層(図示せず)を畳み込み層の後に選択的に追加して中間活性化マップまたは特徴マップを生成することができる。ReLu層は、畳み込み層322のそれぞれの寸法に影響を及ぼすことなく、予測関数およびニューラルネットワーク920全体の非線形特性を増大させることができる。さらに、ReLu層は、逆伝播トレーニングプロセス中の飽和を低減または回避することができる。
別の非限定的な例として、畳み込み層および/またはプーリング層の後に、1つまたは複数の完全接続層824を追加することができる。完全接続層824は、前の層のすべてのアクティベーションマップまたは機能マップとの完全接続を有する。例えば、完全接続層824は、最後の畳み込み層または最後のプーリング層の出力をベクトル形式の入力として取得し、高水準の決定を実行し、深さ次元に沿って配置された特徴ベクトルを出力する。出力ベクトルは、出力層と呼ばれることがある。ベクトルは、ニューラルネットワーク920の医用画像912の入力スタック内の解剖学的構造の情報を含み得る。
[0107]
上述のように、ニューラルネットワーク920の出力マップ構成830は、特徴抽出部820によって出力された1つまたは複数の特徴を使用して出力マップ840を生成することができる。他の箇所で述べたように、出力マップ840はフルエンスマップまたは線量マップを含むことができ、図7、775で説明した予測結果を含むことができる。
図8に示すように、ニューラルネットワーク920の出力マップ構成830は、特徴抽出部820の粗い出力特徴マップ(例えば、特徴ベクトル)を出力マップ840に変換することができる。様々な機能を使用して、逆方向アップサンプリングまたはアンプーリング(例えば、双一次または非線形補間)、および逆方向畳み込み(デコンボリューション)のような、ピクセル単位の予測レイヤを実装することができる。いくつかの態様では、ニューラルネットワーク920の出力マップ構成830は、ニューラルネットワーク920のミラー化バージョンの特徴抽出部820を含み得る。特徴抽出部820は抽出された活性化マップまたは特徴マップの空間寸法を漸進的に縮小し得るが、出力マップ構築部830はデコンボリューション層826および/またはアンプーリング層(図示せず)を使用して漸進的に特徴マップを拡大し得る。アンプーリング層(例えば、アップサンプリング層)は、特徴マップ内のピクセルを受け取り、特徴マップのピクセルをそれらの前のまたは元のプーリング位置に戻して、より大きな特徴マップを出力することができ、それにより、拡大されたがまばらな活性化マップまたは特徴マップを生成することができる。デコンボリューション層を使用して、入力活性化マップまたは特徴マップの単一のピクセルを複数の出力ピクセルに関連付け、それにより、活性化マップまたは特徴マップの密度を拡大および増大させることができる。したがって、出力マップ構築部830は、出力マップ840を生成するために、特徴抽出部820と一緒にトレーニングされ使用されてもよい。
当業者によって理解されるように、出力マップ840を生成するための他の適切な方法は、本開示の実施形態において適合、修正、および/または使用され得る。
[0110]
図10は、本開示のいくつかの実施形態による、少なくとも1つのCNNモデルを使用して出力マップを生成するための出力マップ生成システム1000を示す本発明の例示的な実施形態を示す図である。図10に示すように、出力マップ生成システム1000は、2つのフェーズ、すなわち、トレーニングフェーズと生成フェーズを実行するための構成要素を含み得る。トレーニングフェーズを実行するために、出力マップ生成システム1000はトレーニングデータベース1011およびトレーニングシステム1010を含み得る。出力マップ生成フェーズを実行するために、出力マップ生成システム1000は、予測システム1020および予測データベース1021を含み得る。いくつかの実施形態では、出力マップ生成システム1000は、図10に示される構成要素のうちのより多いまたは少ない構成要素を含み得る。例えば、出力マップ生成のためのDCNNモデルが予めトレーニングされ提供されている場合、出力マップ生成システム1000は、予測システム1020と予測データベース1021のみを含む。出力マップ生成システム1000は、任意選択でネットワーク1030を含み得る。いくつかの実施形態では、ネットワーク1030は有線データ通信システムまたは装置によって置き換えられてもよい。
いくつかの実施形態において、出力マップ生成システム1000の様々な構成要素は、互いに離れてまたは異なる空間に配置され得、図10に示されるようにネットワーク1030を介して接続され得る。いくつかの代替実施形態では、出力マップ生成システム1000の特定の構成要素は、同じ場所にまたは1つの装置内に配置することができる。例えば、トレーニングデータベース1011は、トレーニングシステム1010と共に現場に配置されてもよく、またはトレーニングシステム1010の一部であってもよい。別の例として、トレーニングシステム1010と予測システム1020は同じコンピュータまたは処理装置内であってもよい。
図10に示すように、トレーニングシステム1010はトレーニングデータベース1011と通信してトレーニングデータを受信することができる。トレーニングデータベース1011に格納されたトレーニングデータは、医用画像データベース、例えば、放射線治療セッション中に以前に取得された医用画像を含む医用画像データベースから取得することができる。トレーニングデータの各項目は、1つまたは複数の原点画像診断法で取得された1つまたは複数の医用画像、1つまたは複数の解剖学的マップ、計画メタデータ、および対応する所定の出力マップを含み得る。
様々な態様では、1つまたは複数のトレーニング画像は、所定の空間的関係を有する医用画像を含むことがある。いくつかの態様では、1つまたは複数のトレーニング画像は、原点画像診断法で取得された3D医用画像を含むことがある。システム1000は、3D医用画像を隣接する2D医用画像の1つまたは複数の順次スタックに分割するように構成することができる。各スタック内の隣接する2D画像の数は、3D画像のサイズ、CNNモデルの特定のフレームワーク、2D画像に直交する軸に沿って隣接する2D画像内の解剖学的構造間の関係、および/または出力マップ生成のアプリケーションのような様々な要因に基づいて決定される。
いくつかの実施形態では、1つまたは複数のトレーニング画像が1つまたは複数の原点画像診断様式の医用画像のスタックを含むとき、出力マップはスタックの中間画像(例えば、奇数個の画像を有するスタックについての中央画像、および偶数個の画像を有するスタックについての2つの中間画像のうちの一方)に空間的に対応する。
開示された実施形態によれば、1つまたは複数のトレーニング画像は、MRI、機能的MRI(例えば、fMRI、DCE−MRI、および拡散MRI)、CT、CBCT、スパイラルCT、PET、SPECT、X線、光断層撮影、蛍光イメージング、超音波イメージング、および放射線療法ポータルイメージング、などを含む様々な画像診断様式を用いて取得される。いくつかの実施形態では、1つまたは複数のトレーニング画像は、腫瘍学情報システムから収集することができる。
様々な態様では、1つまたは複数の解剖学的マップは、1つまたは複数のトレーニング画像に対応するセグメンテーション情報を含むことがある。例えば、1つまたは複数の解剖学的マップは、1つまたは複数のトレーニング画像内の目標体積および正常な重要臓器の描写を含むことがある。例えば、解剖学的マップは、ピクセルまたはボクセルを解剖学的構造と関連付けるラベル、またはトレーニング画像の各ピクセルまたはボクセルが表す解剖学的構造の予測を含むことができる。これらの解剖学的マップは、手動セグメンテーションまたはアトラスベースの自動セグメンテーションのような当業者に知られている方法に従って生成することができる。解剖学マップはまた、機械学習方法を使用して生成され得る。
いくつかの態様では、計画メタデータは計画プロセスに関する情報を含み得る。例えば、計画メタデータは、患者の診断、放射線治療装置の種類および特性に関する情報、あるいは同様の情報を含むことができる。例えば、計画メタデータは、ビームガントリ角度、ビームレットベクトル、および同様の情報を含み得る。
トレーニングシステム1010は、トレーニングデータベース1011から受け取ったトレーニングデータを使用して、フルエンスマップおよび/または線量マップの形で出力マップを生成するためにCNNモデルをトレーニングすることができる。トレーニングシステム1010は、プロセッサおよび(図1により詳細に説明された)非一時的コンピュータ可読媒体を含み得る。プロセッサは、コンピュータ可読媒体に格納されているトレーニングプロセスの命令を実行することによってトレーニングを実施することができる。トレーニングシステム1010は、さらに、トレーニングデータベース1011、ネットワーク1030、および/またはユーザインターフェース(図示せず)と通信するための(図1により詳細に説明された)入力および出力インターフェースを含み得る。ユーザインターフェースは、トレーニングデータ(すなわち、1つまたは複数の元の撮像モダリティおよび目的の撮像モダリティ内の画像)を選択し、トレーニングプロセスの1つまたは複数のパラメータ(例えば、各スタック内の隣接する画像スライスの数)を調整し、DCNNモデルのフレームワークを選択または修正し、および/または、手動または半自動でトレーニング用に画像を編集するために使用される。トレーニングプロセスの例は、更に下の図11を参照して詳細に説明される。
いくつかの実施形態によれば、トレーニングシステム1010は、トレーニング処理(例えば、図1および図7に示されるような)を実行するソフトウェアで特別にプログラミングされたハードウェア(例えば、図1に示されるような)で実現されてもよい
[0120]
予測システム1020は、トレーニングシステム1010から少なくとも1つのトレーニングされたCNNモデルを受け取ることができる。予測システム1020は、プロセッサおよび非一時的コンピュータ可読媒体(図1で詳細に説明されるような)を含み得る。プロセッサは、非一時的コンピュータ可読媒体に格納された画像生成プロセスの命令を実行して、予測システム1020に出力マップを生成するための動作を実行させることができる。予測システム1020は、さらに、予測データベース1021、ネットワーク1030、および/またはユーザインターフェース(図示しないが、図1に対応する一実施形態内のような)と通信するための入力および出力インターフェース(図1により詳細に説明されたような)を含む。ユーザインターフェースは、出力マップを生成し、生成プロセスを開始し、出力マップを出力し、および/または出力マップに基づいて更なる分析を実行するための基礎として1つまたは複数の医用画像を選択するために使用され得る。
いくつかの実施形態によれば、予測システム1020は、出力マップ(例えば、図12に示されるような)を生成するように予測システム1020を構成するソフトウェアによって特別にプログラムされたハードウェア(例えば、図1に示されるような)が実装される。
予測システム1020は、入力データベースを受信するために予測データベース1021と通信することができる。いくつかの態様では、入力データは1つまたは複数の医用画像を含むことができる。予測データベース1021に格納された医用画像は、例えば、放射線療法治療セッションの2Dおよび/または3D画像を含む医用画像データベースから取得することができる。本明細書に記載されるように、医用画像は、図1、32の画像取得装置のような医用撮像装置によって取得された2D投影画像から再構成することができる3D医用画像を含むことができる。
開示された実施形態によれば、医用画像は、MRI、機能的MRI(例えば、fMRI、DCE−MRIおよび拡散MRI)、CT、CBCT、スパイラルCT、PET、SPECT、X線、光トモグラフィ、蛍光イメージング、超音波イメージング、放射線治療ポータルイメージングなど、を含む様々な画像診断様式を用いて取得される。いくつかの実施形態では、予測データベース1021は、予測システム1020の統合された部分、または、放射線療法治療室のような予測システム1020の同じ場所に配置される。
いくつかの態様では、入力データは解剖学的マップをさらに含み得る。上述のように、1つまたは複数の解剖学的マップは、1つまたは複数の医用画像に対応するセグメンテーション情報を含み得る。例えば、1つまたは複数の解剖学的マップは、1つまたは複数の医用画像内の目標体積および正常な重要臓器の描写を含み得る。いくつかの態様では、入力データは計画メタデータをさらに含み得る。例えば、計画メタデータは、患者の診断、放射線治療装置の種類および特性に関する情報、あるいは同様の情報を含み得る。例えば、計画メタデータは、ビームガントリ角度、ビームレットベクトル、および同様の情報を含み得る。
予測システム1020は、トレーニングシステム1010から受信した少なくとも1つのトレーニングされたCNNモデルを使用して、出力マップを生成することができる。この生成が完了すると、予測システム1020は出力マップを出力する。出力マップは、ユーザインターフェースに表示されてもよく、および/または治療計画におけるさらなる使用のために予測データベース1021に記憶されてもよい。いくつかの実施形態では、出力マップはトレーニングデータベース1011に自動的に格納されてもよい。例えば、出力マップは、受信した医用画像、受信した解剖学的マップ、および計画メタデータと関連付けることができる。これらの関連する項目のうちの1つまたは複数は、トレーニングデータベース1011にトレーニングデータとして格納される。
ネットワーク1030は、画像セグメンテーションシステム1000内の上述の構成要素のいずれかの間の接続を提供し得る。例えば、ネットワーク1030は、とりわけ、ローカルエリアネットワーク(LAN)、無線ネットワーク、クラウドコンピューティング環境(例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャ)、クライアントサーバ、およびワイドエリアネットワーク(WAN)であり得る。
[0127]
開示されたシステムおよび出力マップ生成方法によって実行される例示的なトレーニングプロセスは、図1により上記で説明され、本開示のいくつかの実施形態によるDCNNモデルをトレーニングするための例示的なトレーニングプロセス1100を示すフローチャートである図11により下記で更に詳細が説明されている。いくつかの実施形態では、トレーニングプロセス1100はトレーニングシステム1010によって実行される。
トレーニングプロセス1100は、トレーニングシステム1010がトレーニングデータを受信したときに開始する(ステップ1105)。上述のように、トレーニングデータは、1つまたは複数の画像診断法および対応する出力マップを使用して取得された少なくとも1つまたは複数の医用画像を含み得る。医用画像は3Dまたは2D医用画像であり得る。例えば、医用画像は、頭部、胴体、腹部、および/または四肢などの患者の解剖学的領域のCT画像を含み得る。いくつかの実施形態では、CT画像は3DCT画像、または2D画像の1つまたは複数のスタックであり得る。出力マップは、フルエンスマップまたは線量マップを含み得る。いくつかの態様では、トレーニングデータは1つまたは複数の解剖学的マップも含み得る。様々な態様では、トレーニングデータは計画メタデータも含み得る。
いくつかの実施形態では、トレーニングシステム1010はトレーニングデータを前処理するように構成されている。例えば、1つまたは複数の医用画像が1つまたは複数の3D医用画像を含むとき、トレーニングシステム1010は、1つまたは複数の3D医用画像から1つまたは複数の隣接する2D画像のスタックを生成するように構成され得る。1つまたは複数のスタックは、実質的に全体の3Dトレーニング画像を構成する。1つまたは複数のスタックは重なり合う画像を含むことができる(例えば、同じまたは実質的に類似の画像が複数のスタックに存在することができる)。上述のように、隣接する2D医用画像のスタックは、解剖学的平面に直交する軸に沿って依存構造情報を集合的に含む。出力マップが3D医用画像を含むとき、トレーニングシステム1010は、3D出力マップから2D出力マップを生成するように構成される。1つまたは複数の解剖学的マップが1つまたは複数の3D画像を含むとき、トレーニングシステム1010は、1つまたは複数の3D解剖学的マップから隣接する2D解剖学的マップの1つまたは複数のスタックを生成するように構成される。隣接する2D解剖学的マップの1つまたは複数のスタックにおける2D解剖学的マップは、隣接する2D医用画像の1つまたは複数のスタックにおける2D医用画像に対応する。いくつかの実施形態では、トレーニングシステム1010は、DCNNモデルをトレーニングするための1つのバッチのトレーニングデータとして1つまたは複数の医用画像のスタックおよび対応する出力マップを集合的に使用するように構成される。様々な実施形態では、トレーニングシステム1010は、隣接する2D解剖学的マップの1つまたは複数のスタック、および/または計画メタデータも使用するように構成される。
いくつかの実施形態では、1つまたは複数のスタックの医用画像は、3つの解剖学的面から選択された面、例えば、軸平面、矢状面、または冠状面に沿うことができる。そのような場合、プロセス1100は、この選択された平面についてトレーニングされたDCNNモデルを出力する(例えば、この選択された平面に沿って医用画像から出力マップを生成する)ことができる。いくつかの実施形態では、プロセス1100を繰り返して、3つの解剖学的平面に沿ってそれぞれ出力マップを生成するようにトレーニングされた3つの異なるDCNNモデルを出力することができる。
他の実施形態では、隣接する2D画像の1つまたは複数のスタックは、2つ以上の選択された解剖学的平面に沿っている。プロセス1100は、2つ以上の選択された解剖学的平面のうちの任意の1つに沿って出力マップを生成するために使用され得る1つのトレーニングされたDCNNモデルを出力するために実行される。他の実施形態では、隣接する2D画像の1つまたは複数のスタックは、3つの解剖平面のいずれに沿ってもよく、例えば、隣接する2D画像の少なくとも1つのスタックが各解剖平面のために選択される。プロセス1100は、3つの解剖学的平面のうちのいずれかに沿って出力マップを生成するために使用され得る1つのトレーニングされたCNNモデルを得るために実行される。そのような場合、DCNNモデルは、3つ全ての解剖学的平面に沿って隣接する2D画像の組み合わせスタックを使用してトレーニングされる。
ステップ1105から1125を繰り返し実行し、DCNNモデルが満足のいく出力マップを出力するまで、DCNNモデルをトレーニングする。反復回数は様々な停止基準によって決定される。いくつかの実施形態では、最大の反復回数が使用される。各反復で、トレーニングデータの新しいバッチは、以前に受信したデータから受信されるか、生成される。トレーニングデータの新しいバッチは、最大反復回数に達するまでDCNNモデルをトレーニングするために使用される。追加的または代替的に、DCNNモデルをトレーニングする前に、予想される精度が予め決定されていてもよい。DCNNモデルパラメータのバッチ選択および更新は、出力2Dおよび/または3Dラベルマップの精度が予想される精度を満たすまで繰り返し実行される。
上述したように、ステップ1105で、トレーニングデータを受信して前処理する。トレーニングシステム1010は、トレーニングデータの選択されたバッチを、ステップ1110でトレーニングされたDCNNモデルに入力するように構成されている。トレーニングシステム1010は、DCNNモデルをその現在のパラメータ、例えば、フィルタの重みと共に使用して、原点医用画像の入力スタックに対応する出力マップを計算することができる。いくつかの実施形態では、DCNNモデルの動作は、関数Y*=f(X;θ)で表される。ここで、Y*は、DCNNモデルの計算された出力であり、θ=(θ1,θ2,・・・θL)は、DCNNモデルのパラメータである。DCNNは、データセット{X、Y}i、ここでi=1,...,Nを使用してトレーニングされる。ここで、Xiは、入力画像データ(例えば、医用画像、解剖学的マップ、画像または解剖学的マップの関数、計画メタデータ)を含み、Yiは、対応する出力マップである。ステップ1120において、トレーニングシステム1010は、計算された出力マップをステップ1105において受信されたトレーニングデータと比較し、対応するエラーマップを計算する。トレーニングシステム1010は、ステップ1120で取得されたエラーマップに基づいてθを決定または更新する。例えば、逆伝播法(back-propagation method)を使用して、計算された出力マップとトレーニングマップとの間の差に基づいてθを決定または更新する。逆伝播法は、DCNNモデル内のパラメータに関して損失関数を最小化することによってパラメータを最適化する。当業者であれば、様々な損失関数に精通している。損失関数は、例えば、モデル予測の平均絶対誤差(MAE)、すなわち、
いくつかの態様では、コスト関数は、問題変数の確率関数、すなわち、パラメータθの値に従う所与のXのYを観測する条件付き可能性(P(Y|X;θ)と表記される)としてのデータ近似関数を表している。ここで、最適パラメータθMLは、可能性
ステップ1125において、トレーニングシステム1010は、停止基準が満たされるかどうかを判定する。上記のように、いくつかの実施形態では、停止基準は最大反復回数として表現される。したがって、例えば、トレーニングシステム1010は、反復回数が所定の最大数回数以上であるかどうかを判定する。それに加えて、またはその代わりに、トレーニングシステム1010は、例えば、損失関数がしきい値より小さいかどうかを判定することによって、出力マップの精度が予想される精度を満たすか上回るかを判定することができる。トレーニングシステム1010が、停止基準が満たされていないと判定した場合、プロセス1100は、ステップ1105に戻ってDCNNモデルをトレーニングするためにトレーニングデータを受信するか、または、以前に受信したトレーニングデータから新しいトレーニングデータを生成する。トレーニングシステム1010が、反復を停止するための基準が満たされたと判断した場合、トレーニングプロセス1100は、ステップ1130に進み、そこで、トレーニングシステム1010は、DCNNモデルを更新されたパラメータと共に保存し、および/または、トレーニングされたDCNNモデルを出力する。
いくつかの実施形態では、DCNNモデルをトレーニングするために、2つ以上のトレーニング画像データセット(例えば、2つ以上の3Dオリジナル医用画像および対応する3Dディスティネーション医用画像、および任意に解剖学的マップおよび/または計画メタデータ)が使用される。そのような場合、ステップ1105でトレーニングデータを受信すると、トレーニングシステム1010は、1つまたは複数のトレーニング画像データセットを選択し、次に入力データを選択(または生成)するように構成される。その後、ステップ1110から1125は、上記と同様に進行する。
[0137]
開示されたシステムおよび方法によって実行される例示的な出力マップ生成プロセスは、例示的な出力マップ生成プロセス1200を説明するフローチャートを示す図12を参照して以下に詳細に説明される。出力マップ生成プロセス1200は、予測システム1020によって実行される。
図12に示されているように、予測システム1020は、ステップ1210において、トレーニングされたDCNNモデル(例えば、ニューラルネットワーク920)を受信するように構成されている。トレーニングされたDCNNモデルは、図11で説明されたプロセス1100を介して、または、別のプロセスを介して取得することができる。予測システム1020は、特定の解剖学的平面に沿うような特定の視点について出力マップ生成プロセス1200を実行するように構成されている。例えば、予測システム1020は、軸平面、矢状面、および冠状面などの3つの解剖学的平面の中から選択するように構成されている。受信したトレーニングされたDCNNモデルは、選択された解剖学的平面に沿ってスライス(または、スライスのスタック)を用いてトレーニングされていてもよく、あるいは選択された解剖学的平面を含む複数の解剖学的平面に沿ってスライス(または、スライスのスタック)を用いてトレーニングされてもよい。
ステップ1220において、予測システム1020は入力データを受信するように構成されている。入力データは、1つまたは複数の医用画像を含み得る。1つまたは複数の医用画像は、1つまたは複数の3D医用画像を含み得る。3D医用画像は、患者の頭部、胴体、腹部、四肢、または他の解剖学的領域の少なくとも一部を描写する。予測システム1020は、オリジナル医用画像を前処理するように構成されている。例えば、医用画像が1つまたは複数の3D医用画像を含むとき、予測システム1020は、1つまたは複数の3D医用画像を2D医用画像の1つまたは複数のスタックに変換するように構成されることができる。上述のように、2D医用画像の1つまたは複数のスタックは連続していてもよく、1つまたは複数の重なり合う画像を有していてもよく、その結果、スタックの中間画像は一緒になって実質的に3D医用画像全体を構成する。
予測システム1020は、ステップ1220で受け取られた3D画像の平面を選択するように構成されてもよく、受け取った入力データおよび選択された平面に基づいてオリジナル医用画像の1つまたは複数のスタックを生成するように構成されてもよい。いくつかの態様では、予測システム1020は、選択された解剖学的平面に沿って1つまたは複数の医用画像からスライスを生成することができる。様々な態様では、予測システム1020は、選択された解剖学的平面に沿って1つまたは複数の解剖学的画像からスライスを生成することができる。いくつかの態様では、予測システム1020は、一連の個々の医療用スライス、または任意選択的に解剖学的スライスを生成することができる。様々な態様では、予測システム1020は、生成された出力マップに対応する各スタック内の中間スライスを用いて、スライスのスタックのシーケンスのシーケンスを生成することができる。
いくつかの実施形態では、予測システム1020は、DCNNモデルがトレーニングされるのと同じ種類の医用画像を使用して出力マップを生成するように構成される。例えば、予測システム1020は、トレーニング画像と同じ画像診断法を使用して取得された画像から出力マップを生成するように構成される。例えば、DCNNモデルがCT画像についてトレーニングされるとき、予測システム1020はCT画像を使用して出力マップを生成するように構成される。DCNNモデルが3DCT画像についてトレーニングされるとき、予測システム1020は、3DCT画像を使用して出力マップを生成するように構成される。さらに、DCNNモデルが隣接する医用画像のスタックについてトレーニングされるとき、予測システム1020は、そのモデルを隣接する医用画像の同じタイプのスタックに適用するように構成される。
いくつかの実施形態では、予測システム1020は、トレーニングデータが収集された複数の患者と同じ一般診断を有する現在の患者についての出力マップを生成するように構成される。例えば、現在の患者は、トレーニングデータが収集された複数の患者と同じ種類の癌、および/または同じ場所に腫瘍を有する可能性がある。
いくつかの実施形態では、予測システム1020は、DCNNモデルがトレーニングされるのと同じ種類の解剖学的マップを使用して出力マップを生成するように構成される。例えば、DCNNモデルが、ピクセルまたはボクセルを重要な構造およびターゲットと関連付ける解剖学的マップについてトレーニングされるとき、予測システム1020は、同様に、ピクセルまたはボクセルを重要な構造およびターゲットと関連付ける解剖学的マップを用いて出力マップを生成するように構成される。
ステップ1230において、トレーニングされたDCNNモデルが入力データに適用される。予測システム1020は、図8から図11において上述したように、入力データを使用して出力マップを決定することができる。ステップ1240において、出力マップ生成プロセス1200は、1つまたは複数の出力マップを出力する予測システム1020をさらに含み得る。例えば、予測システム1020は、ステップ1230で生成された出力マップを出力するように構成されてもよい。出力することは、さらなる分析または観察のために1つまたは複数の出力マップを表示すること、1つまたは複数の出力マップを非一時的媒体に格納すること、または、1つまたは複数の出力マップをコンピュータプロセス、プログラム、および/またはアプリケーションに提供することを含む。非一時的媒体およびコンピュータプロセス、プログラム、および/またはアプリケーションは、離れたシステム上にあり得る。
いくつかの実施形態では、予測システム1020は、1つまたは複数の出力マップを3D出力マップに組み立てるように構成される。上記のように、予測システム1020は、3つの解剖学的平面のうちの2つ以上に沿って入力データを処理するように構成され得る。そのような場合、プロセス1200は最終的な3D出力マップを生成することを含む。いくつかの態様では、予測システム1020は、2つ以上の解剖学的平面について決定された2つ以上の3D出力マップを融合することによって最終的な3D出力マップを決定するように構成され得る。いくつかの実施形態では、融合3D出力マップのボクセルの値は平均値である。非限定的な例として、3つの融合3D出力マップが0.7、0.8、および0.3のフルエンス値を有するとき、ボクセルは0.6のCT値を有することができる。本明細書に記載されるように、出力マップ生成プロセス1200において決定された3つの3D出力マップを融合するために任意の適切な方法が使用されてもよい。
[0146]
178人の前立腺患者についての医用画像のデータベースがトレーニングデータとして選択された。以下のように、トレーニングデータにおいて期待される結果として役立つように、各患者に対して前立腺放射線療法治療計画を作成した。最初に、輪郭(関連する解剖学的構造物の輪郭)を見直し、放射線治療腫瘍学グループ(Radiation Therapy Oncology Group)とRTOGファウンデーションインク(RTOG Foundation Inc.)(www.rtog.org/)の解剖学的構造ガイドラインを合わせて多くのものを再描画した。その後、Monaco(登録商標)のマージニングツールを使用して、各患者の臨床治療量(CTV)および計画治療量(PTV)を算出した。その後、放射線療法計画が、エラスムスのアイサイクル治療計画プログラム(Erasmus iCycle treatment planning program)を使用して各患者に対して行われた。このプログラムは、厳格な制約の順位付けされたリストと、医師の目標範囲およびリスクを回避する目的を特定する優先順位付けされた目的に対して、複数基準計画最適化を適用する。線量マップを含む完成した計画は、テンプレートとしてアイサイクル計画(iCycle plan)を使用してElekta Monaco(登録商標)によって計算され、画像、構造、計画、および線量ファイルが、DICOMフォーマットで保存された。医用画像は、165人の患者からなるトレーニングセットと13人の患者からなるテストセットに分けられた。13のテストケースは、数年にわたって長期的に取得されたデータに固有の分散をサンプリングすることを目的として、セット全体にわたってほぼ等間隔で選択された。
トレーニングデータ内の患者の医用画像は多くの点で異なった。それらは、非常に小さいものから非常に大きいものまで、前立腺精嚢治療量の範囲から、さまざまな疾患の特徴を示した。それらは、画素密度およびスライス厚が異なっていた(1.25mmから3mmまで)。視野内の標的領域の位置も異なっていた。これらの変動の原因を最小限に抑えるために、データは同じ3Dグリッドサイズと間隔に再サンプリングされ、ターゲットは視野内に一貫して配置されるように再配置した。データは、まず、DICOMフォーマットからITKフォーマットに変換された。ある特定の構成では、画像、構造、および線量データを、ボクセル間隔が2.25×2.25×2.25mmで、(x、y、z)=(256,256、N)グリッドに再サンプリングした。ここで、Nは、z軸に沿って3D線量分布にまたがるために必要な軸方向スライスの数である。まずPTVの重心が配置され、次に線量が軸方向中心のPTVと一致して変換される。線量のzスパンを測定し、線量スライスと同じz位置にN個の再サンプリングしたCT画像を作成する。その後、データはDICOMフォーマットに再変換された。
腸管ガスは、ニューラルネットワークに提示された医用画像においてボイドとして現れた。これにより、推定線量分布にアーティファクトが生じた。DCNNトレーニングのためのさらなる準備において、ガスボクセルが識別され、それらの強度が軟組織強度範囲から無作為にサンプリングされた値によって置換され、そして処理された画像がニューラルネットワークに提示された。以前に観測されたアーティファクトは、推定線量分布にはもはや存在しなかった。
いくつかのフォーマットの解剖学的画像が検討され、解剖学的オブジェクトの境界までの最短距離を詳細に示す符号付き距離マップと、CT画像自体であって画像の強化版(ラプラシアンシャープ化、反転化(Laplacian sharpened, inverted))と、CT画像のソーベルエッジ検出バージョン(Sobel edge-detected versions)を含むニューラルネットワークモデルに提示した。さらに、3D再構成をこれらの画像に適用して、患者の外部輪郭、および各ビューについての符号付き距離マップを決定した。
DCNNのRGBチャネル層はDCNNに入力されている画像のカラーデータを特定するためにしばしば使用されるが、本発明の実施形態は新規な方法でRGBチャネル層を利用する。3つの別々だが関連する画像を使用して、DCNNのRGBチャネルに、患者の外部輪郭符号付き距離マップに関する画像と、リスク臓器の対応する軸方向符号付き距離マップと、患者の計画治療量の符号付き距離マップとを表示することができる。3つのRGBチャネルがそのように配置されると、合成カラー画像を、DCNNをトレーニングするために使用することができる。トレーニングに使用されると期待される結果は、後述する図14に示されており、この患者に対する予め確立された「ゴールドスタンダード」治療計画に対応する。ここで、DCNNは、トレーニング画像13と図14に示される予想される結果とを用いて、適切な数のトレーニング反復と学習率パラメータを選択することを目標にトレーニングされて(トレーニングプロセスを説明する上記の図7および図11の説明を参照)、学習アルゴリズムを、期待される結果に適切に類似して他の診断基準を満たすフルエンスマップを作成するネットワーク構成に収束させる。
図13は、以下の図においてさらに分析されたアキシャルCTビューを示す。図14は、患者の解剖学的構造および治療情報を使用してトレーニングされたネットワーク精度を試験するために使用されるべきである、予測される(グラウンドトゥルースの)線量に対応する選択された軸方向図を示す。この予測される結果はトレーニングで使用され、それは、この患者のために事前に設定された「ゴールドスタンダード」治療計画に対応している。
[0152]
ネットワークモデルは、文献「Ronneberger, O., Fischer, P. and Brox, T., U-Net: Convolutional networks for biomedical image segmentation, arXiv: 1505.0459/vl, 2015」によって記載されたU−Netが選択された。上記文献の全体は参照により本明細書に組み込まれる。このネットワークは、いくつかのスケールで学習されたフィーチャを、同じスケールでのプーリングされていないフィーチャとマージする。
このネットワークモデルは、文献「Jia, Y., Shelhammer, E., Donahue, J., Karayev, S., Girshick, R., Guadarrama, S., Darrell, T., Caffe: Convolutional architecture for fast feature embedding, arXiv: 1408:5093vl, 2014」に記載されたオープンソースのCaffeプラットフォームで使用されたモデルであった。上記文献の全体は参照により本明細書に組み込まれる。入力画像および線量の大きさは256x256であった。「オーグメンテーション(augmentation)」オプションが選択された。このオプションを使用すると、Caffeは画像と線量のペアの224×224中央部分をランダムにトリミングし、オーバーフィットを減らすためにデータをランダムなオフセットでネットワークに提示する。
Caffeから出力された2D線量画像を受け取り、DICOM線量オブジェクトをネイティブのDICOM線量ファイルに再構築するプログラムが作成された。その線量は、既存のDICOM患者データセットに追加され、Erasmus−iCycleプログラムの線量と比較するためにMonacoプログラムに読み込まれた。「解剖学的オブジェクトの体積(縦座標)の%」対「線量によってカバーされる解剖学的対象(横座標)の%」をプロットした線量体積ヒストグラム(DVH)を使用して結果を評価した。
トレーニングセットは、nVidiaグラフィックスプロセッサユニットを搭載したコンピュータ上のDCNNモデルに提示された。ラーニングレートは最初0.01に設定され、このレートは30000回の反復ごとに0.1ずつ減少した。nVidia TitanXカードを搭載したコンピュータは、1日当たり約10000回の繰り返しを完了した。nVidia Teslaカードを搭載したコンピュータは、1日当たり3000回の繰り返しを完了した。その後、テストセット内の各画像はトレーニングされた各モデルに提示された。ネットワークは、強固で目に見える(robust and viewable)線量推定値を提供した。これは、トレーニングにおけるより多い反復回数およびより少ない反復回数の両方(例えば、約10000回の反復)に当てはまった。
トレーニングを実行するために、ラーニングレートを最初0.01に設定し、17400回トレーニング反復して、ディープラーニングモデルをトレーニングして、図15に示された結果を得た。図15において、左側の画像は、入力画像を示し、真ん中の画像は、トレーニングアルゴリズムに入力されたグラウンドトゥルースまたは期待された結果を示し、「unet-result」とラベル付けされた右側の画像は、17400回のトレーニング反復の完了後にDCNNが生成した入力データに対応する予測結果出力マップ(フルエンスマップ)を示す。
図16は、線量プロファイルの期待した結果(左図)と予測した結果(右図)を示す。図16は、このトレーニングセット(2.25mm×2.25mm×2.25mmのボクセル間隔、17400回の反復、0.01のラーニングレート)での期待された結果に対する予測された結果が合理的に近似していることを示している。
図17は、ラーニングレートが0.001で60000回の反復である同じトレーニングデータについてのトレーニングシナリオの状態を示す。図17の右側に示された予測した出力(フルエンスマップ)は、17400回のみ反復した図15よりも、図17の真ん中における期待した結果のグラウンドトゥルースにより近似している。それに対応して、図18の線量ヒストグラムは、期待した結果(左側)と予測した結果(右側)がより近い一致を示し、それは。図16と比較したとき、特に曲線の下向きのピークが近い一致を示している。
図19に示すように、ボクセル間隔および学習率が同じままで、様々な反復回数についての線量体積ヒストグラム(DVH)が準備された。10k、20k、60k、90k回の反復が、異なるトレーニングトライアルで使用され、ヒストグラムは、90k回の反復トレーニングサイクルでのグラウンドトゥルースデータと予想した結果との間の非常に近い適合を示している。DVHにおいて、PTVは緑色で示され、膀胱プロットは青色で示され、直腸プロットは赤色で示されている。トレーニングアルゴリズムの予測した結果がグラウンドトゥルース(すなわち、期待した結果)と正確に一致する場合、グラウンドトゥルースのDVH曲線および最適化された予測した結果を生成する特定の反復回数は本質的に同一であろう。ボクセル間隔サイズおよび学習率と共に、使用するトレーニング反復回数は、トレーニング時間の間隔についてのDVHプロットが予測した結果にどれほど密接に収束するかを調べることによって実験的に決定することができる。
本明細書では、ソフトウェアコードまたは命令として実施または定義することができる様々な動作または機能を説明する。そのようなコンテンツは、直接実行可能(「オブジェクト」または「実行可能」形式)、ソースコード、または差分コード(「デルタ」または「パッチ」コード)であり得る。本明細書に記載された実施形態のソフトウェアの実装は、コードまたは命令を格納した製品を介して、または通信インターフェースを介してデータを送信するように通信インターフェースを動作させる方法を介して提供することができる。機械またはコンピュータ可読記憶媒体は、説明された機能または動作を機械(例えば、コンピューティングデバイス、電子システムなど)に実行させることができ、記録可能/記録不可能媒体(例えば、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイスなど)のような機械によってアクセス可能な形式で情報を記憶する任意の機構を含む。通信インターフェースは、メモリバスインターフェース、プロセッサバスインターフェース、インターネット接続、ディスクコントローラ、およびディスクコントローラなどのような、有線、無線、光学など、他の装置への通信する媒体のいずれかにインターフェースする任意の機構を含む。通信インターフェースは、構成パラメータを提供すること、および/またはソフトウェアコンテンツを記述するデータ信号を提供するために通信インターフェースを準備するために信号を送信することによって構成することができる。通信インターフェースは、通信インターフェースに送信された1つまたは複数のコマンドまたは信号を介してアクセスすることができる。
本発明はまた、本明細書の動作を実行するためのシステムに関する。このシステムは、要求される目的のために特別に構築されてもよく、あるいはコンピュータに格納されたコンピュータプログラムによって選択的に起動または再構成された汎用コンピュータを含んでもよい。そのようなコンピュータプログラムは、これらに限定されないが、フロッピーディスク、光ディスク、CD−ROM、および光磁気ディスクを含む任意の種類のディスク、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気または光学カード、または電子命令を格納するのに適した任意の種類の媒体であって、それぞれコンピュータシステムバスに結合されているような、コンピュータ可読記憶媒体に記憶することができる。
本明細書に図示および記載された本発明の実施形態における動作の実行または実行の順序は、他に特定されない限り必須ではない。すなわち、動作は、他に特定されない限り、任意の順序で実行されてもよく、本発明の実施形態は、本明細書に開示されたものよりも追加の動作を含んでもよく、またはより少ない動作でもよい。例えば、特定の動作を他の動作の前、それと同時に、またはその後に実行することは、本発明の態様の範囲内であると考えられる。
本発明の実施形態は、コンピュータ実行可能命令を用いて実施することができる。コンピュータ実行可能命令は、1つまたは複数のコンピュータ実行可能コンポーネントまたはモジュールに編成することができる。本発明の態様は、任意の数および構成のそのような構成要素またはモジュールを用いて実施することができる。例えば、本発明の態様は、図に示され本明細書に記載された特定のコンピュータ実行可能命令または特定の構成要素もしくはモジュールに限定されない。本発明の他の実施形態は、本明細書に図示および説明されたものよりも多いまたは少ない機能を有する異なるコンピュータ実行可能命令または構成要素を含み得る。
開示された原理の例および特徴が本明細書に記載されているが、開示された実施形態の精神および範囲から逸脱することなく、修正、適応、および他の実装が可能である。また、「含む」、「有する」、「含む」、「含んでいる」という用語、および他の同様の形態は、意味において同等であり、これらの単語のいずれかに続く単数または複数の項目は、単数または複数の項目の網羅的なリストであることを意味するのではなく、またはリストされた単数または複数の項目のみに限定されることを意味するように、オープンエンドとして解釈されるように意図されている。そして、単数形「a」、「an」、「the」は、文脈が明らかにそうでないことを示さない限り、複数の言及を含むことを意図している。
本発明の態様を詳細に説明してきたが、添付の特許請求の範囲に規定されるような本発明の態様の範囲から逸脱することなく修正および変形が可能であることは明らかであろう。本発明の態様の範囲から逸脱することなく上記の構成、製品、および方法に様々な変更を加えることができるので、上記の説明に含まれ添付の図面に示されるすべての事項は例示として解釈されるべきであり、限定的な意味ではない。
Claims (22)
- 放射線療法線量を予測するための放射線療法治療システムであって、
1つまたは複数の三次元医用画像を取得するための画像取得装置と、
前記1つまたは複数の三次元医用画像と、ニューラルネットワークモデルと、1つまたは複数の三次元解剖学的マップと、1つまたは複数の三次元線量分布とを格納するための非一時的機械可読媒体と、
前記ニューラルネットワークモデルをトレーニングして、前記1つまたは複数の三次元医用画像と前記1つまたは複数の三次元解剖学的マップに基づいて、フルエンスマップおよび線量マップの少なくとも一方を予測し、前記ニューラルネットワークの予測に基づいて三次元線量分布を生成するように構成された画像処理装置と
を有することを特徴とするシステム。 - 請求項1記載のシステムにおいて、
前記三次元解剖学的マップは、1つまたは複数の医用画像に対応し、患者の解剖学的構造の位置と治療標的の位置とを示す
ことを特徴とするシステム。 - 請求項1記載のシステムにおいて、
前記三次元解剖学的マップは、画像輪郭と、空間内輪郭曲線と、機能的解剖学的マップと、構造に対応するバイナリマスクと、符号付き距離マップのような前記構造の関数とのうちの少なくとも1つを含む
ことを特徴とするシステム。 - 請求項1記載のシステムにおいて、
前記トレーニングされたニューラルネットワークは、フルエンスの三次元マップを提供する
ことを特徴とするシステム。 - 請求項1記載のシステムにおいて、
前記ニューラルネットワークモデルをトレーニングすることは、
前記画像処理装置が、更に、
(a)初期層構成と、初期接続構成と、初期重みセットと、初期バイアスセットとを用いて前記ニューラルネットワークモデルを初期化し、
(b)前記初期化されたニューラルネットワークモデルにトレーニングデータを入力し、前記トレーニングデータは、医用画像と、特定の解剖学的構造と、期待した三次元線量分布とを含む患者の集団からの患者記録を含み、
(c)前記ニューラルネットワークモデルから予測した線量分布を受け取り、
(d)前記ニューラルネットワークモデルからの前記予測した線量分布を、期待した線量分布と比較し、前記ニューラルネットワークの重みとバイアスを調整して、前記予測した線量分布と前記期待した線量分布との間の差を減少させ、
前記予測した線量分布と前記期待した線量分布との差が所定の閾値に達するまで、ステップ(c)から(d)を繰り返し、
前記トレーニングされたニューラルネットワークを前記非一時的機械可読媒体に格納するように構成されている
ことを特徴とするシステム。 - 請求項5記載のシステムにおいて、
前記トレーニングデータは、トレーニングデータの第2のセットを含み、前記トレーニングデータの第2のセットは、特定の患者に対応する新しい患者画像の更新されたセットを含む
ことを特徴とするシステム。 - 請求項5記載のシステムにおいて、
前記トレーニングデータは、前記初期化されたニューラルネットワークモデルをトレーニングするための、線量分布と、放射線治療装置を制御するための機械パラメータのセットと、線量体積ヒストグラムに基づく品質の尺度と、画像の輪郭と、空間内の輪郭付き表面と、機能的解剖学的構造と、符号付き距離マップと、それらの組み合わせとのうちの少なくとも1つを含む
ことを特徴とするシステム。 - 請求項5記載のシステムにおいて、
前記トレーニングデータは、線量分布の関数を含み、
前記関数は、少なくとも、二乗と、指数関数と、任意の可逆数学関数とである
ことを特徴とするシステム。 - 請求項5記載のシステムにおいて、
前記トレーニングされたニューラルネットワークモデルをテストすることは、
前記画像処理装置を、
前記非一時的機械可読媒体に格納された前記トレーニングされたニューラルネットワークを受信し、
前記トレーニングされたニューラルネットワークにテストデータを入力し、前記テストデータは、医用画像と特定の解剖学的構造と期待された線量分布とを含む患者集団からの患者記録を含み、
前記トレーニングされたニューラルネットワークから予測した線量分布を獲得し、
前記期待した線量分布と前記予測した線量分布とを比較することにより誤差要因を決定する
ように構成することを含む
ことを特徴とするシステム。 - 請求項1記載のシステムにおいて、
前記ニューラルネットワークは深層畳み込みニューラルネットワーク(DCNN)を含む
ことを特徴とするシステム。 - 放射線療法線量を予測するための放射線療法治療システムであって。
トレーニングデータのセットを取得するための画像取得装置であって、前記トレーニングデータは、1つまたは複数の三次元医用画像と、ニューラルネットワークモデルと、1つまたは複数の三次元解剖学的マップと、1つまたは複数の三次元線量分布とを含む画像取得装置と、
前記トレーニングデータと、第1のニューラルネットワークモデルと、第2のニューラルネットワークモデルとを格納するための非一時的機械可読媒体と、
前記トレーニングデータを用いて前記第1のニューラルネットワークモデルをトレーニングして、第1の線量分布を予測し、
前記トレーニングデータを用いて前記第2のニューラルネットワークモデルをトレーニングして、第2の線量分布を予測し、
前記第1の線量分布と前記第2の線量分布とを比較することにより誤差を決定し、
前記誤差を用いて前記第1のニューラルネットワークモデルをトレーニングする
ように構成された画像処理装置と
を有することを特徴とするシステム。 - 請求項11記載のシステムにおいて、
前記画像処理装置は、前記トレーニングデータの関数を用いて前記第2のニューラルネットワークモデルをトレーニングして、線量分布を予測するように構成されており、
前記関数は、任意の可逆数学関数を含む
ことを特徴とするシステム。 - 放射線療法線量を予測するための方法であって、
前記方法は、
画像取得装置から1つまたは複数の三次元医用画像を受信し、
前記三次元医用画像と、ニューラルネットワークモデルと、1つまたは複数の三次元解剖学的マップと、1つまたは複数の三次元線量分布とを非一時的コンピュータ可読媒体に格納し、
少なくとも1つのプロセッサにより、前記ニューラルネットワークをトレーニングして、前記1つまたは複数の三次元医用画像と、前記1つまたは複数の三次元解剖学的マップと、前記1つまたは複数の三次元線量分布に基づいて、フルエンスマップおよび線量マップの少なくとも1つを予測し、
前記ニューラルネットワークの予測に基づいて三次元線量分布を生成する
ことを特徴とする方法。 - 請求項13記載の方法において、
前記三次元解剖学的マップは、1つまたは複数の医用画像に対応し、患者の解剖学的構造と治療標的の位置を示す
ことを特徴とする方法。 - 請求項13記載の方法において、
前記三次元解剖学的マップは、画像輪郭と、空間内輪郭曲線と、機能的解剖学的マップと、構造に対応するバイナリマスクと、符号付き距離マップのような前記構造の関数とのうちの少なくとも1つを含む
ことを特徴とする方法。 - 請求項13記載の方法において、
前記トレーニングされたニューラルネットワークはフルエンスの三次元マップを提供する
ことを特徴とする方法。 - 請求項13記載の方法において、
前記ニューラルネットワークモデルをトレーニングすることは、
前記画像処理装置が、
(a)初期層構成と、初期接続構成と、初期重みセットと、初期バイアスセットとを用いて前記ニューラルネットワークモデルを初期化し、
(b)前記初期化されたニューラルネットワークモデルにトレーニングデータを入力し、前記トレーニングデータは、医用画像と、特定の解剖学的構造と、期待した三次元線量分布とを含む患者の集団からの患者記録を含み、
(c)前記ニューラルネットワークモデルから予測した線量分布を受け取り、
(d)前記ニューラルネットワークモデルからの前記予測した線量分布を、期待した線量分布と比較し、前記ニューラルネットワークの重みとバイアスを調整して、前記予測した線量分布と前記期待した線量分布との間の差を減少させ、
前記予測した線量分布と前記期待した線量分布との差が所定の閾値に達するまで、ステップ(c)から(d)を繰り返し、
前記トレーニングされたニューラルネットワークを前記非一時的機械可読媒体に格納するように構成されている
ことを特徴とする方法。 - 請求項17記載の方法において、
前記トレーニングデータは、トレーニングデータの第2のセットを含み、前記トレーニングデータの第2のセットは、特定の患者に対応する新しい患者画像の更新されたセットを含む
ことを特徴とする方法。 - 請求項17記載の方法において、
前記トレーニングデータは、前記初期化されたニューラルネットワークモデルをトレーニングするための、線量分布と、放射線治療装置を制御するための機械パラメータのセットと、線量体積ヒストグラムに基づく品質の尺度と、画像の輪郭と、空間内の輪郭付き表面と、機能的解剖学的構造と、符号付き距離マップと、それらの組み合わせとのうちの少なくとも1つを含む
ことを特徴とする方法。 - 請求項17記載の方法において、
前記トレーニングデータは、線量分布の関数を含み、
前記関数は、少なくとも、二乗と、指数関数と、任意の可逆数学関数とである
ことを特徴とする方法。 - 請求項17記載の方法において、
前記トレーニングされたニューラルネットワークモデルをテストすることは、
前記画像処理装置を、
前記非一時的機械可読媒体に格納された前記トレーニングされたニューラルネットワークを受信し、
前記トレーニングされたニューラルネットワークにテストデータを入力し、前記テストデータは、医用画像と特定の解剖学的構造と期待された線量分布とを含む患者集団からの患者記録を含み、
前記トレーニングされたニューラルネットワークから予測した線量分布を獲得し、
前記期待した線量分布と前記予測した線量分布とを比較することにより誤差要因を決定する
ように構成することを含む
ことを特徴とする方法。 - 請求項17記載の方法において、
前記ニューラルネットワークは深層畳み込みニューラルネットワーク(DCNN)を含む
ことを特徴とする方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662384192P | 2016-09-07 | 2016-09-07 | |
US62/384,192 | 2016-09-07 | ||
PCT/US2017/046608 WO2018048575A1 (en) | 2016-09-07 | 2017-08-11 | System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019526380A true JP2019526380A (ja) | 2019-09-19 |
JP2019526380A5 JP2019526380A5 (ja) | 2020-01-30 |
JP6688536B2 JP6688536B2 (ja) | 2020-04-28 |
Family
ID=59677435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019513074A Active JP6688536B2 (ja) | 2016-09-07 | 2017-08-11 | 放射線療法治療計画のモデルを学習して放射線療法の線量分布を予測するためのシステムおよび方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11850445B2 (ja) |
EP (1) | EP3509697B1 (ja) |
JP (1) | JP6688536B2 (ja) |
CN (1) | CN109843377B (ja) |
AU (1) | AU2017324627B2 (ja) |
RU (1) | RU2719028C1 (ja) |
WO (1) | WO2018048575A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021522886A (ja) * | 2018-04-30 | 2021-09-02 | エレクタ、インク.Elekta, Inc. | 敵対的生成ネットワークを用いた放射線治療計画モデリング |
WO2022145538A1 (ko) * | 2020-12-30 | 2022-07-07 | 뉴로핏 주식회사 | 특성 정보를 고려한 의료 영상 분석 방법, 의료 영상 분석 장치 및 의료 영상 분석 시스템 |
JP7345768B1 (ja) | 2022-03-30 | 2023-09-19 | 国立大学法人大阪大学 | 予測支援システム、予測支援方法及び予測支援プログラム |
US11896847B2 (en) | 2020-02-07 | 2024-02-13 | Elekta, Inc. | Adversarial prediction of radiotherapy treatment plans |
JP7553561B2 (ja) | 2019-11-25 | 2024-09-18 | アキュレイ インコーポレイテッド | 動きに影響される治療線量を再構成するための部分変形マップ |
JP7569378B2 (ja) | 2019-12-18 | 2024-10-17 | レイサーチ ラボラトリーズ,エービー | 治療計画の品質を確認すること |
Families Citing this family (118)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109843377B (zh) | 2016-09-07 | 2022-06-17 | 医科达有限公司 | 用于预测放射疗法剂量分布的放射疗法治疗计划的学习模型的系统和方法 |
US10769501B1 (en) * | 2017-02-15 | 2020-09-08 | Google Llc | Analysis of perturbed subjects using semantic embeddings |
WO2018213431A1 (en) * | 2017-05-16 | 2018-11-22 | Health Research, Inc. | Method and system for transferring radiation therapy treatment plans from a high definition mlc to a lower definition mlc |
WO2018223261A1 (zh) * | 2017-06-05 | 2018-12-13 | 西安大医数码科技有限公司 | 放疗系统、数据处理方法及存储介质 |
US11517768B2 (en) * | 2017-07-25 | 2022-12-06 | Elekta, Inc. | Systems and methods for determining radiation therapy machine parameter settings |
EP3445048A1 (en) | 2017-08-15 | 2019-02-20 | Holo Surgical Inc. | A graphical user interface for a surgical navigation system for providing an augmented reality image during operation |
EP3470006B1 (en) | 2017-10-10 | 2020-06-10 | Holo Surgical Inc. | Automated segmentation of three dimensional bony structure images |
US10653893B2 (en) * | 2017-08-30 | 2020-05-19 | Varian Medical Systems International Ag | Radiation treatment based upon user specification of at least one custom DVH estimation model training feature |
US11517197B2 (en) * | 2017-10-06 | 2022-12-06 | Canon Medical Systems Corporation | Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction |
US10803984B2 (en) * | 2017-10-06 | 2020-10-13 | Canon Medical Systems Corporation | Medical image processing apparatus and medical image processing system |
CN111447877A (zh) * | 2017-10-23 | 2020-07-24 | 皇家飞利浦有限公司 | 使用深度成像的正电子发射断层摄影(pet)系统设计优化 |
US10493299B2 (en) * | 2017-12-08 | 2019-12-03 | Elekta, Inc. | Determining parameters for a beam model of a radiation machine using deep convolutional neural networks |
CN110310287B (zh) * | 2018-03-22 | 2022-04-19 | 北京连心医疗科技有限公司 | 基于神经网络的危及器官自动勾画方法、设备和存储介质 |
WO2019190449A1 (en) * | 2018-03-26 | 2019-10-03 | Hewlett-Packard Development Company, L.P. | Generation of kernels based on physical states |
CN108717866B (zh) * | 2018-04-03 | 2022-10-11 | 中国医学科学院肿瘤医院 | 一种预测放疗计划剂量分布的方法、装置、设备及存储介质 |
US10783655B2 (en) * | 2018-04-11 | 2020-09-22 | Siemens Healthcare Gmbh | System and method for assisted patient positioning |
US11435460B2 (en) * | 2018-05-07 | 2022-09-06 | Fujifilm Sonosite, Inc. | Ultrasound imaging system with style transfer image enhancement |
WO2019224800A1 (en) * | 2018-05-25 | 2019-11-28 | Mahajan Vidur | Method and system for simulating and constructing original medical images from one modality to other modality |
US11756667B2 (en) * | 2018-05-30 | 2023-09-12 | Siemens Healthcare Gmbh | Decision support system for medical therapy planning |
US11491350B2 (en) | 2018-05-30 | 2022-11-08 | Siemens Healthcare Gmbh | Decision support system for individualizing radiotherapy dose |
CN112601582A (zh) * | 2018-06-26 | 2021-04-02 | 威斯康星州医药大学股份有限公司 | 用于加速的在线自适应放射疗法的系统和方法 |
US10888296B2 (en) * | 2018-06-29 | 2021-01-12 | Shanghai United Imaging Healthcare Co., Ltd. | Methods and systems for modulating radiation dose |
WO2020010339A1 (en) * | 2018-07-05 | 2020-01-09 | The Regents Of The University Of California | Computational simulations of anatomical structures and body surface electrode positioning |
US11126649B2 (en) | 2018-07-11 | 2021-09-21 | Google Llc | Similar image search for radiology |
US11486950B2 (en) * | 2018-08-01 | 2022-11-01 | General Electric Company | Systems and methods for automated graphical prescription with deep neural networks |
EP3608870A1 (en) | 2018-08-10 | 2020-02-12 | Holo Surgical Inc. | Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure |
JP7370694B2 (ja) * | 2018-08-14 | 2023-10-30 | キヤノン株式会社 | 医用情報処理装置及び医用情報処理方法、プログラム |
CN112640038A (zh) * | 2018-09-03 | 2021-04-09 | 首选网络株式会社 | 学习装置、推断装置及学习完成模型 |
CN109273023B (zh) * | 2018-09-20 | 2022-05-17 | 科大讯飞股份有限公司 | 一种数据评测方法、装置、设备及可读存储介质 |
US10984902B2 (en) | 2018-09-28 | 2021-04-20 | Varian Medical Systems International Ag | Methods and systems for adaptive radiotherapy treatment planning using deep learning engines |
US20200104695A1 (en) * | 2018-09-28 | 2020-04-02 | Varian Medical Systems International Ag | Methods and systems for radiotherapy treatment planning using deep learning engines |
EP4287205A3 (en) * | 2018-09-28 | 2024-02-21 | Siemens Healthineers International AG | Methods and systems for adaptive radiotherapy treatment planning using deep learning engines |
US11475991B2 (en) * | 2018-09-28 | 2022-10-18 | Varian Medical Systems International Ag | Methods and systems for adaptive radiotherapy treatment planning using deep learning engines |
EP3633622A1 (en) * | 2018-10-02 | 2020-04-08 | Koninklijke Philips N.V. | Generation of pseudo radiographic images from optical images |
EP3864618A1 (en) * | 2018-10-12 | 2021-08-18 | The Medical College of Wisconsin, Inc. | Medical image segmentation using deep learning models trained with random dropout and/or standardized inputs |
US11083913B2 (en) | 2018-10-25 | 2021-08-10 | Elekta, Inc. | Machine learning approach to real-time patient motion monitoring |
EP3654247A1 (en) * | 2018-11-15 | 2020-05-20 | IMEC vzw | Convolution engine for neural networks |
US10803987B2 (en) * | 2018-11-16 | 2020-10-13 | Elekta, Inc. | Real-time motion monitoring using deep neural network |
CN109621228B (zh) * | 2018-12-12 | 2022-06-28 | 上海联影医疗科技股份有限公司 | 放射剂量的计算设备、装置和存储介质 |
US11995854B2 (en) * | 2018-12-19 | 2024-05-28 | Nvidia Corporation | Mesh reconstruction using data-driven priors |
US11013936B2 (en) | 2018-12-21 | 2021-05-25 | Varian Medical Systems International Ag | Methods and systems for generating dose estimation models for radiotherapy treatment planning |
TWI697010B (zh) * | 2018-12-28 | 2020-06-21 | 國立成功大學 | 醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置 |
US11020615B2 (en) | 2019-02-13 | 2021-06-01 | Elekta Ab (Publ) | Computing radiotherapy dose distribution |
CN109887599B (zh) * | 2019-02-25 | 2021-07-06 | 中国计量大学 | 一种基于神经网络的中医处方疗效推演方法 |
CN111627528A (zh) * | 2019-02-28 | 2020-09-04 | 未艾医疗技术(深圳)有限公司 | VRDS 4D医学影像多设备Ai联动显示方法及产品 |
RU2708818C1 (ru) * | 2019-04-01 | 2019-12-11 | Федеральное государственное бюджетное учреждение "Национальный медицинский исследовательский центр кардиологии" Министерства здравоохранения Российской Федерации (ФГБУ "НМИЦ кардиологии" Минздрава России) | Способ определения объема патологических образований спинного мозга на высокопольном магнитно-резонансном томографе |
CN109978886B (zh) * | 2019-04-01 | 2021-11-09 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
PL3726460T3 (pl) * | 2019-04-06 | 2024-06-24 | Kardiolytics Inc. | Autonomiczna segmentacja tętnic wieńcowych wypełnionych kontrastem w obrazach tomografii komputerowej |
JP7389445B2 (ja) * | 2019-04-25 | 2023-11-30 | 国立大学法人東北大学 | 線量分布判定システム、深層学習装置、線量分布判定方法及びコンピュータプログラム |
US11141609B2 (en) | 2019-05-15 | 2021-10-12 | Elekta Ab (Publ) | Dose guided real-time adaptive radiotherapy |
JP2022536621A (ja) * | 2019-06-04 | 2022-08-18 | エレクタ アクチボラゲット(パブル) | プライバシーを保証した放射線治療計画のパラメータ |
CN114206438B (zh) * | 2019-06-20 | 2024-05-03 | 医科达有限公司 | 使用投影图像预测放射治疗控制点 |
FR3095332B1 (fr) * | 2019-06-27 | 2023-07-21 | Quantum Surgical | Méthode de planification d’une ablation de tissus basée sur l’apprentissage profond |
WO2021002356A1 (ja) * | 2019-07-02 | 2021-01-07 | コニカミノルタ株式会社 | 放射線画像判定装置、検査システム及びプログラム |
EP3760125A1 (en) * | 2019-07-05 | 2021-01-06 | Koninklijke Philips N.V. | Self-learning distributed system with automated ground-truth generation |
CN110327554B (zh) * | 2019-07-08 | 2020-11-10 | 南方医科大学 | 基于预测剂量分布引导的调强放疗计划优化方法及应用 |
CN110433405A (zh) * | 2019-07-09 | 2019-11-12 | 苏州雷泰智能科技有限公司 | 一种预测剂量引导的tps优化方法及装置 |
US11097128B2 (en) * | 2019-07-16 | 2021-08-24 | Elekta Ab (Publ) | Radiotherapy treatment plans using differentiable dose functions |
CN110354406A (zh) * | 2019-07-30 | 2019-10-22 | 安徽大学 | 一种放射治疗的三维剂量预测方法和系统 |
US11040219B2 (en) * | 2019-08-21 | 2021-06-22 | Ping An Technology (Shenzhen) Co., Ltd. | Clinical target volume delineation method and electronic device |
CN110548231B (zh) * | 2019-09-12 | 2021-11-05 | 上海联影医疗科技股份有限公司 | 放疗计划生成系统、装置及存储介质 |
WO2021052552A1 (en) * | 2019-09-20 | 2021-03-25 | Brainlab Ag | Training a machine learning algorithm using digitally reconstructed radiographs |
ES2815623A1 (es) * | 2019-09-27 | 2021-03-30 | Delgado Oscar Ruesga | PROCEDIMIENTO PARA LA REALIZACION DE UN DIAGNOSTICO y PRONOSTICO MEDICO DIGITAL BASADO EN ANATOMIA DIGITAL |
KR102624027B1 (ko) * | 2019-10-17 | 2024-01-11 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
CN112774043A (zh) * | 2019-11-08 | 2021-05-11 | 医科达(上海)科技有限公司 | 用于验证主放射剂量分布曲线的系统和方法、存储介质 |
US11429808B2 (en) * | 2019-12-19 | 2022-08-30 | Varian Medical Systems International Ag | Systems and methods for scalable segmentation model training |
KR102423697B1 (ko) * | 2020-01-02 | 2022-07-21 | 한국원자력의학원 | 딥러닝을 이용한 방사성의약품 분포영상 생성 시스템 및 방법 |
CN111243758B (zh) * | 2020-01-08 | 2023-06-30 | 杭州费尔斯通科技有限公司 | 一种应用于具有多次反馈调节特点场景的建模方法 |
US11694333B1 (en) * | 2020-02-05 | 2023-07-04 | State Farm Mutual Automobile Insurance Company | Performing semantic segmentation of 3D data using deep learning |
US11222425B2 (en) * | 2020-02-11 | 2022-01-11 | DeepVoxel, Inc. | Organs at risk auto-contouring system and methods |
EP3892328A1 (en) * | 2020-04-09 | 2021-10-13 | RaySearch Laboratories AB | A method of generating a radiotherapy treatment plan for a patient, a computer program product and a computer system |
US11301999B2 (en) * | 2020-05-07 | 2022-04-12 | Tencent America LLC | Shape-aware organ segmentation by predicting signed distance maps |
US11813479B2 (en) | 2020-06-11 | 2023-11-14 | Siemens Healthineers International Ag | Method and apparatus to facilitate administering therapeutic radiation to a patient |
WO2022000159A1 (en) * | 2020-06-29 | 2022-01-06 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for radiotherapy planining |
EP3936187A1 (en) * | 2020-07-09 | 2022-01-12 | Koninklijke Philips N.V. | An artificial intelligence system to support adaptive radiotherapy |
CN111986778B (zh) * | 2020-07-31 | 2024-02-20 | 上海联影医疗科技股份有限公司 | 一种调强计划优化系统、装置及存储介质 |
CN111951245B (zh) * | 2020-08-11 | 2021-04-06 | 山东省肿瘤防治研究院(山东省肿瘤医院) | 根据肿瘤分子图像的特征参数确定放射治疗剂量的方法 |
WO2022036631A1 (en) * | 2020-08-20 | 2022-02-24 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for radiotherapy |
CN111709497B (zh) * | 2020-08-20 | 2020-11-20 | 腾讯科技(深圳)有限公司 | 一种信息处理方法、装置及计算机可读存储介质 |
EP4208253A4 (en) * | 2020-09-02 | 2024-04-10 | Elekta (Shanghai) Technology Co., Ltd. | AUTOMATIC BEAM MODELING BASED ON DEEP LEARNING |
CN112037885B (zh) * | 2020-09-07 | 2022-05-17 | 平安科技(深圳)有限公司 | 放疗计划中的剂量预测方法、装置、计算机设备及存储介质 |
US10937542B1 (en) * | 2020-09-18 | 2021-03-02 | Vent Creativity Corporation | Patient specific treatment planning |
US11992702B2 (en) | 2020-09-21 | 2024-05-28 | Elekta, Inc. | Machine learning optimization of fluence maps for radiotherapy treatment |
CN112263787B (zh) * | 2020-10-30 | 2021-08-10 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 放疗的控制方法及装置 |
CN112330626A (zh) * | 2020-11-04 | 2021-02-05 | 南京航空航天大学 | 基于人工智能的硼中子俘获治疗剂量分布预测方法及其应用和装置 |
CN112233200A (zh) * | 2020-11-05 | 2021-01-15 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 剂量确定方法及装置 |
US20220161062A1 (en) * | 2020-11-20 | 2022-05-26 | Duke University | Systems and methods for quality assurance in radiation therapy with collimator trajectory data |
GB2601560A (en) * | 2020-12-04 | 2022-06-08 | Elekta Instr Ab | Methods for adaptive radiotherapy |
CN112560637B (zh) * | 2020-12-10 | 2024-03-15 | 长沙理工大学 | 一种基于深度学习的服饰解析方法、设备及存储介质 |
CN112635023B (zh) * | 2020-12-16 | 2024-03-29 | 福建医科大学附属第一医院 | 鼻咽癌的剂量预测模型的生成方法、剂量预测方法及装置 |
US11612761B2 (en) * | 2020-12-16 | 2023-03-28 | Varian Medical Systems International Ag | Training artificial intelligence models for radiation therapy |
EP4019084A1 (en) | 2020-12-22 | 2022-06-29 | Koninklijke Philips N.V. | Planning apparatus for planning a radiation therapy |
CN114681813B (zh) * | 2020-12-28 | 2023-07-14 | 北京医智影科技有限公司 | 放射治疗自动计划系统、自动计划方法及存储介质 |
CN114171166B (zh) * | 2021-01-20 | 2022-10-18 | 赛维森(广州)医疗科技服务有限公司 | 可视化数字病理人工智能的模型的管理系统 |
CN112820377B (zh) * | 2021-02-02 | 2023-06-20 | 中国科学技术大学 | 一种基于深度学习的放疗计划自动生成方法 |
CN114939240A (zh) * | 2021-02-15 | 2022-08-26 | 佳能医疗系统株式会社 | 放射线治疗计划装置、放射线治疗计划方法及放射线治疗辅助装置 |
CN112546463B (zh) * | 2021-02-25 | 2021-06-01 | 四川大学 | 基于深度神经网络的放疗剂量自动预测方法 |
JP7489667B2 (ja) * | 2021-03-30 | 2024-05-24 | 株式会社日立製作所 | 治療計画装置、治療計画生成方法及びコンピュータプログラム |
CN112949761A (zh) * | 2021-03-31 | 2021-06-11 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维图像神经网络模型的训练方法、装置和计算机设备 |
CN113096766B (zh) * | 2021-04-08 | 2022-05-20 | 济南大学 | 一种个性化精准放疗计划中的三维剂量预测方法及系统 |
WO2022256782A1 (en) * | 2021-06-02 | 2022-12-08 | Elekta, Inc. | Discreet parameter automated planning |
CN113658168B (zh) * | 2021-08-25 | 2024-04-16 | 上海联影医疗科技股份有限公司 | 指定剂量区的获取方法、系统、终端及存储介质 |
CN118059397A (zh) * | 2021-08-30 | 2024-05-24 | 上海联影医疗科技股份有限公司 | 放疗剂量确定系统 |
CN113743814B (zh) * | 2021-09-13 | 2024-07-26 | 上海联影医疗科技股份有限公司 | 医学影像质量评价和处理方法、装置、设备和介质 |
CN113516233B (zh) * | 2021-09-13 | 2022-01-28 | 四川大学 | 一种面向vmat放疗计划的神经网络预测装置 |
EP4423773A1 (en) * | 2021-10-25 | 2024-09-04 | PAIGE.AI, Inc. | Systems and methods to process electronic images for determining treatment |
US12119102B1 (en) | 2021-11-18 | 2024-10-15 | Siemens Healthineers International Ag | Machine-learning modeling to generate virtual bolus attributes |
CN114119587A (zh) * | 2021-12-02 | 2022-03-01 | 深圳市医诺智能科技发展有限公司 | 一种基于ct图像的放射剂量分布预测方法及装置 |
US11410769B1 (en) * | 2021-12-08 | 2022-08-09 | Vent Creativity Corporation | Tactile solutions integration for patient specific treatment |
US20230290465A1 (en) * | 2022-03-10 | 2023-09-14 | Varian Medical Systems, Inc. | Artificial intelligence boosting dose calculations |
US20230310892A1 (en) * | 2022-03-30 | 2023-10-05 | Siemens Healthineers International Ag | Administration of therapeutic radiation using deep learning models to generate leaf sequences |
US20230376516A1 (en) * | 2022-05-17 | 2023-11-23 | Adobe Inc. | Low-resource event understanding |
CN114796901B (zh) * | 2022-05-30 | 2024-08-27 | 北京大学第一医院 | 一种腰骶神经根的自动勾画方法、设备及存储介质 |
US20240139547A1 (en) * | 2022-11-01 | 2024-05-02 | Siemens Healthineers International Ag | Local neural network for three-dimensional dose calculations |
CN115829972B (zh) * | 2022-12-02 | 2024-04-19 | 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) | 一种放疗计划三维剂量分布与通量的同步预测方法及装置 |
CN115957453B (zh) * | 2022-12-16 | 2023-07-21 | 中国科学院近代物理研究所 | 一种用于重离子放射治疗的三维在体剂量重建方法及装置 |
CN116544146B (zh) * | 2023-05-22 | 2024-04-09 | 浙江固驰电子有限公司 | 功率半导体器件真空烧结设备及方法 |
CN117695534B (zh) * | 2023-12-14 | 2024-05-28 | 陕西省人民医院(陕西省临床医学研究院) | 一种宫颈癌放疗精准定位与剂量控制系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160129282A1 (en) * | 2013-06-18 | 2016-05-12 | Duke University | Systems and methods for specifying treatment criteria and treatment parameters for patient specific radiation therapy planning |
US20160140300A1 (en) * | 2013-06-12 | 2016-05-19 | University Health Network | Method and system for automated quality assurance and automated treatment planning in radiation therapy |
WO2016081916A1 (en) * | 2014-11-21 | 2016-05-26 | The Regents Of The University Of California | Three-dimensional radiotherapy dose distribution prediction |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1917998A1 (en) * | 2006-11-03 | 2008-05-07 | Ion Beam Applications S.A. | Method and device for online IMRT verification |
EP2116277A1 (en) * | 2008-05-06 | 2009-11-11 | Ion Beam Applications S.A. | Device and method for particle therapy monitoring and verification |
WO2011153639A2 (en) * | 2010-06-07 | 2011-12-15 | The University Of Manitoba | Multi-objective radiation therapy optimization method |
US8976929B2 (en) * | 2010-07-16 | 2015-03-10 | Duke University | Automatic generation of patient-specific radiation therapy planning parameters |
US20130142310A1 (en) | 2011-06-06 | 2013-06-06 | The Board Of Trustees Of The Leland Stanford Junior University | Dynamic multi-axes trajectory optimization and delivery method for radiation treatment |
US8774358B2 (en) * | 2011-09-28 | 2014-07-08 | Varian Medical Systems, Inc. | Radiation therapy treatment plan improvement through use of knowledge base |
US20150094519A1 (en) * | 2013-09-30 | 2015-04-02 | Varian Medical Systems, Inc. | Predicting achievable dose distribution using 3d information as an input |
US10046177B2 (en) * | 2014-06-18 | 2018-08-14 | Elekta Ab | System and method for automatic treatment planning |
CN106573152B (zh) | 2014-08-15 | 2021-01-26 | 皇家飞利浦有限公司 | 用于自适应放射治疗规划的受监管的4d剂量图变形 |
CN104933245B (zh) * | 2015-06-15 | 2017-11-24 | 南华大学 | 基于神经网络和遗传算法的船用反应堆屏蔽设计优化方法 |
CN105354611B (zh) | 2015-10-08 | 2018-01-09 | 程涛 | 一种基于人工神经网络的最佳质量图像扫描方法及系统 |
US11056243B2 (en) | 2015-12-21 | 2021-07-06 | Elekta Ab (Publ) | Systems and methods for optimizing treatment planning |
CN109843377B (zh) | 2016-09-07 | 2022-06-17 | 医科达有限公司 | 用于预测放射疗法剂量分布的放射疗法治疗计划的学习模型的系统和方法 |
US11517768B2 (en) | 2017-07-25 | 2022-12-06 | Elekta, Inc. | Systems and methods for determining radiation therapy machine parameter settings |
US11100632B2 (en) | 2018-04-13 | 2021-08-24 | Elekta, Inc. | Image synthesis using adversarial networks such as for radiation therapy |
US11557390B2 (en) | 2018-04-30 | 2023-01-17 | Elekta, Inc. | Radiotherapy treatment plan modeling using generative adversarial networks |
US11077320B1 (en) | 2020-02-07 | 2021-08-03 | Elekta, Inc. | Adversarial prediction of radiotherapy treatment plans |
-
2017
- 2017-08-11 CN CN201780062011.4A patent/CN109843377B/zh active Active
- 2017-08-11 AU AU2017324627A patent/AU2017324627B2/en active Active
- 2017-08-11 JP JP2019513074A patent/JP6688536B2/ja active Active
- 2017-08-11 EP EP17755011.8A patent/EP3509697B1/en active Active
- 2017-08-11 RU RU2019110153A patent/RU2719028C1/ru active
- 2017-08-11 WO PCT/US2017/046608 patent/WO2018048575A1/en unknown
- 2017-08-11 US US16/330,662 patent/US11850445B2/en active Active
-
2023
- 2023-11-10 US US18/506,765 patent/US20240075315A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160140300A1 (en) * | 2013-06-12 | 2016-05-19 | University Health Network | Method and system for automated quality assurance and automated treatment planning in radiation therapy |
US20160129282A1 (en) * | 2013-06-18 | 2016-05-12 | Duke University | Systems and methods for specifying treatment criteria and treatment parameters for patient specific radiation therapy planning |
WO2016081916A1 (en) * | 2014-11-21 | 2016-05-26 | The Regents Of The University Of California | Three-dimensional radiotherapy dose distribution prediction |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021522886A (ja) * | 2018-04-30 | 2021-09-02 | エレクタ、インク.Elekta, Inc. | 敵対的生成ネットワークを用いた放射線治療計画モデリング |
US11557390B2 (en) | 2018-04-30 | 2023-01-17 | Elekta, Inc. | Radiotherapy treatment plan modeling using generative adversarial networks |
JP7553561B2 (ja) | 2019-11-25 | 2024-09-18 | アキュレイ インコーポレイテッド | 動きに影響される治療線量を再構成するための部分変形マップ |
JP7569378B2 (ja) | 2019-12-18 | 2024-10-17 | レイサーチ ラボラトリーズ,エービー | 治療計画の品質を確認すること |
US11896847B2 (en) | 2020-02-07 | 2024-02-13 | Elekta, Inc. | Adversarial prediction of radiotherapy treatment plans |
WO2022145538A1 (ko) * | 2020-12-30 | 2022-07-07 | 뉴로핏 주식회사 | 특성 정보를 고려한 의료 영상 분석 방법, 의료 영상 분석 장치 및 의료 영상 분석 시스템 |
JP2023512365A (ja) * | 2020-12-30 | 2023-03-27 | ニューロフェット インコーポレイテッド | 特性情報を考慮した医療映像分析方法、医療映像分析装置及び医療映像分析システム |
JP7376954B2 (ja) | 2020-12-30 | 2023-11-09 | ニューロフェット インコーポレイテッド | 特性情報を考慮した医療映像分析方法、医療映像分析装置及び医療映像分析システム |
JP7345768B1 (ja) | 2022-03-30 | 2023-09-19 | 国立大学法人大阪大学 | 予測支援システム、予測支援方法及び予測支援プログラム |
JP2023147474A (ja) * | 2022-03-30 | 2023-10-13 | 国立大学法人大阪大学 | 予測支援システム、予測支援方法及び予測支援プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN109843377A (zh) | 2019-06-04 |
US20240075315A1 (en) | 2024-03-07 |
EP3509697B1 (en) | 2024-04-17 |
AU2017324627A1 (en) | 2019-05-02 |
US20190192880A1 (en) | 2019-06-27 |
RU2719028C1 (ru) | 2020-04-16 |
AU2017324627B2 (en) | 2019-12-05 |
JP6688536B2 (ja) | 2020-04-28 |
EP3509697A1 (en) | 2019-07-17 |
CN109843377B (zh) | 2022-06-17 |
WO2018048575A1 (en) | 2018-03-15 |
US11850445B2 (en) | 2023-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240075315A1 (en) | System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions | |
JP6960509B2 (ja) | 合成医療画像を生成するためのニューラルネットワーク | |
US11547874B2 (en) | Machine learning approach to real-time patient motion monitoring | |
US11491348B2 (en) | Real-time patient motion monitoring using a magnetic resonance linear accelerator (MRLINAC) | |
US20220012881A1 (en) | Image synthesis using adversarial networks such as for radiation therapy | |
JP6934559B2 (ja) | ディープ畳み込みニューラルネットワークを使用する放射線治療計画 | |
JP6895019B2 (ja) | ディープ畳み込みニューラルネットワークを用いたビームモデルパラメータの決定 | |
JP7307822B2 (ja) | 投影画像を用いた放射線治療の制御点の予測 | |
CN115361998A (zh) | 放射疗法治疗计划的对抗性预测 | |
CN116391234A (zh) | 放射治疗的注量图的机器学习优化 | |
US20230302297A1 (en) | Patient imaging for dynamic online adaptive radiotherapy | |
US11989851B2 (en) | Deformable image registration using deep learning | |
CN118414194A (zh) | 连续性放射治疗计划 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191211 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191211 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200317 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200402 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6688536 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |