JP2022507640A - 深層ニューラルネットワークによるリアルタイム動きモニタリング - Google Patents
深層ニューラルネットワークによるリアルタイム動きモニタリング Download PDFInfo
- Publication number
- JP2022507640A JP2022507640A JP2021526771A JP2021526771A JP2022507640A JP 2022507640 A JP2022507640 A JP 2022507640A JP 2021526771 A JP2021526771 A JP 2021526771A JP 2021526771 A JP2021526771 A JP 2021526771A JP 2022507640 A JP2022507640 A JP 2022507640A
- Authority
- JP
- Japan
- Prior art keywords
- patient
- image
- condition
- neural network
- deep neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Graphics (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Radiation-Therapy Devices (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
放射線治療中に、深層学習ネットワークを用いて患者の解剖学的な相対的な動きを推定するために使用されるシステムと技術である。例えば、方法は、第１の深層ニューラルネットワークを用いて、入力されたリアルタイムの部分的な患者の測定値と基準ボリュームを含む患者モデルを、出力された患者の状態に関連付けることを含む。本方法は、第２の深層ニューラルネットワークを用いて、患者の状態と基準ボリュームを、患者の状態と基準ボリュームとの間の相対的な動き情報に関連付けることを含む。深層ニューラルネットワークは、入力画像に対応する相対的な動きを推定するために、リアルタイムで用いられる。【選択図】図１
Description
（優先権の主張）
［０００１］
本出願は、２０１８年１１月１６日に出願された米国特許出願番号１６／１９４，１９０の優先権の利益を主張するものであり、その内容全体が参照により本明細書に組み込まれる。
［０００１］
本出願は、２０１８年１１月１６日に出願された米国特許出願番号１６／１９４，１９０の優先権の利益を主張するものであり、その内容全体が参照により本明細書に組み込まれる。
（技術分野）
［０００２］
本開示の実施形態は、一般に、医療画像および人工知能処理技術に関するものである。特に、本開示は、リアルタイム動きモニタリングのための深層ニューラルネットワークの使用に関するものである。
［０００２］
本開示の実施形態は、一般に、医療画像および人工知能処理技術に関するものである。特に、本開示は、リアルタイム動きモニタリングのための深層ニューラルネットワークの使用に関するものである。
［０００３］
放射線治療や放射線手術では、患者の医用画像をもとに治療計画を立てるのが一般的で、医用画像の中にターゲットとなる体積や正常な重要臓器を描き出すことが求められる。課題の一つは、患者が呼吸などで動いているときに、腫瘍や健康な組織のような様々な物体を正確に追跡することである。
放射線治療や放射線手術では、患者の医用画像をもとに治療計画を立てるのが一般的で、医用画像の中にターゲットとなる体積や正常な重要臓器を描き出すことが求められる。課題の一つは、患者が呼吸などで動いているときに、腫瘍や健康な組織のような様々な物体を正確に追跡することである。
［０００４］
現在の技術では、変化する患者の状態をリアルタイムで直接測定することはできない。例えば、ある技術では、２ＤのｋＶ投影や２ＤのＭＲＩスライスのような２Ｄ画像を使用しているが、これは様々なオブジェクトを完全に追跡することはできない。
現在の技術では、変化する患者の状態をリアルタイムで直接測定することはできない。例えば、ある技術では、２ＤのｋＶ投影や２ＤのＭＲＩスライスのような２Ｄ画像を使用しているが、これは様々なオブジェクトを完全に追跡することはできない。
［０００５］
他の技術では、表面の情報を直接検出したり、患者に装着されたベストやボックスのマーカーを追跡したりしている。これらの技術は、表面の情報が患者の内部状態と相関していることを前提としているが、これはしばしば正確ではない。
他の技術では、表面の情報を直接検出したり、患者に装着されたベストやボックスのマーカーを追跡したりしている。これらの技術は、表面の情報が患者の内部状態と相関していることを前提としているが、これはしばしば正確ではない。
［０００６］
更に他の技術では、磁気的に追跡されるマーカーのようなマーカーを埋め込んだり、放射線不透過性のマーカーをＸ線で検出したりしている。これらの技術は侵襲的であり、患者の限られたポイントにしか対応できない。
更に他の技術では、磁気的に追跡されるマーカーのようなマーカーを埋め込んだり、放射線不透過性のマーカーをＸ線で検出したりしている。これらの技術は侵襲的であり、患者の限られたポイントにしか対応できない。
［０００７］
動きモニタリングには、回帰モデルやその他のモデルベースの技術を使用することができる。しかしながら、これらの技術は、不正確であったり、リアルタイムで追跡できなかったりする。
動きモニタリングには、回帰モデルやその他のモデルベースの技術を使用することができる。しかしながら、これらの技術は、不正確であったり、リアルタイムで追跡できなかったりする。
［０００８］
図面は必ずしも縮尺通りに描かれているわけではなく、いくつかの図の中で、同じ数字は実質的に類似したコンポーネントを表している。異なる文字の接尾辞を持つ同様の数字は、実質的に類似したコンポーネントの異なる例を表す。図面は、本明細書で議論されている様々な実施形態を、限定するものではなく、一般的な例示として示している。
図面は必ずしも縮尺通りに描かれているわけではなく、いくつかの図の中で、同じ数字は実質的に類似したコンポーネントを表している。異なる文字の接尾辞を持つ同様の数字は、実質的に類似したコンポーネントの異なる例を表す。図面は、本明細書で議論されている様々な実施形態を、限定するものではなく、一般的な例示として示している。
［０００９］
図１は、画像の患者の状態推定処理を行うために適応された例示的な放射線治療システムを示す。
［００１０］
図２は、例示的な画像誘導型放射線治療装置を示す。
［００１１］
図３は、複合放射線治療システムと、核磁気共鳴（ＭＲ）撮像システムのような撮像システムを含む例示的なシステムの一部を切り取った図である。
［００１２］
図４は、部分的な測定値と予備的な患者モデルを用いて患者の状態を推定するための例示的なフローダイヤグラムを示す。
［００１３］
図５は、例示的な深層ニューラルネットワークアーキテクチャの概要ブロック図を示す。
［００１４］
図６Ａは、例示的な詳細な深層ニューラルネットワークアーキテクチャのブロック図を示す。
図６Ｂは、例示的な詳細な深層ニューラルネットワークアーキテクチャのブロック図を示す。
［００１５］
図７Ａは、例示的な時空間の畳み込み図を示す。
図７Ｂは、例示的な時空間の畳み込み図を示す。
［００１６］
図８は、深層ニューラルネットワークの例示的なトレーニングフロー図を示す。
［００１７］
図９は、放射線治療の処置中の相対的な動きを推定するための例示的な操作のフローチャートを示す。
［００１８］
以下の詳細な説明では、本明細書の一部を構成する添付図面を参照し、本発明を実施することができる具体的な実施形態を例示する。本明細書では「実施例」とも呼ばれるこれらの実施形態は、当業者が本発明を実施できるように十分に詳細に説明されており、本発明の範囲から逸脱することなく、実施形態を組み合わせたり、他の実施形態を利用したり、構造的、論理的、電気的な変更を加えたりすることができると理解されたい。したがって、以下の詳細な説明は、限定的な意味で解釈されるものではなく、本発明の範囲は、添付の特許請求の範囲およびその均等物によって定義される。
以下の詳細な説明では、本明細書の一部を構成する添付図面を参照し、本発明を実施することができる具体的な実施形態を例示する。本明細書では「実施例」とも呼ばれるこれらの実施形態は、当業者が本発明を実施できるように十分に詳細に説明されており、本発明の範囲から逸脱することなく、実施形態を組み合わせたり、他の実施形態を利用したり、構造的、論理的、電気的な変更を加えたりすることができると理解されたい。したがって、以下の詳細な説明は、限定的な意味で解釈されるものではなく、本発明の範囲は、添付の特許請求の範囲およびその均等物によって定義される。
［００１９］
画像誘導放射線治療（ＩＧＲＴ：Ｉｍａｇｅ Ｇｕｉｄｅｄ Ｒａｄｉｏｔｈｅｒａｐｙ）とは、放射線を照射する直前の患者の姿を画像で確認しながら治療を行う手法である。これにより、臓器や腫瘍、リスクのある臓器のような解剖学的特徴をより正確に捉えることができる。例えば、呼吸による肺腫瘍の準周期的な動きや、膀胱の充満による前立腺の位置のずれなど、治療中に患者が動くことが予想される場合は、予想される患者の動きを包含するように、ターゲットの周囲に追加のマージンを配置することができる。このような大きなマージンは、周囲の正常組織への高線量を犠牲にしており、副作用の増加につながる可能性がある。
画像誘導放射線治療（ＩＧＲＴ：Ｉｍａｇｅ Ｇｕｉｄｅｄ Ｒａｄｉｏｔｈｅｒａｐｙ）とは、放射線を照射する直前の患者の姿を画像で確認しながら治療を行う手法である。これにより、臓器や腫瘍、リスクのある臓器のような解剖学的特徴をより正確に捉えることができる。例えば、呼吸による肺腫瘍の準周期的な動きや、膀胱の充満による前立腺の位置のずれなど、治療中に患者が動くことが予想される場合は、予想される患者の動きを包含するように、ターゲットの周囲に追加のマージンを配置することができる。このような大きなマージンは、周囲の正常組織への高線量を犠牲にしており、副作用の増加につながる可能性がある。
［００２０］
ＩＧＲＴでは、コンピュータ断層撮影（ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）イメージング、コーンビーム断層撮影（ＣＢＣＴ：Ｃｏｎｅ Ｂｅａｍ ＣＴ）、磁気共鳴（ＭＲ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）イメージング、陽電子放射断層撮影（ＰＥＴ：Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）イメージングなどを用いて、照射前の患者の３Ｄの画像または４Ｄの画像を得ることができる。例えば、ＣＢＣＴに対応したリニアック（線形加速器）は、放射線ビームに対して９０度の角度でガントリに取り付けられたｋＶ線源／検出器で構成され、また、ＭＲリニアック装置は、ＭＲスキャナと直接統合されたリニアックで構成される。
ＩＧＲＴでは、コンピュータ断層撮影（ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）イメージング、コーンビーム断層撮影（ＣＢＣＴ：Ｃｏｎｅ Ｂｅａｍ ＣＴ）、磁気共鳴（ＭＲ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）イメージング、陽電子放射断層撮影（ＰＥＴ：Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）イメージングなどを用いて、照射前の患者の３Ｄの画像または４Ｄの画像を得ることができる。例えば、ＣＢＣＴに対応したリニアック（線形加速器）は、放射線ビームに対して９０度の角度でガントリに取り付けられたｋＶ線源／検出器で構成され、また、ＭＲリニアック装置は、ＭＲスキャナと直接統合されたリニアックで構成される。
［００２１］
実際の照射治療搬送中の動き（フラクション内の動き：intrafractional motion）を局所化することは、動きを包含するために使用されるであろう追加の治療マージンを削減することができ、その結果、より高い線量を照射することができるか、副作用を軽減することができるか、または、その両方が可能になる。多くのＩＧＲＴイメージング技術は、一般的にフラクション内の動き（intrafractional motion）を撮影するのに十分な速度を持っていない。例えば、ＣＢＣＴでは、フル３Ｄの患者画像を再構成するために様々な角度から複数のｋＶ画像を必要とし、３ＤのＭＲでは、フル３Ｄの画像を生成するために複数の２Ｄのスライス、つまりフル３Ｄのｋ空間を埋める必要があり、それぞれに数分かかる。
実際の照射治療搬送中の動き（フラクション内の動き：intrafractional motion）を局所化することは、動きを包含するために使用されるであろう追加の治療マージンを削減することができ、その結果、より高い線量を照射することができるか、副作用を軽減することができるか、または、その両方が可能になる。多くのＩＧＲＴイメージング技術は、一般的にフラクション内の動き（intrafractional motion）を撮影するのに十分な速度を持っていない。例えば、ＣＢＣＴでは、フル３Ｄの患者画像を再構成するために様々な角度から複数のｋＶ画像を必要とし、３ＤのＭＲでは、フル３Ｄの画像を生成するために複数の２Ｄのスライス、つまりフル３Ｄのｋ空間を埋める必要があり、それぞれに数分かかる。
［００２２］
いくつの場合には、３ＤのＩＧＲＴ画像を生成する前に、通常は完全に取得されるリアルタイムまたは準リアルタイムのデータを、収集したまま使用して、不完全ながらも高速で入ってくる情報の流れから、はるかに速いリフレッシュレートで瞬間的な３Ｄの画像を推定することができる。例えば、２ＤのｋＶプロジェクションや２ＤのＭＲスライスを使用して、治療中の実際の患者の動きに合わせて進化するフル３ＤのＣＢＣＴのような画像や３ＤのＭＲのような画像を推定することができる。高速ではあるが、これら２Ｄの画像は、それ自体では患者の特定の視点のみを提供し、完全な３Ｄ画像を得ることはできない。
いくつの場合には、３ＤのＩＧＲＴ画像を生成する前に、通常は完全に取得されるリアルタイムまたは準リアルタイムのデータを、収集したまま使用して、不完全ながらも高速で入ってくる情報の流れから、はるかに速いリフレッシュレートで瞬間的な３Ｄの画像を推定することができる。例えば、２ＤのｋＶプロジェクションや２ＤのＭＲスライスを使用して、治療中の実際の患者の動きに合わせて進化するフル３ＤのＣＢＣＴのような画像や３ＤのＭＲのような画像を推定することができる。高速ではあるが、これら２Ｄの画像は、それ自体では患者の特定の視点のみを提供し、完全な３Ｄ画像を得ることはできない。
［００２３］
患者状態ジェネレータは、入力として部分的な測定値（例えば、２Ｄの画像）を受け取り、出力として患者の状態（例えば、３Ｄの画像）を生成（例えば、推定）することができる。患者の状態を生成するために、ジェネレータは第１の深層ニューラルネットワークを使用することができる。患者状態ジェネレータの出力は、例えば、第２の深層ニューラルネットワークによってさらに処理され、変形ベクトルフィールド（ＤＶＦ）出力を生成することができる。一実施例では、第１の深層ニューラルネットワークへの入力に使用される部分的な測定値は、Ｘ線投影やＭＲＩスライスのような単一のモダリティからのものであっても、Ｘ線投影と同期した患者の表面上の反射面マーカーの位置のような複数のモダリティからのものであってもよい。
患者状態ジェネレータは、入力として部分的な測定値（例えば、２Ｄの画像）を受け取り、出力として患者の状態（例えば、３Ｄの画像）を生成（例えば、推定）することができる。患者の状態を生成するために、ジェネレータは第１の深層ニューラルネットワークを使用することができる。患者状態ジェネレータの出力は、例えば、第２の深層ニューラルネットワークによってさらに処理され、変形ベクトルフィールド（ＤＶＦ）出力を生成することができる。一実施例では、第１の深層ニューラルネットワークへの入力に使用される部分的な測定値は、Ｘ線投影やＭＲＩスライスのような単一のモダリティからのものであっても、Ｘ線投影と同期した患者の表面上の反射面マーカーの位置のような複数のモダリティからのものであってもよい。
［００２４］
上述の部分的な測定値は、例えば、ｋＶイメージャーやＭＲイメージャーから撮影された画像（例えば、２Ｄの画像）のリアルタイムストリームで受信される。ｋＶイメージャーは、リアルタイムストリーム用の立体的な２Ｄの画像（例えば、直交し、実質的に同時に取得された２つのＸ線画像）を生成することができる。ｋＶイメージャーは、室内に固定されていても、治療装置に結合されて（例えば、ガントリに取り付けられて）いてもよい。ＭＲイメージャーは、２ＤのＭＲスライスを生成することができ、これらは直交していても平行していてもよい。患者の状態は、受信した画像または一対の画像から生成することができる。例えば、任意の時点で、リアルタイムストリームから最後に受信した画像の患者の状態を生成することができる。
上述の部分的な測定値は、例えば、ｋＶイメージャーやＭＲイメージャーから撮影された画像（例えば、２Ｄの画像）のリアルタイムストリームで受信される。ｋＶイメージャーは、リアルタイムストリーム用の立体的な２Ｄの画像（例えば、直交し、実質的に同時に取得された２つのＸ線画像）を生成することができる。ｋＶイメージャーは、室内に固定されていても、治療装置に結合されて（例えば、ガントリに取り付けられて）いてもよい。ＭＲイメージャーは、２ＤのＭＲスライスを生成することができ、これらは直交していても平行していてもよい。患者の状態は、受信した画像または一対の画像から生成することができる。例えば、任意の時点で、リアルタイムストリームから最後に受信した画像の患者の状態を生成することができる。
［００２５］
一実施例では、患者モデルは、所定のフラクションで現在収集されたデータ、治療前の段階（患者がセットアップされた後、ビームがオンになる前）、別のフラクションまたはシミュレーション／プランニング中に収集されたデータ、他の患者を使用したデータ、一般化された患者の解剖学的構造を使用したデータ、機械的モデルを使用したデータ、または部分的な測定値から患者の状態を定義するのに役立つ他の情報に基づくことができる。一実施例では、患者モデルは、治療前に取得された４Ｄのデータセットであり、限られた期間（例えば、１つの代表的な呼吸サイクル）における患者の状態の変化を表している。患者モデルは、入力された患者の測定値（例えば、リアルタイムストリームからの画像または画像のペア）を出力された患者の状態に関連付けるために、深層ニューラルネットワークにおいて使用することができる。
一実施例では、患者モデルは、所定のフラクションで現在収集されたデータ、治療前の段階（患者がセットアップされた後、ビームがオンになる前）、別のフラクションまたはシミュレーション／プランニング中に収集されたデータ、他の患者を使用したデータ、一般化された患者の解剖学的構造を使用したデータ、機械的モデルを使用したデータ、または部分的な測定値から患者の状態を定義するのに役立つ他の情報に基づくことができる。一実施例では、患者モデルは、治療前に取得された４Ｄのデータセットであり、限られた期間（例えば、１つの代表的な呼吸サイクル）における患者の状態の変化を表している。患者モデルは、入力された患者の測定値（例えば、リアルタイムストリームからの画像または画像のペア）を出力された患者の状態に関連付けるために、深層ニューラルネットワークにおいて使用することができる。
［００２６］
４Ｄのデータセットの患者モデルは、呼吸サイクルの位相のような、単一のパラメータで変化する患者の状態を含むことができる。患者モデルは、代表的な呼吸サイクルにおける時間的に変化する患者の状態を構築するために使用することができ、各呼吸を多かれ少なかれ同じものとして扱うことができる。これにより、異なる呼吸サイクルで撮影した部分的な画像データのかたまりを、１つの代表的な呼吸サイクルに割り当てることができ、モデル化が容易になる。そして、各位相の「ビン（ｂｉｎ）」ごとに３Ｄの画像が再構成される。
４Ｄのデータセットの患者モデルは、呼吸サイクルの位相のような、単一のパラメータで変化する患者の状態を含むことができる。患者モデルは、代表的な呼吸サイクルにおける時間的に変化する患者の状態を構築するために使用することができ、各呼吸を多かれ少なかれ同じものとして扱うことができる。これにより、異なる呼吸サイクルで撮影した部分的な画像データのかたまりを、１つの代表的な呼吸サイクルに割り当てることができ、モデル化が容易になる。そして、各位相の「ビン（ｂｉｎ）」ごとに３Ｄの画像が再構成される。
［００２７］
一実施例において、患者の状態は、例えば、３Ｄの画像、または、３ＤのＤＶＦに３Ｄの基準画像を加えたものとして表現することができる。３ＤのＤＶＦと３Ｄの基準画像の要素を使用して３Ｄの画像を得る（例えば、３ＤのＤＶＦで３Ｄの基準画像を変形させる）ことができるので、これらは等価であると考えられる。本明細書に記載されたシステムおよび方法の出力は、（例えば、画像のリアルタイムストリームからの）入力の２Ｄの画像に従って入力の４Ｄの患者状態モデルを変形させて、現在の患者の状態の３Ｄの画像を得るための３ＤのＤＶＦを含むことができる。
一実施例において、患者の状態は、例えば、３Ｄの画像、または、３ＤのＤＶＦに３Ｄの基準画像を加えたものとして表現することができる。３ＤのＤＶＦと３Ｄの基準画像の要素を使用して３Ｄの画像を得る（例えば、３ＤのＤＶＦで３Ｄの基準画像を変形させる）ことができるので、これらは等価であると考えられる。本明細書に記載されたシステムおよび方法の出力は、（例えば、画像のリアルタイムストリームからの）入力の２Ｄの画像に従って入力の４Ｄの患者状態モデルを変形させて、現在の患者の状態の３Ｄの画像を得るための３ＤのＤＶＦを含むことができる。
［００２８］
図１は、深層ニューラルネットワークを用いてリアルタイム動きモニタリングを行うために適応された例示的な放射線治療システムを示す。リアルタイム動きモニタリングは、撮影された医用画像データの特定の側面に基づいて、放射線治療システムが患者に放射線治療を提供することができるように患者の状態を決定するために用いられる。放射線治療システムは、患者状態処理ロジック１２０をホストする画像処理計算システム１１０を含む。画像処理計算システム１１０は、ネットワーク（図示せず）に接続され、そのネットワークは、インターネットに接続されている。例えば、ネットワークは、画像処理計算システム１１０を、１つまたはそれ以上の医療情報ソース（例えば、放射線情報システム（ＲＩＳ））、医療記録システム（例えば、電子医療記録（ＥＭＲ）／電子健康記録（ＥＨＲ）システム）、腫瘍情報システム（ＯＩＳ））、１つまたはそれ以上の画像データソース１５０、画像取得装置１７０、および治療装置１８０（例えば、放射線治療装置）と接続することができる。一実施例として、画像処理計算システム１１０は、治療装置１８０によって使用される放射線治療計画を生成およびカスタマイズする操作の一部として、患者状態処理ロジック１２０からの命令またはデータを実行することにより、画像患者状態操作を実行するように構成することができる。
図１は、深層ニューラルネットワークを用いてリアルタイム動きモニタリングを行うために適応された例示的な放射線治療システムを示す。リアルタイム動きモニタリングは、撮影された医用画像データの特定の側面に基づいて、放射線治療システムが患者に放射線治療を提供することができるように患者の状態を決定するために用いられる。放射線治療システムは、患者状態処理ロジック１２０をホストする画像処理計算システム１１０を含む。画像処理計算システム１１０は、ネットワーク（図示せず）に接続され、そのネットワークは、インターネットに接続されている。例えば、ネットワークは、画像処理計算システム１１０を、１つまたはそれ以上の医療情報ソース（例えば、放射線情報システム（ＲＩＳ））、医療記録システム（例えば、電子医療記録（ＥＭＲ）／電子健康記録（ＥＨＲ）システム）、腫瘍情報システム（ＯＩＳ））、１つまたはそれ以上の画像データソース１５０、画像取得装置１７０、および治療装置１８０（例えば、放射線治療装置）と接続することができる。一実施例として、画像処理計算システム１１０は、治療装置１８０によって使用される放射線治療計画を生成およびカスタマイズする操作の一部として、患者状態処理ロジック１２０からの命令またはデータを実行することにより、画像患者状態操作を実行するように構成することができる。
［００２９］
画像処理計算システム１１０には、処理回路１１２、メモリ１１４、記憶装置１１６、および、ユーザインターフェース１４０、通信インターフェースのような他のハードウェアおよびソフトウェアで操作可能な機能を含むことができる。記憶装置１１６は、オペレーティングシステム、放射線治療の治療計画（例えば、オリジナルの治療計画、適応された治療計画など）、ソフトウェアプログラム（例えば、放射線治療の治療計画ソフトウェア、深層学習モデル、機械学習モデル、ニューラルネットワークのような人工知能の実装、など）、および処理回路１１２によって実行される任意の他のコンピュータ実行可能な命令を記憶することができる。
画像処理計算システム１１０には、処理回路１１２、メモリ１１４、記憶装置１１６、および、ユーザインターフェース１４０、通信インターフェースのような他のハードウェアおよびソフトウェアで操作可能な機能を含むことができる。記憶装置１１６は、オペレーティングシステム、放射線治療の治療計画（例えば、オリジナルの治療計画、適応された治療計画など）、ソフトウェアプログラム（例えば、放射線治療の治療計画ソフトウェア、深層学習モデル、機械学習モデル、ニューラルネットワークのような人工知能の実装、など）、および処理回路１１２によって実行される任意の他のコンピュータ実行可能な命令を記憶することができる。
［００３０］
一実施例では、処理回路１１２は、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ：Graphics Processing Unit）、加速処理装置（ＡＰＵ：Accelerated Processing Unit）のような１つまたはそれ以上の汎用処理装置のような処理装置を含むことができる。より詳細には、処理回路１１２は、複合命令セットコンピューティング（ＣＩＳＣ：complex instruction set computing）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ：reduced instruction set computing）マイクロプロセッサ、超長命令ワード（ＶＬＩＷ：very long instruction Word）マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであってもよい。また、処理回路１１２は、特定用途向け集積回路（ＡＳＩＣ：application specific integrated circuit）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：field programmable gate array）、デジタルシグナルプロセッサ（ＤＳＰ：digital signal processor）、システムオンチップ（ＳｏＣ：System on a Chip）、またはその他の適切なプロセッサのような１つまたはそれ以上の専用処理装置によって実装されることができる。当業者に理解されるように、いくつかの実施形態では、処理回路１１２は、汎用プロセッサではなく、専用プロセッサであってもよい。処理回路１１２は、Ｉｎｔｅｌ（登録商標）によって製造されたＰｅｎｔｉｕｍ（登録商標）、Ｃｏｒｅ（登録商標）、Ｘｅｏｎ（登録商標）、またはＩｔａｎｉｕｍ（登録商標）ファミリー、ＡＭＤ（登録商標）によって製造されたＴｕｒｉｏｎ（登録商標）、Ａｔｈｌｏｎ（登録商標）、Ｓｅｍｐｒｏｎ（登録商標）、Ｏｐｔｅｒｏｎ（登録商標）、ＦＸ（登録商標）、Ｐｈｅｎｏｎ（登録商標）ファミリー、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓによって製造された様々なプロセッサのいずれか、または他の適切なプロセッサのような、１つまたはそれ以上の既知の処理装置を含み得る。処理回路１１２は、また、Ｎｖｉｄｉａ（登録商標）によって製造されたＧｅＦｏｒｃｅ（登録商標）、Ｑｕａｄｒｏ（登録商標）、Ｔｅｓｌａ（登録商標）ファミリー、Ｉｎｔｅｌ（登録商標）によって製造されたＧＭＡ、Ｉｒｉｓ（登録商標）ファミリー、またはＡＭＤ（登録商標）によって製造されたＲａｄｅｏｎ（登録商標）ファミリーのような、グラフィック処理ユニットを含み得る。処理回路１１２は、また、プロセッサ７１１４は、また、Ｉｎｔｅｌ（登録商標）によって製造されたＸｅｏｎ Ｐｈｉ（登録商標）ファミリーのような、加速処理装置を含み得る。開示された実施形態は、大量のデータを識別、分析、維持、生成、および／または提供するためのコンピューティング要求を満たすように構成された、いかなるタイプのプロセッサに限定されるものではなく、また、本明細書で開示された方法を実行するためにそのようなデータを操作することもできる。さらに、「プロセッサ」という用語は、複数のプロセッサ、例えば、マルチコア設計またはそれぞれがマルチコア設計を有する複数のプロセッサを含むことができる。処理回路１１２は、メモリ１１４に格納され、記憶装置１１６からアクセスされる、コンピュータプログラム命令のシーケンスを実行して、以下でより詳細に説明される様々な操作、プロセス、方法を実行することができる。
一実施例では、処理回路１１２は、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ：Graphics Processing Unit）、加速処理装置（ＡＰＵ：Accelerated Processing Unit）のような１つまたはそれ以上の汎用処理装置のような処理装置を含むことができる。より詳細には、処理回路１１２は、複合命令セットコンピューティング（ＣＩＳＣ：complex instruction set computing）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ：reduced instruction set computing）マイクロプロセッサ、超長命令ワード（ＶＬＩＷ：very long instruction Word）マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであってもよい。また、処理回路１１２は、特定用途向け集積回路（ＡＳＩＣ：application specific integrated circuit）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：field programmable gate array）、デジタルシグナルプロセッサ（ＤＳＰ：digital signal processor）、システムオンチップ（ＳｏＣ：System on a Chip）、またはその他の適切なプロセッサのような１つまたはそれ以上の専用処理装置によって実装されることができる。当業者に理解されるように、いくつかの実施形態では、処理回路１１２は、汎用プロセッサではなく、専用プロセッサであってもよい。処理回路１１２は、Ｉｎｔｅｌ（登録商標）によって製造されたＰｅｎｔｉｕｍ（登録商標）、Ｃｏｒｅ（登録商標）、Ｘｅｏｎ（登録商標）、またはＩｔａｎｉｕｍ（登録商標）ファミリー、ＡＭＤ（登録商標）によって製造されたＴｕｒｉｏｎ（登録商標）、Ａｔｈｌｏｎ（登録商標）、Ｓｅｍｐｒｏｎ（登録商標）、Ｏｐｔｅｒｏｎ（登録商標）、ＦＸ（登録商標）、Ｐｈｅｎｏｎ（登録商標）ファミリー、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓによって製造された様々なプロセッサのいずれか、または他の適切なプロセッサのような、１つまたはそれ以上の既知の処理装置を含み得る。処理回路１１２は、また、Ｎｖｉｄｉａ（登録商標）によって製造されたＧｅＦｏｒｃｅ（登録商標）、Ｑｕａｄｒｏ（登録商標）、Ｔｅｓｌａ（登録商標）ファミリー、Ｉｎｔｅｌ（登録商標）によって製造されたＧＭＡ、Ｉｒｉｓ（登録商標）ファミリー、またはＡＭＤ（登録商標）によって製造されたＲａｄｅｏｎ（登録商標）ファミリーのような、グラフィック処理ユニットを含み得る。処理回路１１２は、また、プロセッサ７１１４は、また、Ｉｎｔｅｌ（登録商標）によって製造されたＸｅｏｎ Ｐｈｉ（登録商標）ファミリーのような、加速処理装置を含み得る。開示された実施形態は、大量のデータを識別、分析、維持、生成、および／または提供するためのコンピューティング要求を満たすように構成された、いかなるタイプのプロセッサに限定されるものではなく、また、本明細書で開示された方法を実行するためにそのようなデータを操作することもできる。さらに、「プロセッサ」という用語は、複数のプロセッサ、例えば、マルチコア設計またはそれぞれがマルチコア設計を有する複数のプロセッサを含むことができる。処理回路１１２は、メモリ１１４に格納され、記憶装置１１６からアクセスされる、コンピュータプログラム命令のシーケンスを実行して、以下でより詳細に説明される様々な操作、プロセス、方法を実行することができる。
［００３１］
メモリ１１４は、読み取り専用メモリ（ＲＯＭ）、相変化ランダムアクセスメモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）のようなダイナミックランダムアクセスメモリ（ＤＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、スタティックメモリ（例えば、フラッシュメモリ、フラッシュディスク、スタティックランダムアクセスメモリ）、および、キャッシュ、レジスタ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、またはその他の光学式ストレージ、カセットテープ、その他の磁気記憶装置のようなその他のタイプのランダムアクセスメモリ、のような非一時的なコンピュータ可読媒体、または、画像、データ、または、プロセッサ７１１４、または任意の他のタイプのコンピュータ装置によりアクセスすることができる（例えば、任意のフォーマットで格納される）コンピュータ実行可能命令を含む情報を格納するために使用できる他の任意の非一時的媒体であり得る。例えば、コンピュータプログラム命令は、処理回路１１２によってアクセスされ、ＲＯＭ、または任意の他の適切なメモリ位置から読み出され、処理回路１１２による実行のためにＲＡＭにロードされ得る。
メモリ１１４は、読み取り専用メモリ（ＲＯＭ）、相変化ランダムアクセスメモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）のようなダイナミックランダムアクセスメモリ（ＤＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、スタティックメモリ（例えば、フラッシュメモリ、フラッシュディスク、スタティックランダムアクセスメモリ）、および、キャッシュ、レジスタ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、またはその他の光学式ストレージ、カセットテープ、その他の磁気記憶装置のようなその他のタイプのランダムアクセスメモリ、のような非一時的なコンピュータ可読媒体、または、画像、データ、または、プロセッサ７１１４、または任意の他のタイプのコンピュータ装置によりアクセスすることができる（例えば、任意のフォーマットで格納される）コンピュータ実行可能命令を含む情報を格納するために使用できる他の任意の非一時的媒体であり得る。例えば、コンピュータプログラム命令は、処理回路１１２によってアクセスされ、ＲＯＭ、または任意の他の適切なメモリ位置から読み出され、処理回路１１２による実行のためにＲＡＭにロードされ得る。
［００３２］
記憶装置１１６は、本明細書に記載されている方法論または機能（様々な例では、患者状態処理ロジック１２０およびユーザインターフェース１４０を含む）のうちの任意の１つまたは複数を具現化する、またはそれによって利用される１つまたはそれ以上の命令およびデータ構造のセット（例えば、ソフトウェア）が格納されている機械読取可能な媒体を含む駆動装置を構成することができる。命令は、また、画像処理計算システム１１０によるその実行中に、完全にまたは少なくとも部分的に、メモリ１１４内および／または処理回路１１２内に存在してもよく、メモリ１１４および処理回路１１２は、機械読み取り可能な媒体を構成するものでもある。
記憶装置１１６は、本明細書に記載されている方法論または機能（様々な例では、患者状態処理ロジック１２０およびユーザインターフェース１４０を含む）のうちの任意の１つまたは複数を具現化する、またはそれによって利用される１つまたはそれ以上の命令およびデータ構造のセット（例えば、ソフトウェア）が格納されている機械読取可能な媒体を含む駆動装置を構成することができる。命令は、また、画像処理計算システム１１０によるその実行中に、完全にまたは少なくとも部分的に、メモリ１１４内および／または処理回路１１２内に存在してもよく、メモリ１１４および処理回路１１２は、機械読み取り可能な媒体を構成するものでもある。
［００３３］
メモリ装置１１４または記憶装置１１６は、非一時的なコンピュータ読み取り可能な媒体を構成することができる。 例えば、メモリ装置１１４または記憶装置１１６は、１つまたはそれ以上のソフトウェアアプリケーションの命令を、コンピュータ可読媒体に格納またはロードすることができる。メモリ装置１１４または記憶装置１１６に記憶またはロードされたソフトウェアアプリケーションは、例えば、ソフトウェア制御されたデバイスのためだけでなく、一般的なコンピュータシステムのためのオペレーティングシステムを含むことができる。また、画像処理計算システム１１０は、患者状態処理ロジック１２０およびユーザインターフェース１４０を実装するためのソフトウェアコードからなる様々なソフトウェアプログラムを動作させることができる。さらに、メモリ装置１１４および記憶装置１１６は、処理回路１１２によって実行可能な、ソフトウェアアプリケーション全体、ソフトウェアアプリケーションの一部、またはソフトウェアアプリケーションに関連するコードもしくはデータを格納またはロードすることができる。さらなる実施例では、メモリ装置１１４または記憶装置１１６は、１つまたはそれ以上の放射線治療の治療計画、画像データ、患者の状態データ、辞書エントリ、人工知能モデルデータ、ラベルおよびマッピングデータなどを格納、ロード、または操作することができる。ソフトウェアプログラムは、記憶装置１１６およびメモリ１１４だけでなく、ハードドライブ、コンピュータディスク、ＣＤ－ＲＯＭ、ＤＶＤ、ＨＤ、Ｂｌｕ－Ｒａｙ（登録商標） ＤＶＤ、ＵＳＢフラッシュドライブ、ＳＤカード、メモリスティック、またはその他の適切な媒体のような取り外し可能なコンピュータ媒体にも保存されてもよく、また、そのようなソフトウェアプログラムは、ネットワークを介して通信または受信されてもよい。
メモリ装置１１４または記憶装置１１６は、非一時的なコンピュータ読み取り可能な媒体を構成することができる。 例えば、メモリ装置１１４または記憶装置１１６は、１つまたはそれ以上のソフトウェアアプリケーションの命令を、コンピュータ可読媒体に格納またはロードすることができる。メモリ装置１１４または記憶装置１１６に記憶またはロードされたソフトウェアアプリケーションは、例えば、ソフトウェア制御されたデバイスのためだけでなく、一般的なコンピュータシステムのためのオペレーティングシステムを含むことができる。また、画像処理計算システム１１０は、患者状態処理ロジック１２０およびユーザインターフェース１４０を実装するためのソフトウェアコードからなる様々なソフトウェアプログラムを動作させることができる。さらに、メモリ装置１１４および記憶装置１１６は、処理回路１１２によって実行可能な、ソフトウェアアプリケーション全体、ソフトウェアアプリケーションの一部、またはソフトウェアアプリケーションに関連するコードもしくはデータを格納またはロードすることができる。さらなる実施例では、メモリ装置１１４または記憶装置１１６は、１つまたはそれ以上の放射線治療の治療計画、画像データ、患者の状態データ、辞書エントリ、人工知能モデルデータ、ラベルおよびマッピングデータなどを格納、ロード、または操作することができる。ソフトウェアプログラムは、記憶装置１１６およびメモリ１１４だけでなく、ハードドライブ、コンピュータディスク、ＣＤ－ＲＯＭ、ＤＶＤ、ＨＤ、Ｂｌｕ－Ｒａｙ（登録商標） ＤＶＤ、ＵＳＢフラッシュドライブ、ＳＤカード、メモリスティック、またはその他の適切な媒体のような取り外し可能なコンピュータ媒体にも保存されてもよく、また、そのようなソフトウェアプログラムは、ネットワークを介して通信または受信されてもよい。
［００３４］
図示していないが、画像処理計算システム１１０は、通信インターフェース、ネットワークインターフェースカード、および通信回路を含んでいてもよい。通信インターフェースの例としては、例えば、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、ＵＳＢコネクタ、パラレルコネクタ、高速データ伝送アダプタ（例えば、ファイバ、ＵＳＢ３．０、サンダーボルト、など）、無線ネットワークアダプタ（例えば、ＷｉＦｉアダプタのような）、電気通信アダプタ（例えば、３Ｇ、４Ｇ／ＬＴＥ、など）などを含み得る。このような通信インターフェースは、ネットワークを介して機械が他の機械や装置（遠隔地にあるコンポーネントなど）と通信することを可能にする１つまたはそれ以上のデジタルおよび／またはアナログ通信装置を含むことができる。ネットワークは、ネットワーク７１２０は、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャ、など）、クライアントサーバ、広域ネットワーク（ＷＡＮ）など機能を提供することができる。例えば、ネットワークは、他のシステム（医療用画像処理や放射線治療の操作に関連する追加の画像処理計算システムや画像ベースのコンポーネントを含む）を含むＬＡＮまたはＷＡＮであってもよい。
図示していないが、画像処理計算システム１１０は、通信インターフェース、ネットワークインターフェースカード、および通信回路を含んでいてもよい。通信インターフェースの例としては、例えば、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、ＵＳＢコネクタ、パラレルコネクタ、高速データ伝送アダプタ（例えば、ファイバ、ＵＳＢ３．０、サンダーボルト、など）、無線ネットワークアダプタ（例えば、ＷｉＦｉアダプタのような）、電気通信アダプタ（例えば、３Ｇ、４Ｇ／ＬＴＥ、など）などを含み得る。このような通信インターフェースは、ネットワークを介して機械が他の機械や装置（遠隔地にあるコンポーネントなど）と通信することを可能にする１つまたはそれ以上のデジタルおよび／またはアナログ通信装置を含むことができる。ネットワークは、ネットワーク７１２０は、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャ、など）、クライアントサーバ、広域ネットワーク（ＷＡＮ）など機能を提供することができる。例えば、ネットワークは、他のシステム（医療用画像処理や放射線治療の操作に関連する追加の画像処理計算システムや画像ベースのコンポーネントを含む）を含むＬＡＮまたはＷＡＮであってもよい。
［００３５］
一実施例では、画像処理計算システム１１０は、記憶装置１１６およびメモリ１１４にホスティングするために、画像データソース１５０から画像データ１６０を取得することができる。一実施例では、画像処理計算システム１１０上で動作するソフトウェアプログラムは、擬似ＣＴ画像のような合成画像を生成するなどして、あるフォーマット（例えば、ＭＲＩ）の医用画像を別のフォーマット（例えば、ＣＴ）に変換することができる。別の実施例では、ソフトウェアプログラムは、対応する画像ボクセルと線量ボクセルが適切に関連付けられるように、患者の医療画像（例えば、ＣＴ画像またはＭＲ画像）を、その患者の放射線治療の線量分布（例えば、画像としても表される）にレジストレーションまたは関連付けることができる。さらに別の実施例では、ソフトウェアプログラムは、符号付き距離関数のような患者画像の関数や、画像情報のある側面を強調する画像の処理バージョンを代用することができる。このような機能は、エッジやボクセルテクスチャの違いなど、構造的な側面を強調することができる。別の実施例では、ソフトウェアプログラムは、医療画像内の解剖学的特徴、患者の測定値、患者の状態情報、または線量や治療情報のある側面を視覚化、非表示、強調、または強調解除することができる。記憶装置１１６およびメモリ１１４は、画像データ１６０、患者データ、および放射線治療の治療計画および関連する患者の状態推定操作を作成および実施するために必要な他のデータを含む、これらの目的を実行するためのデータを記憶およびホストしてもよい。
一実施例では、画像処理計算システム１１０は、記憶装置１１６およびメモリ１１４にホスティングするために、画像データソース１５０から画像データ１６０を取得することができる。一実施例では、画像処理計算システム１１０上で動作するソフトウェアプログラムは、擬似ＣＴ画像のような合成画像を生成するなどして、あるフォーマット（例えば、ＭＲＩ）の医用画像を別のフォーマット（例えば、ＣＴ）に変換することができる。別の実施例では、ソフトウェアプログラムは、対応する画像ボクセルと線量ボクセルが適切に関連付けられるように、患者の医療画像（例えば、ＣＴ画像またはＭＲ画像）を、その患者の放射線治療の線量分布（例えば、画像としても表される）にレジストレーションまたは関連付けることができる。さらに別の実施例では、ソフトウェアプログラムは、符号付き距離関数のような患者画像の関数や、画像情報のある側面を強調する画像の処理バージョンを代用することができる。このような機能は、エッジやボクセルテクスチャの違いなど、構造的な側面を強調することができる。別の実施例では、ソフトウェアプログラムは、医療画像内の解剖学的特徴、患者の測定値、患者の状態情報、または線量や治療情報のある側面を視覚化、非表示、強調、または強調解除することができる。記憶装置１１６およびメモリ１１４は、画像データ１６０、患者データ、および放射線治療の治療計画および関連する患者の状態推定操作を作成および実施するために必要な他のデータを含む、これらの目的を実行するためのデータを記憶およびホストしてもよい。
［００３６］
処理回路１１２は、メモリ１１４および記憶装置１１６に通信可能に結合することができ、処理回路１１２は、メモリ１１４または記憶装置１１６のいずれかからその上に格納されたコンピュータ実行可能命令を実行するように構成されることができる。処理回路１１２は、画像データ１６０からの医用画像をメモリ１１４で受信または取得し、患者状態処理ロジック１２０を用いて処理させる命令を実行することができる。例えば、画像処理計算システム１１０は、通信インターフェースやネットワークを介して、画像取得装置１７０や画像データソース１５０から画像データ１６０を受信し、記憶装置１１６に格納またはキャッシュすることができる。また、処理回路１１２は、メモリ１１４または記憶装置１１６に記憶された医用画像を、通信インターフェースを介して別のデータベースまたはデータストア（例えば、医療施設データベース）に送信または更新することができる。いくつかの実施例では、１つまたはそれ以上のシステムが、ネットワークを使用して本明細書に記載された実施形態を共同で実行する分散コンピューティング／シミュレーション環境を形成することができる。さらに、このようなネットワークは、インターネットに接続して、インターネット上の遠隔地に存在するサーバーやクライアントと通信することもできる。
処理回路１１２は、メモリ１１４および記憶装置１１６に通信可能に結合することができ、処理回路１１２は、メモリ１１４または記憶装置１１６のいずれかからその上に格納されたコンピュータ実行可能命令を実行するように構成されることができる。処理回路１１２は、画像データ１６０からの医用画像をメモリ１１４で受信または取得し、患者状態処理ロジック１２０を用いて処理させる命令を実行することができる。例えば、画像処理計算システム１１０は、通信インターフェースやネットワークを介して、画像取得装置１７０や画像データソース１５０から画像データ１６０を受信し、記憶装置１１６に格納またはキャッシュすることができる。また、処理回路１１２は、メモリ１１４または記憶装置１１６に記憶された医用画像を、通信インターフェースを介して別のデータベースまたはデータストア（例えば、医療施設データベース）に送信または更新することができる。いくつかの実施例では、１つまたはそれ以上のシステムが、ネットワークを使用して本明細書に記載された実施形態を共同で実行する分散コンピューティング／シミュレーション環境を形成することができる。さらに、このようなネットワークは、インターネットに接続して、インターネット上の遠隔地に存在するサーバーやクライアントと通信することもできる。
［００３７］
さらなる実施例では、処理回路１１２は、画像データ１６０および他の患者データとともにソフトウェアプログラム（例えば、治療計画ソフトウェア）を利用して、放射線治療の治療計画を作成することができる。一実施例では、画像データ１６０は、ＣＴやＭＲのような２Ｄの画像または３Ｄの画像を含んでいてもよい。さらに、処理回路１１２は、深層ニューラルネットワーク、例えば、入力の部分的測定値と４Ｄの患者モデルを受信して患者の状態を出力する第１の深層ニューラルネットワークと、患者の状態および基準画像（例えば、４Ｄの患者モデルからの選択された画像またはスライス）を使用して、入力の部分的測定値に基づいて４Ｄの患者モデルを変形させるためのＤＶＦを生成する第２の深層ニューラルネットワークとを利用して推定の患者の状態を生成することができる。
さらなる実施例では、処理回路１１２は、画像データ１６０および他の患者データとともにソフトウェアプログラム（例えば、治療計画ソフトウェア）を利用して、放射線治療の治療計画を作成することができる。一実施例では、画像データ１６０は、ＣＴやＭＲのような２Ｄの画像または３Ｄの画像を含んでいてもよい。さらに、処理回路１１２は、深層ニューラルネットワーク、例えば、入力の部分的測定値と４Ｄの患者モデルを受信して患者の状態を出力する第１の深層ニューラルネットワークと、患者の状態および基準画像（例えば、４Ｄの患者モデルからの選択された画像またはスライス）を使用して、入力の部分的測定値に基づいて４Ｄの患者モデルを変形させるためのＤＶＦを生成する第２の深層ニューラルネットワークとを利用して推定の患者の状態を生成することができる。
［００３８］
さらに、そのようなソフトウェアプログラムは、患者状態処理ロジック１２０を利用して、本明細書でさらに説明した技術を用いて、患者状態決定ワークフロー１３０を実施することができる。処理回路１１２は、続いて、実行可能な放射線治療計画を、通信インターフェースおよびネットワークを介して治療装置１８０に送信するこができ、ここで、放射線治療計画は、患者状態決定ワークフロー１３０の結果により、治療装置を介して患者を放射線で治療するために使用される。ソフトウェアプログラムおよび患者状態決定ワークフロー１３０の他の出力および使用は、画像処理計算システム１１０の使用と共に生じる可能性がある。
さらに、そのようなソフトウェアプログラムは、患者状態処理ロジック１２０を利用して、本明細書でさらに説明した技術を用いて、患者状態決定ワークフロー１３０を実施することができる。処理回路１１２は、続いて、実行可能な放射線治療計画を、通信インターフェースおよびネットワークを介して治療装置１８０に送信するこができ、ここで、放射線治療計画は、患者状態決定ワークフロー１３０の結果により、治療装置を介して患者を放射線で治療するために使用される。ソフトウェアプログラムおよび患者状態決定ワークフロー１３０の他の出力および使用は、画像処理計算システム１１０の使用と共に生じる可能性がある。
［００３９］
本明細書で論じたように（例えば、本明細書で論じた患者状態判定を参照して）、処理回路１１２は、患者状態処理ロジック１２０を呼び出して、深層ニューラルネットワークを含む機能を実装するソフトウェアプログラムを実行することができる。
本明細書で論じたように（例えば、本明細書で論じた患者状態判定を参照して）、処理回路１１２は、患者状態処理ロジック１２０を呼び出して、深層ニューラルネットワークを含む機能を実装するソフトウェアプログラムを実行することができる。
［００４０］
一実施例では、画像データ１６０は、１つまたはそれ以上のＭＲＩ画像（例えば、２Ｄの ＭＲＩ、３ＤのＭＲＩ、２ＤのストリーミングＭＲＩ、４ＤのＭＲＩ、４ＤのボルメトリックＭＲＩ、４ＤのシネＭＲＩなど）、機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ－ＭＲＩ、拡散ＭＲＩ）、コンピュータ断層撮影（ＣＴ）画像（例えば、２ＤのＣＴ、コーンビームＣＴ、３ＤのＣＴ、４ＤのＣＴ）、超音波画像（例えば。２Ｄの超音波、３Ｄの超音波、４Ｄの超音波）、ＰＥＴ（Positron Emission Tomography）画像、Ｘ線画像、透視画像、放射線治療ポータル画像、ＳＰＥＣＴ（Single-Photo Emission Computed Tomography）画像、コンピュータで作成した合成画像（擬似ＣＴ画像など）など、を含み得る。さらに、画像データ１６０は、例えば、トレーニング画像、およびグランドトゥルース画像、輪郭画像、線量画像のような医用画像処理データを含む、またはそれと関連し得る。一実施例では、画像データ１６０は、画像取得装置１７０から受信され、１つまたはそれ以上の画像データソース１５０（例えば、ＰＡＣＳ（Picture Archiving and Communication System）、ＶＮＡ（Vendor Neutral Archive）、医療記録または情報システム、データウェアハウスなど）に格納され得る。したがって、画像取得装置１７０は、患者の医用画像を取得するために、ＭＲＩ撮像装置、ＣＴ撮像装置、ＰＥＴ撮像装置、超音波撮像装置、透視装置、ＳＰＥＣＴ撮像装置、線形加速器とＭＲＩの一体型撮像装置のような医用撮像装置で構成され得る。画像データ１６０は、画像取得装置１７０および画像処理計算システム１１０が、開示された実施形態による操作を実行するために使用することができ、任意のタイプのデータまたは任意のタイプのフォーマット（例えば、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）フォーマット）で受信および格納され得る。
一実施例では、画像データ１６０は、１つまたはそれ以上のＭＲＩ画像（例えば、２Ｄの ＭＲＩ、３ＤのＭＲＩ、２ＤのストリーミングＭＲＩ、４ＤのＭＲＩ、４ＤのボルメトリックＭＲＩ、４ＤのシネＭＲＩなど）、機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ－ＭＲＩ、拡散ＭＲＩ）、コンピュータ断層撮影（ＣＴ）画像（例えば、２ＤのＣＴ、コーンビームＣＴ、３ＤのＣＴ、４ＤのＣＴ）、超音波画像（例えば。２Ｄの超音波、３Ｄの超音波、４Ｄの超音波）、ＰＥＴ（Positron Emission Tomography）画像、Ｘ線画像、透視画像、放射線治療ポータル画像、ＳＰＥＣＴ（Single-Photo Emission Computed Tomography）画像、コンピュータで作成した合成画像（擬似ＣＴ画像など）など、を含み得る。さらに、画像データ１６０は、例えば、トレーニング画像、およびグランドトゥルース画像、輪郭画像、線量画像のような医用画像処理データを含む、またはそれと関連し得る。一実施例では、画像データ１６０は、画像取得装置１７０から受信され、１つまたはそれ以上の画像データソース１５０（例えば、ＰＡＣＳ（Picture Archiving and Communication System）、ＶＮＡ（Vendor Neutral Archive）、医療記録または情報システム、データウェアハウスなど）に格納され得る。したがって、画像取得装置１７０は、患者の医用画像を取得するために、ＭＲＩ撮像装置、ＣＴ撮像装置、ＰＥＴ撮像装置、超音波撮像装置、透視装置、ＳＰＥＣＴ撮像装置、線形加速器とＭＲＩの一体型撮像装置のような医用撮像装置で構成され得る。画像データ１６０は、画像取得装置１７０および画像処理計算システム１１０が、開示された実施形態による操作を実行するために使用することができ、任意のタイプのデータまたは任意のタイプのフォーマット（例えば、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）フォーマット）で受信および格納され得る。
［００４１］
一実施例では、画像取得装置１７０は、単一の装置（例えば、後述の図３に示され説明されているように、「ＭＲ－ｌｉｎａｃ」とも呼ばれる線形加速器と組み合わされたＭＲＩ装置）として、治療装置１８０と一体化することができる。このようなＭＲ－ｌｉｎａｃは、例えば、患者のターゲットの臓器やターゲットの腫瘍の位置を正確に把握して、放射線治療の治療計画に基づいて、所定のターゲットに正確に放射線治療を行うために使用することができる。例えば、放射線治療の治療計画では、各患者に適用する特定の放射線量に関する情報を提供することができる。また、放射線治療の治療計画には、ビーム角度、線量ヒストグラム・体積情報、治療中に使用する放射線ビームの数、ビーム１本あたりの線量のような、他の放射線治療情報を含み得る。
一実施例では、画像取得装置１７０は、単一の装置（例えば、後述の図３に示され説明されているように、「ＭＲ－ｌｉｎａｃ」とも呼ばれる線形加速器と組み合わされたＭＲＩ装置）として、治療装置１８０と一体化することができる。このようなＭＲ－ｌｉｎａｃは、例えば、患者のターゲットの臓器やターゲットの腫瘍の位置を正確に把握して、放射線治療の治療計画に基づいて、所定のターゲットに正確に放射線治療を行うために使用することができる。例えば、放射線治療の治療計画では、各患者に適用する特定の放射線量に関する情報を提供することができる。また、放射線治療の治療計画には、ビーム角度、線量ヒストグラム・体積情報、治療中に使用する放射線ビームの数、ビーム１本あたりの線量のような、他の放射線治療情報を含み得る。
［００４２］
画像処理計算システム１１０は、ネットワークを介して外部のデータベースと通信し、画像処理や放射線治療の操作に関連する複数の様々な種類のデータを送受信することができる。例えば、外部データベースには、治療装置１８０、画像取得装置１７０、または放射線治療や医療処置に関連する他の機械に関連する情報である機械データが含まれ得る。マシンデータの情報には、放射線ビームのサイズ、アークの配置、ビームのオンとオフの時間の長さ、マシンのパラメータ、セグメント、マルチリーフコリメータ（ＭＬＣ）の構成、ガントリの速度、ＭＲＩのパルスシーケンスなどが含まれる。外部データベースは、記憶装置であってもよく、適切なデータベース管理ソフトウェアプログラムを備えていてもよい。さらに、このようなデータベースやデータソースには、中央または分散して配置された複数のデバイスやシステムが含まれ得る。
画像処理計算システム１１０は、ネットワークを介して外部のデータベースと通信し、画像処理や放射線治療の操作に関連する複数の様々な種類のデータを送受信することができる。例えば、外部データベースには、治療装置１８０、画像取得装置１７０、または放射線治療や医療処置に関連する他の機械に関連する情報である機械データが含まれ得る。マシンデータの情報には、放射線ビームのサイズ、アークの配置、ビームのオンとオフの時間の長さ、マシンのパラメータ、セグメント、マルチリーフコリメータ（ＭＬＣ）の構成、ガントリの速度、ＭＲＩのパルスシーケンスなどが含まれる。外部データベースは、記憶装置であってもよく、適切なデータベース管理ソフトウェアプログラムを備えていてもよい。さらに、このようなデータベースやデータソースには、中央または分散して配置された複数のデバイスやシステムが含まれ得る。
［００４３］
画像処理計算システム１１０は、処理回路１１２およびメモリ１１４に通信可能に結合された１つまたはそれ以上の通信インターフェースを使用して、ネットワークを介して、データを収集および取得し、他のシステムと通信することができる。例えば、通信インターフェースは、画像処理計算システム１１０と放射線治療システムコンポーネントとの間の通信接続を提供する（例えば、外部機器とのデータ交換を許可する）ことができる。例えば、通信インターフェースは、いくつかの実施例では、ユーザが放射線治療システムに情報を入力することができるハードウェアキーボード、キーパッド、またはタッチスクリーンであり得る、ユーザインターフェース１４０に接続するために、出力装置１４２または入力装置１４４からの適切なインターフェーシング回路を有し得る。
画像処理計算システム１１０は、処理回路１１２およびメモリ１１４に通信可能に結合された１つまたはそれ以上の通信インターフェースを使用して、ネットワークを介して、データを収集および取得し、他のシステムと通信することができる。例えば、通信インターフェースは、画像処理計算システム１１０と放射線治療システムコンポーネントとの間の通信接続を提供する（例えば、外部機器とのデータ交換を許可する）ことができる。例えば、通信インターフェースは、いくつかの実施例では、ユーザが放射線治療システムに情報を入力することができるハードウェアキーボード、キーパッド、またはタッチスクリーンであり得る、ユーザインターフェース１４０に接続するために、出力装置１４２または入力装置１４４からの適切なインターフェーシング回路を有し得る。
［００４４］
一実施例として、出力装置１４２は、ユーザインターフェース１４０の表現と、医用画像の１つまたはそれ以上の態様、視覚化、または表現を出力するディスプレイ装置を含み得る。出力装置１４２は、医用画像、インターフェース情報、治療計画パラメータ（例えば、輪郭、線量、ビーム角、ラベル、マップなど）、治療計画、ターゲット、ターゲットのローカライズまたはターゲットのトラッキング、患者の状態の推定（例えば、３Ｄの画像）、またはユーザへの任意の関連情報を表示する１つまたはそれ以上の表示画面を含み得る。ユーザインターフェース１４０に接続された入力装置１４４は、キーボード、キーパッド、タッチスクリーンなど、ユーザが放射線治療システムに情報を入力することができるあらゆるタイプの装置を含み得る。あるいは、出力装置１４２、入力装置１４４、およびユーザインターフェース１４０の機能は、スマートフォンやタブレットコンピュータ、例えば、アップル社製のｉＰａｄ（登録商標）、Ｌｅｎｏｖｏ社製のＴｈｉｎｋｐａｄ（登録商標）、サムソン社製のＧａｌａｘｙ（登録商標）のような単一のデバイスに統合され得る。
一実施例として、出力装置１４２は、ユーザインターフェース１４０の表現と、医用画像の１つまたはそれ以上の態様、視覚化、または表現を出力するディスプレイ装置を含み得る。出力装置１４２は、医用画像、インターフェース情報、治療計画パラメータ（例えば、輪郭、線量、ビーム角、ラベル、マップなど）、治療計画、ターゲット、ターゲットのローカライズまたはターゲットのトラッキング、患者の状態の推定（例えば、３Ｄの画像）、またはユーザへの任意の関連情報を表示する１つまたはそれ以上の表示画面を含み得る。ユーザインターフェース１４０に接続された入力装置１４４は、キーボード、キーパッド、タッチスクリーンなど、ユーザが放射線治療システムに情報を入力することができるあらゆるタイプの装置を含み得る。あるいは、出力装置１４２、入力装置１４４、およびユーザインターフェース１４０の機能は、スマートフォンやタブレットコンピュータ、例えば、アップル社製のｉＰａｄ（登録商標）、Ｌｅｎｏｖｏ社製のＴｈｉｎｋｐａｄ（登録商標）、サムソン社製のＧａｌａｘｙ（登録商標）のような単一のデバイスに統合され得る。
［００４５］
さらに、放射線治療システムのすべてのコンポーネントは、仮想マシンとして（例えば、ＶＭＷａｒｅ、Ｈｙｐｅｒ－Ｖのような仮想化プラットフォームを介して）実装され得る。例えば、仮想マシンは、ハードウェアとして機能するソフトウェアである。したがって、仮想マシンは、ハードウェアとして一緒に機能する少なくとも１つまたはそれ以上の仮想プロセッサ、１つまたはそれ以上の仮想メモリ、および／または１つまたはそれ以上の仮想通信インターフェースを含むことができる。例えば、画像処理計算システム１１０、画像データソース１５０、または同様のコンポーネントは、仮想マシンとして、またはクラウドベースの仮想化環境内で実装され得る。
さらに、放射線治療システムのすべてのコンポーネントは、仮想マシンとして（例えば、ＶＭＷａｒｅ、Ｈｙｐｅｒ－Ｖのような仮想化プラットフォームを介して）実装され得る。例えば、仮想マシンは、ハードウェアとして機能するソフトウェアである。したがって、仮想マシンは、ハードウェアとして一緒に機能する少なくとも１つまたはそれ以上の仮想プロセッサ、１つまたはそれ以上の仮想メモリ、および／または１つまたはそれ以上の仮想通信インターフェースを含むことができる。例えば、画像処理計算システム１１０、画像データソース１５０、または同様のコンポーネントは、仮想マシンとして、またはクラウドベースの仮想化環境内で実装され得る。
［００４６］
患者状態処理ロジック１２０または他のソフトウェアプログラムは、計算システムに、画像データソース１５０と通信して、メモリ１１４および記憶装置１１６に画像を読み込んだり、メモリ１１４または記憶装置１１６から、画像データソース１５０との間で画像または関連データを保存したりさせることができる。例えば、画像データソース１５０は、画像取得装置１７０を介して１人またはそれ以上の患者から取得した画像データ１６０内の画像セットから、画像データソース１５０がホストする複数の画像（例えば、３ＤのＭＲＩ、４ＤのＭＲＩ、２ＤのＭＲＩスライス画像、ＣＴ画像、２Ｄの透視画像、Ｘ線画像、ＭＲスキャンまたはＣＴスキャンの生データ、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）メタデータなど）を格納して提供するように構成することができる。また、画像データソース１５０やその他のデータベースには、患者状態処理ロジック１２０が、患者状態推定演算を行うソフトウェアプログラムを実行する際や、放射線治療の治療計画を作成する際に使用するデータが格納され得る。さらに、様々なデータベースが、予備動きモデル（辞書など）、対応動きモデル、または機械学習モデルによって生成されたデータ（ネットワークが学習したモデルを構成するネットワークパラメータ、およびその結果としての予測データを含む）を保存することができる。画像処理計算システム１１０は、このように、治療または診断操作の一部として画像患者状態推定を実行することに関連して、画像データソース１５０、画像取得装置１７０、治療装置１８０（例えば、ＭＲＩ－Ｌｉｎａｃ）、または他の情報システムから画像データ１６０（例えば、２ＤのＭＲＩスライス画像、ＣＴ画像、２Ｄの透視画像、Ｘ線画像、３Ｄの ＭＲＩ画像、４ＤのＭＲＩ画像など）を取得および／または受信することができる。
患者状態処理ロジック１２０または他のソフトウェアプログラムは、計算システムに、画像データソース１５０と通信して、メモリ１１４および記憶装置１１６に画像を読み込んだり、メモリ１１４または記憶装置１１６から、画像データソース１５０との間で画像または関連データを保存したりさせることができる。例えば、画像データソース１５０は、画像取得装置１７０を介して１人またはそれ以上の患者から取得した画像データ１６０内の画像セットから、画像データソース１５０がホストする複数の画像（例えば、３ＤのＭＲＩ、４ＤのＭＲＩ、２ＤのＭＲＩスライス画像、ＣＴ画像、２Ｄの透視画像、Ｘ線画像、ＭＲスキャンまたはＣＴスキャンの生データ、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）メタデータなど）を格納して提供するように構成することができる。また、画像データソース１５０やその他のデータベースには、患者状態処理ロジック１２０が、患者状態推定演算を行うソフトウェアプログラムを実行する際や、放射線治療の治療計画を作成する際に使用するデータが格納され得る。さらに、様々なデータベースが、予備動きモデル（辞書など）、対応動きモデル、または機械学習モデルによって生成されたデータ（ネットワークが学習したモデルを構成するネットワークパラメータ、およびその結果としての予測データを含む）を保存することができる。画像処理計算システム１１０は、このように、治療または診断操作の一部として画像患者状態推定を実行することに関連して、画像データソース１５０、画像取得装置１７０、治療装置１８０（例えば、ＭＲＩ－Ｌｉｎａｃ）、または他の情報システムから画像データ１６０（例えば、２ＤのＭＲＩスライス画像、ＣＴ画像、２Ｄの透視画像、Ｘ線画像、３Ｄの ＭＲＩ画像、４ＤのＭＲＩ画像など）を取得および／または受信することができる。
［００４７］
画像取得装置１７０は、関心領域（例えば、ターゲットの臓器、ターゲットの腫瘍またはその両方）に対する患者の解剖学的構造の１つまたはそれ以上の画像を取得するように構成することができる。各画像、典型的には２Ｄ画像またはスライスは、１つまたはそれ以上のパラメータ（例えば、２Ｄスライスの厚さ、方向、および位置など）を含むことができる。一実施例では、画像取得装置１７０は、任意の方向の２Ｄスライスを取得することができる。例えば、２Ｄスライスの方向には、サジタル方向（sagittal orientation）、コロナル方向（coronal orientation）、アキシャル方向（axial orientation）などがある。処理回路１１２は、ターゲットの臓器および／またはターゲットの腫瘍を含むように、２Ｄスライスの厚さおよび／または向きなどの１つまたはそれ以上のパラメータを調整することができる。一例として、２Ｄスライスは、３ＤのＭＲＩボリュームのような情報から決定することができる。このような２Ｄスライスは、例えば、治療装置１８０を使用して患者が放射線治療の治療を受けている間に、画像取得装置１７０によって「リアルタイム」で取得することができる（「リアルタイム」とは、１０ミリ秒以下でデータを取得することを意味する）。別の実施例では、いくつかのアプリケーションにおいて、「リアルタイム」は、（例えば、最大）２００ミリ秒または３００ミリ秒以内の時間枠を含み得る。一実施例として、「リアルタイム」とは、本明細書に記載された技術によって解決される臨床上の問題に十分な速さの時間帯を含み得る。この実施例では、「リアルタイム」は、ターゲットの速度、放射線治療のマージン、ラグ、治療装置の応答時間などに応じて変化する。
画像取得装置１７０は、関心領域（例えば、ターゲットの臓器、ターゲットの腫瘍またはその両方）に対する患者の解剖学的構造の１つまたはそれ以上の画像を取得するように構成することができる。各画像、典型的には２Ｄ画像またはスライスは、１つまたはそれ以上のパラメータ（例えば、２Ｄスライスの厚さ、方向、および位置など）を含むことができる。一実施例では、画像取得装置１７０は、任意の方向の２Ｄスライスを取得することができる。例えば、２Ｄスライスの方向には、サジタル方向（sagittal orientation）、コロナル方向（coronal orientation）、アキシャル方向（axial orientation）などがある。処理回路１１２は、ターゲットの臓器および／またはターゲットの腫瘍を含むように、２Ｄスライスの厚さおよび／または向きなどの１つまたはそれ以上のパラメータを調整することができる。一例として、２Ｄスライスは、３ＤのＭＲＩボリュームのような情報から決定することができる。このような２Ｄスライスは、例えば、治療装置１８０を使用して患者が放射線治療の治療を受けている間に、画像取得装置１７０によって「リアルタイム」で取得することができる（「リアルタイム」とは、１０ミリ秒以下でデータを取得することを意味する）。別の実施例では、いくつかのアプリケーションにおいて、「リアルタイム」は、（例えば、最大）２００ミリ秒または３００ミリ秒以内の時間枠を含み得る。一実施例として、「リアルタイム」とは、本明細書に記載された技術によって解決される臨床上の問題に十分な速さの時間帯を含み得る。この実施例では、「リアルタイム」は、ターゲットの速度、放射線治療のマージン、ラグ、治療装置の応答時間などに応じて変化する。
［００４８］
画像処理計算システム１１０の患者状態処理ロジック１２０は、様々な深層ニューラルネットワークを用いた患者状態決定ワークフロー１３０を実装し、患者の状態（例えば、ＤＶＦ）の推定を行うものとして描かれている。一実施例では、患者状態処理ロジック１２０によって動作する患者状態決定ワークフロー１３０は、部分的な測定値（例えば、リアルタイムの２Ｄ画像）と、基準画像を用いた４Ｄの患者モデルとの入力に基づいて、患者の状態を出力するように訓練された第１の深層ニューラルネットワーク１３２を使用する。患者状態決定ワークフロー１３０は、第１の深層ニューラルネットワーク１３２からの患者の状態と基準画像の入力に基づいてＤＶＦを出力するように訓練された第２の深層ニューラルネットワーク１３４を含む。患者状態決定ワークフロー１３０は、リアルタイム入力ストリーム１３６（例えば、ＣＴまたはＭＲからのような２Ｄの部分的測定値）を受け取ることを含む。リアルタイム入力ストリーム１３６からの画像は、トレーニングされた第１の深層ニューラルネットワーク１３２と第２の深層ニューラルネットワーク１３４に供給されて、画像を４Ｄのモデルに関連付けるＤＶＦを生成することができる。患者状態決定ワークフロー１３０は、トレーニングされた第１の深層ニューラルネットワーク１３２及び第２の深層ニューラルネットワーク１３４と、リアルタイム入力ストリーム１３６からの現在の患者の測定値（例えば、２Ｄの画像）とを用いて、患者の状態１３８を推定することを含み、患者の状態１３８は、ＤＶＦによって一実施例として表される。
画像処理計算システム１１０の患者状態処理ロジック１２０は、様々な深層ニューラルネットワークを用いた患者状態決定ワークフロー１３０を実装し、患者の状態（例えば、ＤＶＦ）の推定を行うものとして描かれている。一実施例では、患者状態処理ロジック１２０によって動作する患者状態決定ワークフロー１３０は、部分的な測定値（例えば、リアルタイムの２Ｄ画像）と、基準画像を用いた４Ｄの患者モデルとの入力に基づいて、患者の状態を出力するように訓練された第１の深層ニューラルネットワーク１３２を使用する。患者状態決定ワークフロー１３０は、第１の深層ニューラルネットワーク１３２からの患者の状態と基準画像の入力に基づいてＤＶＦを出力するように訓練された第２の深層ニューラルネットワーク１３４を含む。患者状態決定ワークフロー１３０は、リアルタイム入力ストリーム１３６（例えば、ＣＴまたはＭＲからのような２Ｄの部分的測定値）を受け取ることを含む。リアルタイム入力ストリーム１３６からの画像は、トレーニングされた第１の深層ニューラルネットワーク１３２と第２の深層ニューラルネットワーク１３４に供給されて、画像を４Ｄのモデルに関連付けるＤＶＦを生成することができる。患者状態決定ワークフロー１３０は、トレーニングされた第１の深層ニューラルネットワーク１３２及び第２の深層ニューラルネットワーク１３４と、リアルタイム入力ストリーム１３６からの現在の患者の測定値（例えば、２Ｄの画像）とを用いて、患者の状態１３８を推定することを含み、患者の状態１３８は、ＤＶＦによって一実施例として表される。
［００４９］
図２は、Ｘ線源や線形加速器のような放射線源、カウチ２１６、撮像検出器２１４、および放射線治療出力２０４を含む、例示的な画像誘導型放射線治療装置２０２を示している。放射線治療装置２０２は、患者に治療を施すために放射線ビーム２０８を放出するように構成されることができる。放射線治療出力２０４は、マルチリーフコリメータ（ＭＬＣ）のような１つまたはそれ以上の減衰器またはコリメータを含むことができる。
図２は、Ｘ線源や線形加速器のような放射線源、カウチ２１６、撮像検出器２１４、および放射線治療出力２０４を含む、例示的な画像誘導型放射線治療装置２０２を示している。放射線治療装置２０２は、患者に治療を施すために放射線ビーム２０８を放出するように構成されることができる。放射線治療出力２０４は、マルチリーフコリメータ（ＭＬＣ）のような１つまたはそれ以上の減衰器またはコリメータを含むことができる。
［００５０］
一実施例として、患者は、放射線治療の治療計画（例えば、図１の放射線治療システムによって生成された治療計画）に従って放射線治療の線量を受けるために、治療カウチ２１６によって支持されて領域２１２に配置され得る。放射線治療出力２０４は、ガントリ２０６または他の機械的支持体に取り付けまたは装着することができる。１つまたはそれ以上のシャーシモータ（図示せず）は、カウチ２１６が治療領域に挿入されたときに、ガントリ２０６および放射線治療出力２０４をカウチ２１６の周りに回転させることができる。一実施例では、ガントリ２０６は、カウチ２１６が治療領域に挿入されるときに、カウチ２１６の周りを連続的に回転可能である。別の実施例では、ガントリ２０６は、カウチ２１６が治療領域に挿入されると、所定の位置まで回転する。例えば、ガントリ２０６は、軸（「Ａ」）を中心に治療出力２０４を回転させるように構成することができる。カウチ２１６と放射線治療出力２０４の両方は、横方向（「Ｔ」）に移動可能、横方向（「Ｌ」）に移動可能、または横軸（「Ｒ」で示す）を中心とした回転のように、１つまたはそれ以上の他の軸を中心とした回転として、患者の周りの他の位置に独立して移動可能である。１つまたはそれ以上のアクチュエータ（図示せず）に通信可能に接続されたコントローラは、放射線治療の治療計画に従って患者を放射線ビーム２０８の中または外に適切に配置するために、カウチ２１６の動きまたは回転を制御することができる。カウチ２１６とガントリ２０６の両方が、互いに独立して複数の自由度で移動可能であるため、放射線ビーム２０８が正確に腫瘍を狙うことができるように患者を配置することができる。
一実施例として、患者は、放射線治療の治療計画（例えば、図１の放射線治療システムによって生成された治療計画）に従って放射線治療の線量を受けるために、治療カウチ２１６によって支持されて領域２１２に配置され得る。放射線治療出力２０４は、ガントリ２０６または他の機械的支持体に取り付けまたは装着することができる。１つまたはそれ以上のシャーシモータ（図示せず）は、カウチ２１６が治療領域に挿入されたときに、ガントリ２０６および放射線治療出力２０４をカウチ２１６の周りに回転させることができる。一実施例では、ガントリ２０６は、カウチ２１６が治療領域に挿入されるときに、カウチ２１６の周りを連続的に回転可能である。別の実施例では、ガントリ２０６は、カウチ２１６が治療領域に挿入されると、所定の位置まで回転する。例えば、ガントリ２０６は、軸（「Ａ」）を中心に治療出力２０４を回転させるように構成することができる。カウチ２１６と放射線治療出力２０４の両方は、横方向（「Ｔ」）に移動可能、横方向（「Ｌ」）に移動可能、または横軸（「Ｒ」で示す）を中心とした回転のように、１つまたはそれ以上の他の軸を中心とした回転として、患者の周りの他の位置に独立して移動可能である。１つまたはそれ以上のアクチュエータ（図示せず）に通信可能に接続されたコントローラは、放射線治療の治療計画に従って患者を放射線ビーム２０８の中または外に適切に配置するために、カウチ２１６の動きまたは回転を制御することができる。カウチ２１６とガントリ２０６の両方が、互いに独立して複数の自由度で移動可能であるため、放射線ビーム２０８が正確に腫瘍を狙うことができるように患者を配置することができる。
［００５１］
図２に示す座標系（軸Ａ、Ｔ、Ｌを含む）は、アイソセンタ２１０に位置する原点を持つ。アイソセンタは、患者上または患者内のある場所に所定の放射線量を照射するためなど、放射線治療ビーム２０８の中心軸が座標軸の原点と交差する位置と定義することができる。あるいは、アイソセンタ２１０は、ガントリ２０６によって軸Ａの周りに配置された放射線治療出力２０４の様々な回転位置に対して、放射線治療ビーム２０８の中心軸が患者と交差する位置として定義することができる。
図２に示す座標系（軸Ａ、Ｔ、Ｌを含む）は、アイソセンタ２１０に位置する原点を持つ。アイソセンタは、患者上または患者内のある場所に所定の放射線量を照射するためなど、放射線治療ビーム２０８の中心軸が座標軸の原点と交差する位置と定義することができる。あるいは、アイソセンタ２１０は、ガントリ２０６によって軸Ａの周りに配置された放射線治療出力２０４の様々な回転位置に対して、放射線治療ビーム２０８の中心軸が患者と交差する位置として定義することができる。
［００５２］
また、ガントリ２０６は、付属の撮像検出器２１４を有することができる。撮像検出器２１４は、好ましくは放射線源（出力２０４）の反対側に配置され、一実施例では、撮像検出器２１４は、治療ビーム２０８のフィールド内に配置することができる。
また、ガントリ２０６は、付属の撮像検出器２１４を有することができる。撮像検出器２１４は、好ましくは放射線源（出力２０４）の反対側に配置され、一実施例では、撮像検出器２１４は、治療ビーム２０８のフィールド内に配置することができる。
［００５３］
撮像検出器２１４は、治療ビーム２０８との整合性を維持するように、好ましくは放射線治療出力２０４の反対側のガントリ２０６に取り付けることができる。撮像検出器２１４は、ガントリ２０６の回転に伴い、回転軸を中心に回転する。一実施例では、撮像検出器２１４は、フラットパネル検出器（例えば、直接検出器またはシンチレータ検出器）とすることができる。このようにして、撮像検出器２１４は、治療ビーム２０８をモニタするために使用することができ、あるいは、撮像検出器２１４は、ポータル画像など、患者の解剖学的構造を画像化するために使用することができる。放射線治療装置２０２の制御回路は、放射線治療システムの中に組み込まれていてもよいし、離れていてもよい。
撮像検出器２１４は、治療ビーム２０８との整合性を維持するように、好ましくは放射線治療出力２０４の反対側のガントリ２０６に取り付けることができる。撮像検出器２１４は、ガントリ２０６の回転に伴い、回転軸を中心に回転する。一実施例では、撮像検出器２１４は、フラットパネル検出器（例えば、直接検出器またはシンチレータ検出器）とすることができる。このようにして、撮像検出器２１４は、治療ビーム２０８をモニタするために使用することができ、あるいは、撮像検出器２１４は、ポータル画像など、患者の解剖学的構造を画像化するために使用することができる。放射線治療装置２０２の制御回路は、放射線治療システムの中に組み込まれていてもよいし、離れていてもよい。
［００５４］
例示的な例では、カウチ２１６、治療出力２０４、またはガントリ２０６のうちの１つまたは複数を自動的に位置決めすることができ、治療出力２０４は、特定の治療提供インスタンスのための指定された線量に従って治療ビーム２０８を確立することができる。ガントリ２０６、カウチ２１６、または治療出力２０４の１つまたはそれ以上の異なる向きまたは位置を使用するなど、放射線治療の治療計画に応じて、治療提供のシーケンスを指定することができる。治療の提供は順次行われるが、アイソセンタ２１０など、患者上または患者内の所望の治療軌跡で交差させることができる。これにより、所定の累積線量の放射線治療を治療部位に行うことができる一方で、治療部位付近の組織へのダメージを軽減または回避することができる。
例示的な例では、カウチ２１６、治療出力２０４、またはガントリ２０６のうちの１つまたは複数を自動的に位置決めすることができ、治療出力２０４は、特定の治療提供インスタンスのための指定された線量に従って治療ビーム２０８を確立することができる。ガントリ２０６、カウチ２１６、または治療出力２０４の１つまたはそれ以上の異なる向きまたは位置を使用するなど、放射線治療の治療計画に応じて、治療提供のシーケンスを指定することができる。治療の提供は順次行われるが、アイソセンタ２１０など、患者上または患者内の所望の治療軌跡で交差させることができる。これにより、所定の累積線量の放射線治療を治療部位に行うことができる一方で、治療部位付近の組織へのダメージを軽減または回避することができる。
［００５５］
したがって、図２は、患者に放射線治療を提供するように操作可能な放射線治療装置２０２の一例を具体的に示しており、放射線治療出力が中心軸（例えば、軸「Ａ」）を中心に回転可能な構成を有している。その他の放射線治療用の出力構成も可能である。例えば、放射線治療用の出力は、複数の自由度を持つロボットアームやマニピュレータに取り付けることができる。さらに別の実施例では、治療出力を患者から横方向に離れた領域に配置するなどして固定し、患者を支持するプラットフォームを使用して、放射線治療のアイソセンタを患者内の指定されたターゲットの軌跡に合わせることができる。別の実施例では、放射線治療装置は、線形加速器と画像収集装置の組み合わせとすることができる。いくつかの実施例では、画像取得装置は、当業者が認識するように、ＭＲＩ、Ｘ線、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、光トモグラフィー、蛍光イメージング、超音波イメージング、ＭＲ－ｌｉｎａｃ、または放射線治療ポータルイメージング装置などであってもよい。
したがって、図２は、患者に放射線治療を提供するように操作可能な放射線治療装置２０２の一例を具体的に示しており、放射線治療出力が中心軸（例えば、軸「Ａ」）を中心に回転可能な構成を有している。その他の放射線治療用の出力構成も可能である。例えば、放射線治療用の出力は、複数の自由度を持つロボットアームやマニピュレータに取り付けることができる。さらに別の実施例では、治療出力を患者から横方向に離れた領域に配置するなどして固定し、患者を支持するプラットフォームを使用して、放射線治療のアイソセンタを患者内の指定されたターゲットの軌跡に合わせることができる。別の実施例では、放射線治療装置は、線形加速器と画像収集装置の組み合わせとすることができる。いくつかの実施例では、画像取得装置は、当業者が認識するように、ＭＲＩ、Ｘ線、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、光トモグラフィー、蛍光イメージング、超音波イメージング、ＭＲ－ｌｉｎａｃ、または放射線治療ポータルイメージング装置などであってもよい。
［００５６］
図３は、放射線治療装置２０２と、開示された実施形態に一致する核磁気共鳴（ＭＲ）撮像システムのような撮像システムとを組み合わせることを含むことができる、例示的な放射線治療システム３００（例えば、当技術分野ではＭＲ－Ｌｉｎａｃとして知られている）を示している。図示するように、システム３００は、カウチ３１０、画像取得装置３２０、および放射線照射装置３３０を含むことができる。システム３００は、放射線治療の治療計画に基づいて、患者に放射線治療を行うものである。いくつかの実施形態では、画像取得装置３２０は、画像を取得することができる図１の画像取得装置１７０に対応させることができる。
図３は、放射線治療装置２０２と、開示された実施形態に一致する核磁気共鳴（ＭＲ）撮像システムのような撮像システムとを組み合わせることを含むことができる、例示的な放射線治療システム３００（例えば、当技術分野ではＭＲ－Ｌｉｎａｃとして知られている）を示している。図示するように、システム３００は、カウチ３１０、画像取得装置３２０、および放射線照射装置３３０を含むことができる。システム３００は、放射線治療の治療計画に基づいて、患者に放射線治療を行うものである。いくつかの実施形態では、画像取得装置３２０は、画像を取得することができる図１の画像取得装置１７０に対応させることができる。
［００５７］
カウチ３１０は、治療セッションの間、患者（図示せず）をサポートすることができる。いくつかの実装では、カウチ３１０は、カウチ３１０上にいる患者をシステム３００の中または外に移動させるように、水平方向の並進軸（「Ｉ」と表示）に沿って移動させることができる。また、カウチ３１０は、並進軸と直交する中央の垂直回転軸を中心に回転することができる。そのような移動または回転を可能にするために、カウチ３１０は、カウチが様々な方向に移動し、様々な軸に沿って回転することを可能にするモータ（図示せず）を有する。コントローラー（図示せず）は、治療計画に基づいて患者を適切に配置するために、これらの動きや回転を制御することができる。
カウチ３１０は、治療セッションの間、患者（図示せず）をサポートすることができる。いくつかの実装では、カウチ３１０は、カウチ３１０上にいる患者をシステム３００の中または外に移動させるように、水平方向の並進軸（「Ｉ」と表示）に沿って移動させることができる。また、カウチ３１０は、並進軸と直交する中央の垂直回転軸を中心に回転することができる。そのような移動または回転を可能にするために、カウチ３１０は、カウチが様々な方向に移動し、様々な軸に沿って回転することを可能にするモータ（図示せず）を有する。コントローラー（図示せず）は、治療計画に基づいて患者を適切に配置するために、これらの動きや回転を制御することができる。
［００５８］
いくつかの実施形態では、画像取得装置３２０は、治療セッションの前、間、または後に患者の２Ｄまたは３ＤのＭＲＩ画像を取得するために使用されるＭＲＩ装置を含み得る。画像取得装置３２０は、磁気共鳴イメージングのための一次磁場を生成するための磁石３２１を含んでもよい。磁石３２１の操作によって発生する磁力線は、中心の並進軸Ｉと実質的に平行に走っている。磁石３２１は、並進軸Ｉと平行に走る軸を持つ１つまたは以上のコイルを含み得る。いくつかの実施形態では、磁石３２１の１つまたはそれ以上のコイルは、磁石３２１の中央窓３２３にコイルがないような間隔で配置されてもよい。他の実施形態では、磁石３２１のコイルは、放射線治療装置３３０によって生成された波長の放射線に対して実質的に透過するように十分に薄いか、または密度が低減されている。また、画像取得装置３２０は、１つまたは以上のシールドコイルを含んでいてもよく、これらのシールドコイルは、磁石３２１の外側の任意の磁場を相殺または低減するために、ほぼ等しい大きさで反対の極性の磁場を磁石３２１の外側に生成してもよい。後述するように、放射線治療装置３３０の放射線源３３１は、磁場が少なくとも一次にキャンセルされる、または低減される領域に配置される。
いくつかの実施形態では、画像取得装置３２０は、治療セッションの前、間、または後に患者の２Ｄまたは３ＤのＭＲＩ画像を取得するために使用されるＭＲＩ装置を含み得る。画像取得装置３２０は、磁気共鳴イメージングのための一次磁場を生成するための磁石３２１を含んでもよい。磁石３２１の操作によって発生する磁力線は、中心の並進軸Ｉと実質的に平行に走っている。磁石３２１は、並進軸Ｉと平行に走る軸を持つ１つまたは以上のコイルを含み得る。いくつかの実施形態では、磁石３２１の１つまたはそれ以上のコイルは、磁石３２１の中央窓３２３にコイルがないような間隔で配置されてもよい。他の実施形態では、磁石３２１のコイルは、放射線治療装置３３０によって生成された波長の放射線に対して実質的に透過するように十分に薄いか、または密度が低減されている。また、画像取得装置３２０は、１つまたは以上のシールドコイルを含んでいてもよく、これらのシールドコイルは、磁石３２１の外側の任意の磁場を相殺または低減するために、ほぼ等しい大きさで反対の極性の磁場を磁石３２１の外側に生成してもよい。後述するように、放射線治療装置３３０の放射線源３３１は、磁場が少なくとも一次にキャンセルされる、または低減される領域に配置される。
［００５９］
また、画像取得装置３２０は、一次磁場に重畳する勾配磁場を発生させる２つの勾配コイル３２５、３２６を含む。コイル３２５、３２６は、プロトンの位置を決定できるようにプロトンの空間的エンコーディングを可能にする、結果として得られる磁場に勾配を生成する。勾配コイル３２５、３２６は、磁石３２１と共通の中心軸の周りに配置されてもよく、その中心軸に沿って変位してもよい。この変位により、コイル３２５と３２６の間にギャップつまり窓ができる。磁石３２１がコイルの間に中央窓３２３も含む実施形態では、２つの窓は互いに整列している。
また、画像取得装置３２０は、一次磁場に重畳する勾配磁場を発生させる２つの勾配コイル３２５、３２６を含む。コイル３２５、３２６は、プロトンの位置を決定できるようにプロトンの空間的エンコーディングを可能にする、結果として得られる磁場に勾配を生成する。勾配コイル３２５、３２６は、磁石３２１と共通の中心軸の周りに配置されてもよく、その中心軸に沿って変位してもよい。この変位により、コイル３２５と３２６の間にギャップつまり窓ができる。磁石３２１がコイルの間に中央窓３２３も含む実施形態では、２つの窓は互いに整列している。
［００６０］
画像の取得は、腫瘍の動きを追跡するために使用される。時には、内部または外部のサロゲートを使用することができる。しかし、埋め込まれたシードは、放射線治療中に当初の位置から移動したり、外れたりすることがある。また、サロゲートを使用する場合、腫瘍の動きと外部のサロゲートの変位に相関関係があることを前提としている。しかし、外部のサロゲートと腫瘍の動きの間には位相のずれがあり、それらの位置は時間の経過とともに頻繁に相関性を失う可能性がある。腫瘍とサロゲートの間には、９ｍｍ以上のミスマッチがあることが知られている。さらに、トラッキング中に腫瘍の形状がどのように変化するかは不明である。
画像の取得は、腫瘍の動きを追跡するために使用される。時には、内部または外部のサロゲートを使用することができる。しかし、埋め込まれたシードは、放射線治療中に当初の位置から移動したり、外れたりすることがある。また、サロゲートを使用する場合、腫瘍の動きと外部のサロゲートの変位に相関関係があることを前提としている。しかし、外部のサロゲートと腫瘍の動きの間には位相のずれがあり、それらの位置は時間の経過とともに頻繁に相関性を失う可能性がある。腫瘍とサロゲートの間には、９ｍｍ以上のミスマッチがあることが知られている。さらに、トラッキング中に腫瘍の形状がどのように変化するかは不明である。
［００６１］
磁気共鳴画像（ＭＲＩ）の利点は、軟部組織のコントラストが優れているため、腫瘍をより詳細に見ることができることである。複数のフラクション内（intrafractional）ＭＲ画像を用いることで、腫瘍の形状と位置（セントロイドなど）の両方を把握することができる。さらに、ＭＲＩ画像は、例えば放射線腫瘍医が手動で行う輪郭形成を向上させるが、自動輪郭形成ソフトウェア（例えば、ＡＢＡＳ（登録商標））を使用した場合でも同様である。これは、ＭＲ画像では腫瘍のターゲットと背景領域のコントラストが高いためである。
磁気共鳴画像（ＭＲＩ）の利点は、軟部組織のコントラストが優れているため、腫瘍をより詳細に見ることができることである。複数のフラクション内（intrafractional）ＭＲ画像を用いることで、腫瘍の形状と位置（セントロイドなど）の両方を把握することができる。さらに、ＭＲＩ画像は、例えば放射線腫瘍医が手動で行う輪郭形成を向上させるが、自動輪郭形成ソフトウェア（例えば、ＡＢＡＳ（登録商標））を使用した場合でも同様である。これは、ＭＲ画像では腫瘍のターゲットと背景領域のコントラストが高いためである。
［００６２］
ＭＲ－Ｌｉｎａｃシステムを使用するもう一つの利点は、治療ビームを連続的に照射して、ターゲットの腫瘍のイントラフラクショナル・トラッキング（intrafractional tracking）を実行できることである。例えば、光学式トラッキング装置や立体Ｘ線透視システムでは、腫瘍のサロゲートを用いて３０Ｈｚで腫瘍の位置を検出することができる。ＭＲＩでは、画像取得速度がより速い（例えば、３～６ｆｐｓ）。したがって、ターゲットのセントロイド位置を決定することで、人工知能（例えば、ニューラルネットワーク）ソフトウェアが将来のターゲットの位置を予測することができる。ＭＲ－Ｌｉｎａｃを用いたイントラフラクショナル・トラッキング（intrafractional tracking）の利点は、将来のターゲットの位置を予測できることで、マルチリーフコリメーター（ＭＬＣ）のリーフが、予測された将来の位置にあるターゲットの輪郭に合わせることができる点にある。このように、ＭＲＩを使って将来の腫瘍の位置を予測することは、トラッキング中の撮像周波数と同じ割合で起こる。詳細なＭＲＩ画像を用いてターゲットである腫瘍の動きを明確に追跡することで、動き回るターゲットに適合性の高い放射線を照射することができる。
ＭＲ－Ｌｉｎａｃシステムを使用するもう一つの利点は、治療ビームを連続的に照射して、ターゲットの腫瘍のイントラフラクショナル・トラッキング（intrafractional tracking）を実行できることである。例えば、光学式トラッキング装置や立体Ｘ線透視システムでは、腫瘍のサロゲートを用いて３０Ｈｚで腫瘍の位置を検出することができる。ＭＲＩでは、画像取得速度がより速い（例えば、３～６ｆｐｓ）。したがって、ターゲットのセントロイド位置を決定することで、人工知能（例えば、ニューラルネットワーク）ソフトウェアが将来のターゲットの位置を予測することができる。ＭＲ－Ｌｉｎａｃを用いたイントラフラクショナル・トラッキング（intrafractional tracking）の利点は、将来のターゲットの位置を予測できることで、マルチリーフコリメーター（ＭＬＣ）のリーフが、予測された将来の位置にあるターゲットの輪郭に合わせることができる点にある。このように、ＭＲＩを使って将来の腫瘍の位置を予測することは、トラッキング中の撮像周波数と同じ割合で起こる。詳細なＭＲＩ画像を用いてターゲットである腫瘍の動きを明確に追跡することで、動き回るターゲットに適合性の高い放射線を照射することができる。
［００６３］
いくつかの実施形態では、画像取得装置３２０は、Ｘ線、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、光トモグラフィー、蛍光イメージング、超音波イメージングのようなＭＲＩ以外の撮像装置または放射線治療ポータルイメージング装置であり得る。当業者であれば認識できるように、画像取得装置３２０の上記の説明は、特定の実施形態に関するものであり、限定することを意図したものではない。
いくつかの実施形態では、画像取得装置３２０は、Ｘ線、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、光トモグラフィー、蛍光イメージング、超音波イメージングのようなＭＲＩ以外の撮像装置または放射線治療ポータルイメージング装置であり得る。当業者であれば認識できるように、画像取得装置３２０の上記の説明は、特定の実施形態に関するものであり、限定することを意図したものではない。
［００６４］
放射線治療装置３３０は、Ｘ線源や線形加速器のような放射線源３３１と、マルチリーフコリメータ（ＭＬＣ）３３３とを含み得る。放射線治療装置３３０は、シャーシ３３５に搭載される。１つまたはそれ以上のシャーシモータ（図示せず）は、カウチ３１０が治療領域に挿入されると、カウチ３１０の周りでシャーシ３３５を回転させる。一実施形態では、シャーシ３３５は、カウチ３１０が治療領域に挿入されたときに、カウチ３１０の周りで連続的に回転可能である。シャーシ３３５は、また、付属の放射線検出器（図示せず）を有していてもよく、好ましくは放射線源３３１の反対側に位置し、シャーシ３３５の回転軸が放射線源３３１と検出器との間に配置される。さらに、装置３３０は、例えば、カウチ３１０、画像取得装置３２０、および放射線治療装置３３０のうちの１つまたは複数を制御するために使用される制御回路（図示せず）を含み得る。放射線治療装置３３０の制御回路は、システム３００の中に組み込まれていてもよいし、システム３００から離れていてもよい。
放射線治療装置３３０は、Ｘ線源や線形加速器のような放射線源３３１と、マルチリーフコリメータ（ＭＬＣ）３３３とを含み得る。放射線治療装置３３０は、シャーシ３３５に搭載される。１つまたはそれ以上のシャーシモータ（図示せず）は、カウチ３１０が治療領域に挿入されると、カウチ３１０の周りでシャーシ３３５を回転させる。一実施形態では、シャーシ３３５は、カウチ３１０が治療領域に挿入されたときに、カウチ３１０の周りで連続的に回転可能である。シャーシ３３５は、また、付属の放射線検出器（図示せず）を有していてもよく、好ましくは放射線源３３１の反対側に位置し、シャーシ３３５の回転軸が放射線源３３１と検出器との間に配置される。さらに、装置３３０は、例えば、カウチ３１０、画像取得装置３２０、および放射線治療装置３３０のうちの１つまたは複数を制御するために使用される制御回路（図示せず）を含み得る。放射線治療装置３３０の制御回路は、システム３００の中に組み込まれていてもよいし、システム３００から離れていてもよい。
［００６５］
放射線治療のセッションの間、患者はカウチ３１０に配置される。システム３００は、次に、カウチ３１０を、磁気コイル３２１、３２５、３２６、シャーシ３３５によって規定される治療領域に移動させる。そして、制御回路は、放射線治療の治療計画に従って、コイル３２５、３２６の間の窓を通して患者に放射線を照射するように、放射線源３３１、ＭＬＣ３３３、シャーシモータを制御する。
放射線治療のセッションの間、患者はカウチ３１０に配置される。システム３００は、次に、カウチ３１０を、磁気コイル３２１、３２５、３２６、シャーシ３３５によって規定される治療領域に移動させる。そして、制御回路は、放射線治療の治療計画に従って、コイル３２５、３２６の間の窓を通して患者に放射線を照射するように、放射線源３３１、ＭＬＣ３３３、シャーシモータを制御する。
［００６６］
図４は、患者の状態を推定するための例示的なフロー図である。図４は、エンコーダ・デコーダ型の畳み込みニューラルネットワーク（ＣＮＮ）または他のニューラルネットワークを用いて患者の状態を推定するための患者状態ジェネレータ４０８を含む。患者状態ジェネレータ４０８は、瞬間的な部分の測定値４０２と患者の予備動きモデル４０６を用いて、患者の状態を推定し、ブロック４１０で出力する。予備動きモデル４０６は、以前の測定値４０４に対応する以前の患者の状態を含む、以前の測定値４０４を用いて生成される。
図４は、患者の状態を推定するための例示的なフロー図である。図４は、エンコーダ・デコーダ型の畳み込みニューラルネットワーク（ＣＮＮ）または他のニューラルネットワークを用いて患者の状態を推定するための患者状態ジェネレータ４０８を含む。患者状態ジェネレータ４０８は、瞬間的な部分の測定値４０２と患者の予備動きモデル４０６を用いて、患者の状態を推定し、ブロック４１０で出力する。予備動きモデル４０６は、以前の測定値４０４に対応する以前の患者の状態を含む、以前の測定値４０４を用いて生成される。
［００６７］
実用的な放射線治療アプリケーションでは、部分的な測定（例えば、２Ｄの画像または画像スライス）により、患者の状態（例えば、３Ｄの画像）に関する不完全な情報が得られる。例えば、２ＤのＭＲＩスライスは、患者の３Ｄ表現を一度に切り取ったものであり、Ｘ線投影は、３Ｄ表現のレイラインに沿ってボクセルを積分したものである。どちらの画像を使用しても、偏りの無い情報（例えば、患者の解剖学的な３Ｄの表現ではなく２Ｄの画像）という結果となる。患者状態ジェネレータ４０８は、過去の測定および／またはオフライン（治療前）の取得から生成された部分情報および患者モデル４０６を用いて、患者の状態４１０を推定する。患者モデルジェネレータ４０８は、低次元の患者の状態表現の作成を含むことができる。
実用的な放射線治療アプリケーションでは、部分的な測定（例えば、２Ｄの画像または画像スライス）により、患者の状態（例えば、３Ｄの画像）に関する不完全な情報が得られる。例えば、２ＤのＭＲＩスライスは、患者の３Ｄ表現を一度に切り取ったものであり、Ｘ線投影は、３Ｄ表現のレイラインに沿ってボクセルを積分したものである。どちらの画像を使用しても、偏りの無い情報（例えば、患者の解剖学的な３Ｄの表現ではなく２Ｄの画像）という結果となる。患者状態ジェネレータ４０８は、過去の測定および／またはオフライン（治療前）の取得から生成された部分情報および患者モデル４０６を用いて、患者の状態４１０を推定する。患者モデルジェネレータ４０８は、低次元の患者の状態表現の作成を含むことができる。
［００６８］
４Ｄの画像には、代表的な呼吸サイクルの一連の３Ｄの画像が含まれ得る。例えば、４ＤのＣＢＣＴでは、多数のＸ線投影画像を取得し、多数のビンに分類する。並べ替えは、例えば、各投影での横隔膜の位置を画像で直接検出したり、ｋＶの投影と同時に取得した別の呼吸信号を用いたり、信号の位相や振幅に応じて投影をビンニングしたりすることにより達成する。その後、各ビンに割り当てられたｋＶ投影を用いて各ビンを個別に再構成し、ビンごとに３Ｄの画像を形成する。同様の手法で４ＤのＭＲ画像を生成することができる。その後、暫定的に４Ｄ画像を使ってモデルを構築する。場合によっては、４Ｄ画像を再構築する中間ステップが必要ないこともあり、低次元の状態表現を測定値から直接作成することもできる。
４Ｄの画像には、代表的な呼吸サイクルの一連の３Ｄの画像が含まれ得る。例えば、４ＤのＣＢＣＴでは、多数のＸ線投影画像を取得し、多数のビンに分類する。並べ替えは、例えば、各投影での横隔膜の位置を画像で直接検出したり、ｋＶの投影と同時に取得した別の呼吸信号を用いたり、信号の位相や振幅に応じて投影をビンニングしたりすることにより達成する。その後、各ビンに割り当てられたｋＶ投影を用いて各ビンを個別に再構成し、ビンごとに３Ｄの画像を形成する。同様の手法で４ＤのＭＲ画像を生成することができる。その後、暫定的に４Ｄ画像を使ってモデルを構築する。場合によっては、４Ｄ画像を再構築する中間ステップが必要ないこともあり、低次元の状態表現を測定値から直接作成することもできる。
［００６９］
ＤＶＦベースの動きモデル（例えば、患者の状態４１０として出力される）は、基準となる患者の状態（例えば、３Ｄの基準画像上で定義された治療情報）を、４Ｄのデータセットで表現された代表的な呼吸サイクルの他の各フェーズで示される特定の解剖学的構造に変形させるメカニズムを提供する。
ＤＶＦベースの動きモデル（例えば、患者の状態４１０として出力される）は、基準となる患者の状態（例えば、３Ｄの基準画像上で定義された治療情報）を、４Ｄのデータセットで表現された代表的な呼吸サイクルの他の各フェーズで示される特定の解剖学的構造に変形させるメカニズムを提供する。
［００７０］
本明細書に記載されているシステムおよび方法は、瞬間的な部分の測定値（例えば、２Ｄの画像）を、その基礎となる完全な３Ｄの患者の状態（例えば、出力推定値）にマッピングするための深層学習フレームワークを含む。一実施例では、この２Ｄから３Ｄへの問題は、（２Ｄ＋４Ｄ）から３Ｄへの問題に再定式化することができる。
本明細書に記載されているシステムおよび方法は、瞬間的な部分の測定値（例えば、２Ｄの画像）を、その基礎となる完全な３Ｄの患者の状態（例えば、出力推定値）にマッピングするための深層学習フレームワークを含む。一実施例では、この２Ｄから３Ｄへの問題は、（２Ｄ＋４Ｄ）から３Ｄへの問題に再定式化することができる。
［００７１］
機械学習技術を用いて、瞬間的な部分の測定（２Ｄ）とその基礎となる３Ｄの患者の状態の間の２Ｄから３Ｄへの推論を学習することができる。このような実施例では、４Ｄのデータセットを使用してトレーニングペア（２Ｄの測定、３Ｄの患者の状態）を生成することができる。しかし、これらの技術は、連続する患者の状態の間に存在する時間的な関係が考慮されない可能性があるという限界がある。その他の限界としては、個々の患者ごとに（例えば、患者自身の患者モデルを使用して）患者状態ジェネレータを再学習する必要があることが挙げられる。特に、放射線治療の直前に４Ｄの患者モデルを取得した場合、トレーニング時間の長さが治療のワークフローに大きく影響する可能性がある。もうひとつの限界は、大量の４Ｄの患者モデルの集団を使ってオフラインでモデルをトレーニングすることで、モーションマネジメントの目的である患者の特異性が十分に得られないことである。
機械学習技術を用いて、瞬間的な部分の測定（２Ｄ）とその基礎となる３Ｄの患者の状態の間の２Ｄから３Ｄへの推論を学習することができる。このような実施例では、４Ｄのデータセットを使用してトレーニングペア（２Ｄの測定、３Ｄの患者の状態）を生成することができる。しかし、これらの技術は、連続する患者の状態の間に存在する時間的な関係が考慮されない可能性があるという限界がある。その他の限界としては、個々の患者ごとに（例えば、患者自身の患者モデルを使用して）患者状態ジェネレータを再学習する必要があることが挙げられる。特に、放射線治療の直前に４Ｄの患者モデルを取得した場合、トレーニング時間の長さが治療のワークフローに大きく影響する可能性がある。もうひとつの限界は、大量の４Ｄの患者モデルの集団を使ってオフラインでモデルをトレーニングすることで、モーションマネジメントの目的である患者の特異性が十分に得られないことである。
［００７２］
本明細書に記載されているシステムおよび方法は、２つ（またはそれ以上）の深層ニューラルネットワークを学習して、２Ｄの部分的な測定値で見つかった特徴と、４Ｄの時空間的な患者モデルで見つかった特徴との間の依存関係を学習することによって、これらの問題および制限を解決することができる。２つまたはそれ以上の深層ニューラルネットワークの出力には、見たことのない入力測定値／モデルのペアに対する、基礎的な患者の状態の推定値が含まれることがある。これらのシステムや技術は、データの空間的および時間的な依存性を利用した患者状態ジェネレータを含むことができる。さらに、患者自身のモデルがネットワークの入力として与えられるため、患者固有の状態を維持しながら、複数の患者の大規模なデータベースを使用して、患者の状態を生成するためのトレーニングを一度だけ行うことができる。
本明細書に記載されているシステムおよび方法は、２つ（またはそれ以上）の深層ニューラルネットワークを学習して、２Ｄの部分的な測定値で見つかった特徴と、４Ｄの時空間的な患者モデルで見つかった特徴との間の依存関係を学習することによって、これらの問題および制限を解決することができる。２つまたはそれ以上の深層ニューラルネットワークの出力には、見たことのない入力測定値／モデルのペアに対する、基礎的な患者の状態の推定値が含まれることがある。これらのシステムや技術は、データの空間的および時間的な依存性を利用した患者状態ジェネレータを含むことができる。さらに、患者自身のモデルがネットワークの入力として与えられるため、患者固有の状態を維持しながら、複数の患者の大規模なデータベースを使用して、患者の状態を生成するためのトレーニングを一度だけ行うことができる。
［００７３］
一実施例では、本明細書に記載されているシステムと方法は、侵襲的に埋め込まれたマーカーを必要とせずに、腫瘍と他の周囲の器官の両方を追跡するのに適している。
一実施例では、本明細書に記載されているシステムと方法は、侵襲的に埋め込まれたマーカーを必要とせずに、腫瘍と他の周囲の器官の両方を追跡するのに適している。
［００７４］
一実施例では、本明細書に記載されたシステムおよび方法は、４Ｄの患者モデルに対する計算コストの高い変形可能な画像登録（ＤＩＲ）を必要としない場合がある。この実施例では、治療前の遅延がないため、治療のワークフローに影響を与えない。さらに、ここに記載されているシステムと方法は、ＤＩＲの方法で生成された変位ベクトルフィールド（ＤＶＦ）の精度に限定されるものではない。
一実施例では、本明細書に記載されたシステムおよび方法は、４Ｄの患者モデルに対する計算コストの高い変形可能な画像登録（ＤＩＲ）を必要としない場合がある。この実施例では、治療前の遅延がないため、治療のワークフローに影響を与えない。さらに、ここに記載されているシステムと方法は、ＤＩＲの方法で生成された変位ベクトルフィールド（ＤＶＦ）の精度に限定されるものではない。
［００７５］
本明細書に記載されているシステムと方法は、（データ駆動である入力患者モデル以外の）モデルフリーで、トレーニングデータによってのみ駆動することができる。そのため、本明細書に記載されているシステムおよび方法は、強い線形性の仮定を含む可能性のあるモデルベースの方法よりも、アンダーフィッティング（underfitting）の影響を受けにくい可能性がある。
本明細書に記載されているシステムと方法は、（データ駆動である入力患者モデル以外の）モデルフリーで、トレーニングデータによってのみ駆動することができる。そのため、本明細書に記載されているシステムおよび方法は、強い線形性の仮定を含む可能性のあるモデルベースの方法よりも、アンダーフィッティング（underfitting）の影響を受けにくい可能性がある。
［００７６］
ニューラルネットワークは、多数の患者モデルを用いてトレーニングされ、治療中に起こりうる動きの変化やドリフトに対して一般化することができる。一実施例では、単一の（時間に制約のある）患者モデル（１つの平均呼吸サイクル）を使用してトレーニングされたモデルと比較して、本明細書に記載されたシステムおよび方法は、より一般化することができる。一度学習したニューラルネットワークは、例えば、異なる（例えば、更新された）入力患者モデルを注入することにより、長時間の再学習を行うことなく、フラクション間（inter-fraction）の腫瘍サイズの変化や周囲の臓器の動きの変化に適応することができる。
ニューラルネットワークは、多数の患者モデルを用いてトレーニングされ、治療中に起こりうる動きの変化やドリフトに対して一般化することができる。一実施例では、単一の（時間に制約のある）患者モデル（１つの平均呼吸サイクル）を使用してトレーニングされたモデルと比較して、本明細書に記載されたシステムおよび方法は、より一般化することができる。一度学習したニューラルネットワークは、例えば、異なる（例えば、更新された）入力患者モデルを注入することにより、長時間の再学習を行うことなく、フラクション間（inter-fraction）の腫瘍サイズの変化や周囲の臓器の動きの変化に適応することができる。
［００７７］
図５は、例示的な深層ニューラルネットワークアーキテクチャ５００の概要ブロック図を示す。深層ニューラルネットワークアーキテクチャ５００は、２つの部分を含む。図５で「ネットワークＡ」とラベル付けされた第１の部分は、生の３Ｄの患者の状態の推定値５０８を生成するために、入力の２Ｄの部分測定値５０６を手がかりに、入力の４Ｄの患者モデル５０４を時間的次元で補間するために使用することができる。図５で「ネットワークＢ」と表示されている第２の部分は、生の３Ｄの患者の状態５０８と、治療計画が（例えば、リスク臓器、ＧＴＶなどについてより高度な情報で）定義された基準ボリューム５１２との間の３Ｄの変位ベクトルフィールド（ＤＶＦ）５１０として出力され、相対的な動きを計算する。一実施例では、基準ボリューム５１２は、４Ｄの患者モデル５０４の１つのフェーズである（例えば、４Ｄの患者モデル５０４がネットワークＡに入力される前に、基準ボリューム５１２となるように１つのフェーズが選択される）。他の実施例では、基準ボリューム５１２は、別途取得したデータセットであってもよい。
図５は、例示的な深層ニューラルネットワークアーキテクチャ５００の概要ブロック図を示す。深層ニューラルネットワークアーキテクチャ５００は、２つの部分を含む。図５で「ネットワークＡ」とラベル付けされた第１の部分は、生の３Ｄの患者の状態の推定値５０８を生成するために、入力の２Ｄの部分測定値５０６を手がかりに、入力の４Ｄの患者モデル５０４を時間的次元で補間するために使用することができる。図５で「ネットワークＢ」と表示されている第２の部分は、生の３Ｄの患者の状態５０８と、治療計画が（例えば、リスク臓器、ＧＴＶなどについてより高度な情報で）定義された基準ボリューム５１２との間の３Ｄの変位ベクトルフィールド（ＤＶＦ）５１０として出力され、相対的な動きを計算する。一実施例では、基準ボリューム５１２は、４Ｄの患者モデル５０４の１つのフェーズである（例えば、４Ｄの患者モデル５０４がネットワークＡに入力される前に、基準ボリューム５１２となるように１つのフェーズが選択される）。他の実施例では、基準ボリューム５１２は、別途取得したデータセットであってもよい。
［００７８］
一実施例では、ネットワークＡは、入力された４Ｄの患者モデル（治療前に取得されたもの）と、患者の現在のリアルタイムの２Ｄの画像測定値５０６とに基づいて、生の３Ｄの患者の状態５０８を生成するために使用される。ネットワークＢは、生成された３Ｄの患者の状態５０８と、治療計画が定義された基準ボリューム５１２との間の相対的な動きを計算するために使用される。出力ＤＶＦ５１０は、多分、入力画像５０６からリアルタイムで生成される。
一実施例では、ネットワークＡは、入力された４Ｄの患者モデル（治療前に取得されたもの）と、患者の現在のリアルタイムの２Ｄの画像測定値５０６とに基づいて、生の３Ｄの患者の状態５０８を生成するために使用される。ネットワークＢは、生成された３Ｄの患者の状態５０８と、治療計画が定義された基準ボリューム５１２との間の相対的な動きを計算するために使用される。出力ＤＶＦ５１０は、多分、入力画像５０６からリアルタイムで生成される。
［００７９］
ネットワークＡの機能と出力に関する詳細は、図６Ａ～図６Ｂを参照して以下に記載する。
ネットワークＡの機能と出力に関する詳細は、図６Ａ～図６Ｂを参照して以下に記載する。
［００８０］
一実施例では、ネットワークＢは、生の患者の状態５０８（ネットワークＡの出力）と、より高レベルの臨床治療計画が定義された（例えば、ＧＴＶ、リスク臓器、等の定義）患者モデルにおける基準ボリューム５１２（例えば、患者の呼気終了時の位相）との間の相対的な動きを計算する。一実施例では、２Ｄのフローネット（ＦｌｏｗＮｅｔ）アーキテクチャの３Ｄの拡張を使用して、（ネットワークＡからの）補間された３Ｄの患者の状態５０８と３Ｄの基準ボリューム５１２との間の変位ベクトルフィールド（ＤＶＦ）５１０を推定する。このＤＶＦ５１０は、（治療計画が作成された）基準ボリューム５１２と、最新の患者の状態５０８との間で検出された変化に治療計画を適応させるために使用されてもよい。別の実施例では、従来の変形可能な画像登録（ＤＩＲ）技術を使用してもよい。一実施例では、深層ニューラルネットワークアーキテクチャは非反復的であり、ライブモーションモニタリングに適している。
一実施例では、ネットワークＢは、生の患者の状態５０８（ネットワークＡの出力）と、より高レベルの臨床治療計画が定義された（例えば、ＧＴＶ、リスク臓器、等の定義）患者モデルにおける基準ボリューム５１２（例えば、患者の呼気終了時の位相）との間の相対的な動きを計算する。一実施例では、２Ｄのフローネット（ＦｌｏｗＮｅｔ）アーキテクチャの３Ｄの拡張を使用して、（ネットワークＡからの）補間された３Ｄの患者の状態５０８と３Ｄの基準ボリューム５１２との間の変位ベクトルフィールド（ＤＶＦ）５１０を推定する。このＤＶＦ５１０は、（治療計画が作成された）基準ボリューム５１２と、最新の患者の状態５０８との間で検出された変化に治療計画を適応させるために使用されてもよい。別の実施例では、従来の変形可能な画像登録（ＤＩＲ）技術を使用してもよい。一実施例では、深層ニューラルネットワークアーキテクチャは非反復的であり、ライブモーションモニタリングに適している。
［００８１］
最終的な出力を向上させるために、１つの深層ニューラルネットワークの代わりに、２つのネットワークアーキテクチャ５００を使用する。エンドツーエンド（end-to-end）のネットワークは可能でないかもしれない。その代わりに、２つのネットワークを使用することにより、基準ボリューム５１２を両方のネットワークへの入力として使用して、ＤＶＦ５１０を出力するために、２Ｄの測定値５０６と４Ｄの患者モデル５０４を含む現実的な、グランドトゥルースのトレーニング入力を作成することができる。患者モデルの補間（ネットワークＡ）に続いて、相対的な動きの推定（ネットワークＢ）を行うことで、エンドツーエンドのネットワークよりも精度が高くなる可能性がある。さらに、２つのネットワークアーキテクチャ５００は、例えば、グランドトゥルースのトレーニングサンプルの生成に関して、トレーニングの複雑さを大幅に軽減し、実現可能性を高めることができる。
最終的な出力を向上させるために、１つの深層ニューラルネットワークの代わりに、２つのネットワークアーキテクチャ５００を使用する。エンドツーエンド（end-to-end）のネットワークは可能でないかもしれない。その代わりに、２つのネットワークを使用することにより、基準ボリューム５１２を両方のネットワークへの入力として使用して、ＤＶＦ５１０を出力するために、２Ｄの測定値５０６と４Ｄの患者モデル５０４を含む現実的な、グランドトゥルースのトレーニング入力を作成することができる。患者モデルの補間（ネットワークＡ）に続いて、相対的な動きの推定（ネットワークＢ）を行うことで、エンドツーエンドのネットワークよりも精度が高くなる可能性がある。さらに、２つのネットワークアーキテクチャ５００は、例えば、グランドトゥルースのトレーニングサンプルの生成に関して、トレーニングの複雑さを大幅に軽減し、実現可能性を高めることができる。
［００８２］
図６Ａ及び図６Ｂは、例示的な詳細な深層ニューラルネットワークアーキテクチャのブロック図を示す。図６Ａは、図５に示したアーキテクチャ５００からのネットワークＡの入力層と畳み込み層と相関層を示している。図６Ｂは、ネットワークＡの患者状態ジェネレータ（エンコーダ・デコーダ）の層を示している。
図６Ａ及び図６Ｂは、例示的な詳細な深層ニューラルネットワークアーキテクチャのブロック図を示す。図６Ａは、図５に示したアーキテクチャ５００からのネットワークＡの入力層と畳み込み層と相関層を示している。図６Ｂは、ネットワークＡの患者状態ジェネレータ（エンコーダ・デコーダ）の層を示している。
［００８３］
ネットワークＡは、離散的な４Ｄの患者モデルデータを時間と空間の補間器を含む。ネットワークＡは、部分的な測定値（例えば、２Ｄの画像）を入力として、現在の患者の状態を最もよく表す新しい３Ｄのボリュームデータセットを生成するために使用される。先に図５で説明したように、ネットワークＡの一例のアーキテクチャは、複数の２Ｄおよび３Ｄの畳み込みニューラルネットワーク（ＣＮＮ）を含む。具体的には、図６Ａに示すように、独立した畳み込み処理ストリームを使用して、２Ｄの測定データ（２ＤのＣＮＮ処理ストリーム６０２）と４Ｄの患者モデル（３Ｄ＋時間ＣＮＮ（３Ｄ＋ｔｉｍｅ ＣＮＮ））処理ストリーム６０４）から低レベルの特徴を抽出する。次に、相関層（Ｃｏｒｒ Ｌａｙｅｒ）６０６が、測定値の特徴とモデルの特徴と（処理ストリーム６０２と処理ストリーム６０４からそれぞれ出力されたもの）を照合する。相関層６０６の出力は、図６Ｂに示す（エンコーダ６０８とデコーダ６１０のための層を有する）患者状態ジェネレータの層に送られる。
ネットワークＡは、離散的な４Ｄの患者モデルデータを時間と空間の補間器を含む。ネットワークＡは、部分的な測定値（例えば、２Ｄの画像）を入力として、現在の患者の状態を最もよく表す新しい３Ｄのボリュームデータセットを生成するために使用される。先に図５で説明したように、ネットワークＡの一例のアーキテクチャは、複数の２Ｄおよび３Ｄの畳み込みニューラルネットワーク（ＣＮＮ）を含む。具体的には、図６Ａに示すように、独立した畳み込み処理ストリームを使用して、２Ｄの測定データ（２ＤのＣＮＮ処理ストリーム６０２）と４Ｄの患者モデル（３Ｄ＋時間ＣＮＮ（３Ｄ＋ｔｉｍｅ ＣＮＮ））処理ストリーム６０４）から低レベルの特徴を抽出する。次に、相関層（Ｃｏｒｒ Ｌａｙｅｒ）６０６が、測定値の特徴とモデルの特徴と（処理ストリーム６０２と処理ストリーム６０４からそれぞれ出力されたもの）を照合する。相関層６０６の出力は、図６Ｂに示す（エンコーダ６０８とデコーダ６１０のための層を有する）患者状態ジェネレータの層に送られる。
［００８４］
図６Ａでは、相関層は、測定値の特徴（ストリーム６０２の出力）と患者モデルの特徴（ストリーム６０４の出力）との間で乗算パッチ比較を行うマッチング処理を含む。相関層は、フィルターではなく、データを他のデータ（６０２出力、６０４出力）と畳み込むことを除けば、コンボリューション層に似ている。この相関層は、２Ｄの画像から抽出した特徴量と、入力された患者モデルの複数の３Ｄのボリュームから抽出した特徴量との相関をとる。
図６Ａでは、相関層は、測定値の特徴（ストリーム６０２の出力）と患者モデルの特徴（ストリーム６０４の出力）との間で乗算パッチ比較を行うマッチング処理を含む。相関層は、フィルターではなく、データを他のデータ（６０２出力、６０４出力）と畳み込むことを除けば、コンボリューション層に似ている。この相関層は、２Ｄの画像から抽出した特徴量と、入力された患者モデルの複数の３Ｄのボリュームから抽出した特徴量との相関をとる。
［００８５］
一実施例では、２Ｄの測定値データの各パッチは、患者モデルのすべての３Ｄのボリューム内のすべての可能なパッチと比較される。他の実施例では、器官に依存するハイパーパラメータ（hyperparameter）や、他の限定的な制約など、最大変位の制約（maximum displacement constraint）を定義する。一実施例では、ハイパーパラメータは、ネットワークの構造や学習率を決定する変数である。ハイパーパラメータは学習前に設定することができる。制約は、ストリーム６０２とストリーム６０４の出力間の比較の次元を大幅に減らすために使用することができ、これにより、精度を維持しつつ、より計算が容易な判定を得ることができる。
一実施例では、２Ｄの測定値データの各パッチは、患者モデルのすべての３Ｄのボリューム内のすべての可能なパッチと比較される。他の実施例では、器官に依存するハイパーパラメータ（hyperparameter）や、他の限定的な制約など、最大変位の制約（maximum displacement constraint）を定義する。一実施例では、ハイパーパラメータは、ネットワークの構造や学習率を決定する変数である。ハイパーパラメータは学習前に設定することができる。制約は、ストリーム６０２とストリーム６０４の出力間の比較の次元を大幅に減らすために使用することができ、これにより、精度を維持しつつ、より計算が容易な判定を得ることができる。
［００８６］
図６Ｂでは、エンコーダ・デコーダ層６０６～６１０は、相関層６０６の出力を使用して、現在の患者の状態に関する高レベルの抽象的な表現を抽出し、これを画素ごとの緻密な患者状態予測に復号する。
図６Ｂでは、エンコーダ・デコーダ層６０６～６１０は、相関層６０６の出力を使用して、現在の患者の状態に関する高レベルの抽象的な表現を抽出し、これを画素ごとの緻密な患者状態予測に復号する。
［００８７］
エンコーダ・デコーダモデルは、畳み込みニューラルネットワーク（ＣＮＮ）や、別の実施例では、回帰型ニューラルネットワーク（ＲＮＮ：recurrent neural network）のようなニューラルネットワークを含み得る。ＣＮＮの例は、図６Ｂに示されており、相関層の出力を高レベルの抽象的な表現にエンコードするエンコーダ６０８が示されており、このエンコードは、デコーダ６１０に送られて、画素ごとの高密度の患者状態記述を生成する。ネットワークＡの出力は、デコーダ６１０の出力を含むことができ、これは、時間離散型の４Ｄの患者モデル（例えば、ストリーム６０４に入力された患者モデル）に見られる生データを補間した生の３Ｄの患者の状態（例えば、グレースケールボリューム）を含むことができる。
エンコーダ・デコーダモデルは、畳み込みニューラルネットワーク（ＣＮＮ）や、別の実施例では、回帰型ニューラルネットワーク（ＲＮＮ：recurrent neural network）のようなニューラルネットワークを含み得る。ＣＮＮの例は、図６Ｂに示されており、相関層の出力を高レベルの抽象的な表現にエンコードするエンコーダ６０８が示されており、このエンコードは、デコーダ６１０に送られて、画素ごとの高密度の患者状態記述を生成する。ネットワークＡの出力は、デコーダ６１０の出力を含むことができ、これは、時間離散型の４Ｄの患者モデル（例えば、ストリーム６０４に入力された患者モデル）に見られる生データを補間した生の３Ｄの患者の状態（例えば、グレースケールボリューム）を含むことができる。
［００８８］
一実施例では、ネットワークＢは、一般的に、画像のペアを畳み込むようにトレーニングされている。そのとき、ドメイン固有のデータを集めた小規模なデータベースを使用して、ネットワークＢを微調整することができる。例えば、ローカルな統計的形状および外観モデルを使用して、現実的でドメイン固有のグラウンドトゥルース変形を生成することができる。
一実施例では、ネットワークＢは、一般的に、画像のペアを畳み込むようにトレーニングされている。そのとき、ドメイン固有のデータを集めた小規模なデータベースを使用して、ネットワークＢを微調整することができる。例えば、ローカルな統計的形状および外観モデルを使用して、現実的でドメイン固有のグラウンドトゥルース変形を生成することができる。
［００８９］
ＣＮＮにおけるエンコーディングとデコーディングには、異なる技術を用いることができる。例えば、入力された患者モデルに対する時間と空間の畳み込み（コンボリューション）の技術は、以下の図７Ａ及び図７Ｂで説明され、これらは、ゼロパディング（Zero-padding）（７Ａ）とサーキュラーパディング（Circular padding）（７Ｂ）の技術を含んでいる。説明のため、２次元の空間次元のみを示しているが、３次元の操作も同様の操作に従って行うことができる。一実施例では、図７Ａに示すようなゼロパディング（Zero-padding）をすべての空間次元で使用することができる。別の実施例では、例えば、患者の動きがほぼ周期的であると仮定して、時間次元でサーキュラーパディング（Circular padding）を使用することができる。
ＣＮＮにおけるエンコーディングとデコーディングには、異なる技術を用いることができる。例えば、入力された患者モデルに対する時間と空間の畳み込み（コンボリューション）の技術は、以下の図７Ａ及び図７Ｂで説明され、これらは、ゼロパディング（Zero-padding）（７Ａ）とサーキュラーパディング（Circular padding）（７Ｂ）の技術を含んでいる。説明のため、２次元の空間次元のみを示しているが、３次元の操作も同様の操作に従って行うことができる。一実施例では、図７Ａに示すようなゼロパディング（Zero-padding）をすべての空間次元で使用することができる。別の実施例では、例えば、患者の動きがほぼ周期的であると仮定して、時間次元でサーキュラーパディング（Circular padding）を使用することができる。
［００９０］
図７Ａ及び図７Ｂは、例示的な時空間の畳み込み図を示している。
図７Ａ及び図７Ｂは、例示的な時空間の畳み込み図を示している。
［００９１］
図７Ａは、２Ｄの計測のＣＮＮに対するゼロパディングのアプローチを示している。このＣＮＮ処理ストリームは、プーリング（ｐｏｏｌｉｎｇ）を伴う畳み込み層をインターリーブする複数の隠れ層を用いて２Ｄの測定に適用される。畳み込み層は、画像の複数の抽象的な空間の特徴を抽出し、プーリングは特徴マップを空間的に縮小する。隠れ層の数や特徴空間の大きさ、あるいは各層での畳み込み回数などは、学習時に最適化されるハイパーパラメータとなる。
図７Ａは、２Ｄの計測のＣＮＮに対するゼロパディングのアプローチを示している。このＣＮＮ処理ストリームは、プーリング（ｐｏｏｌｉｎｇ）を伴う畳み込み層をインターリーブする複数の隠れ層を用いて２Ｄの測定に適用される。畳み込み層は、画像の複数の抽象的な空間の特徴を抽出し、プーリングは特徴マップを空間的に縮小する。隠れ層の数や特徴空間の大きさ、あるいは各層での畳み込み回数などは、学習時に最適化されるハイパーパラメータとなる。
［００９２］
図７Ｂは、３Ｄおよび時間患者モデルＣＮＮ（maximum displacement constraint）に対するサーキュラーパディング（Circular padding）のアプローチを示している。ある実施例では、同一の３ＤのＣＮＮ処理ストリームが４Ｄの患者モデルの各ボリュームに適用される。これらのストリームは独立しておらず、隣接する処理ストリームと相互に接続されている可能性があり、臓器の空間的変形に関する豊富な時間空間的特徴を経時的に学習することができる。４Ｄの患者モデルに記述された動きが周期的であると仮定したような場合には、サーキュラー畳み込みスキーム（circular convolution scheme）が使用される。
図７Ｂは、３Ｄおよび時間患者モデルＣＮＮ（maximum displacement constraint）に対するサーキュラーパディング（Circular padding）のアプローチを示している。ある実施例では、同一の３ＤのＣＮＮ処理ストリームが４Ｄの患者モデルの各ボリュームに適用される。これらのストリームは独立しておらず、隣接する処理ストリームと相互に接続されている可能性があり、臓器の空間的変形に関する豊富な時間空間的特徴を経時的に学習することができる。４Ｄの患者モデルに記述された動きが周期的であると仮定したような場合には、サーキュラー畳み込みスキーム（circular convolution scheme）が使用される。
［００９３］
図８は、深層ニューラルネットワークの例示的なトレーニングフロー図８００を示す。トレーニングフロー図８００は、（例えば、図５、図６Ａ、図６Ｂ、図７Ａ、図７Ｂの）ネットワークＡに対するトレーニングの実施例を含む。このトレーニングを使用して、患者モデル補間器を生成し、患者の状態を出力する。ネットワークＡは、合成測定値サンプルと合成出力患者状態サンプルとが作成された４Ｄの患者モデルの大規模なデータベースを使用してトレーニングすることができる。一実施例では、１人の患者に対して２つの４Ｄデータセットを取得することができる。これらの実施例のいくつかでは、１人の患者のための２つまたはそれ以上の４Ｄデータセットが使用されてもよく、他の実施例では、２人またはそれ以上の患者のための１つまたはそれ以上の４Ｄデータセットが使用されてもよい。図８に示すように、第１の４Ｄデータセット８０２からのボリュームシリーズが入力患者モデルとして使用される。第２の４Ｄデータセット８０４からのボリュームを出力の患者の状態として使用することができる（例えば、第２の４Ｄデータセット８０５からの各ボリュームを出力の患者の状態として順次使用することができる）。出力された患者の状態から、現実的な２Ｄの測定値を合成することができる。ＭＲＩの実施例では、データの２Ｄスライスを抽出することにより、２Ｄの測定値を合成することができる（例えば、２ＤのＭＲＩ撮影のスライス厚に最もマッチするように、複数のスライスを平均化することができる）。ＣＴの実施例では、例えば、シドン－ヤコブのレイ－トレーシングアルゴリズム（Siddon-Jacobs ray-tracing algorithm）を用いて、合成の２ＤのＸ線測定値を生成することができる。
図８は、深層ニューラルネットワークの例示的なトレーニングフロー図８００を示す。トレーニングフロー図８００は、（例えば、図５、図６Ａ、図６Ｂ、図７Ａ、図７Ｂの）ネットワークＡに対するトレーニングの実施例を含む。このトレーニングを使用して、患者モデル補間器を生成し、患者の状態を出力する。ネットワークＡは、合成測定値サンプルと合成出力患者状態サンプルとが作成された４Ｄの患者モデルの大規模なデータベースを使用してトレーニングすることができる。一実施例では、１人の患者に対して２つの４Ｄデータセットを取得することができる。これらの実施例のいくつかでは、１人の患者のための２つまたはそれ以上の４Ｄデータセットが使用されてもよく、他の実施例では、２人またはそれ以上の患者のための１つまたはそれ以上の４Ｄデータセットが使用されてもよい。図８に示すように、第１の４Ｄデータセット８０２からのボリュームシリーズが入力患者モデルとして使用される。第２の４Ｄデータセット８０４からのボリュームを出力の患者の状態として使用することができる（例えば、第２の４Ｄデータセット８０５からの各ボリュームを出力の患者の状態として順次使用することができる）。出力された患者の状態から、現実的な２Ｄの測定値を合成することができる。ＭＲＩの実施例では、データの２Ｄスライスを抽出することにより、２Ｄの測定値を合成することができる（例えば、２ＤのＭＲＩ撮影のスライス厚に最もマッチするように、複数のスライスを平均化することができる）。ＣＴの実施例では、例えば、シドン－ヤコブのレイ－トレーシングアルゴリズム（Siddon-Jacobs ray-tracing algorithm）を用いて、合成の２ＤのＸ線測定値を生成することができる。
［００９４］
一実施例では、同じ患者に対して取得した２つの４Ｄデータセットからトレーニングサンプルを作成する。トレーニングサンプルには、患者モデルとして使用される第１の４Ｄデータセットと、結果としての患者の状態として使用される第２の４Ｄデータセットと、第２の４Ｄデータセットの抽出されたスライスからの入力画像とが含まれる。一実施例では、入力画像は、ボリュームから合成的に作成された２Ｄの測定スライスを入力として使用することができる。一実施例では、２つの４Ｄデータセットを順列に並べて、より多くのトレーニングサンプルを生成することができる。別の実施例では、サンプルは、各患者からのデータセットのペアなど、多くの患者から生成することができる。
一実施例では、同じ患者に対して取得した２つの４Ｄデータセットからトレーニングサンプルを作成する。トレーニングサンプルには、患者モデルとして使用される第１の４Ｄデータセットと、結果としての患者の状態として使用される第２の４Ｄデータセットと、第２の４Ｄデータセットの抽出されたスライスからの入力画像とが含まれる。一実施例では、入力画像は、ボリュームから合成的に作成された２Ｄの測定スライスを入力として使用することができる。一実施例では、２つの４Ｄデータセットを順列に並べて、より多くのトレーニングサンプルを生成することができる。別の実施例では、サンプルは、各患者からのデータセットのペアなど、多くの患者から生成することができる。
［００９５］
図９は、放射線治療の処置中に相対的な動きを推定するための例示的な操作のフローチャートを示す。
図９は、放射線治療の処置中に相対的な動きを推定するための例示的な操作のフローチャートを示す。
［００９６］
フローチャート９００は、入力されたリアルタイムの部分的な患者の測定値と、基準ボリュームを含む患者モデルとを用いて、第１の深層ニューラルネットワークをトレーニ訓練して、患者の状態を出力する操作９０２を含む。一実施例では、基準ボリュームは、３Ｄまたは４ＤのＭＲＩから２Ｄのスライスのデータを抽出して合成したＭＲ画像を含む。別の実施例では、基準ボリュームは、レイ－トレーシングアルゴリズム（ray-tracing algorithm）を使用するなどして、３Ｄまたは４ＤのＣＴから２ＤのＸ線を生成することによって合成されたＣＴ画像を含む。一実施例では、基準ボリュームは４Ｄの患者モデルの１つのフェーズである。一実施例では、患者の周期的な動きの中で、呼気の終わりの時間に基準ボリュームを抽出する。
フローチャート９００は、入力されたリアルタイムの部分的な患者の測定値と、基準ボリュームを含む患者モデルとを用いて、第１の深層ニューラルネットワークをトレーニ訓練して、患者の状態を出力する操作９０２を含む。一実施例では、基準ボリュームは、３Ｄまたは４ＤのＭＲＩから２Ｄのスライスのデータを抽出して合成したＭＲ画像を含む。別の実施例では、基準ボリュームは、レイ－トレーシングアルゴリズム（ray-tracing algorithm）を使用するなどして、３Ｄまたは４ＤのＣＴから２ＤのＸ線を生成することによって合成されたＣＴ画像を含む。一実施例では、基準ボリュームは４Ｄの患者モデルの１つのフェーズである。一実施例では、患者の周期的な動きの中で、呼気の終わりの時間に基準ボリュームを抽出する。
［００９７］
操作９０２は、複数の患者データの大規模なデータベースを使用することを含み、出力された患者の状態は、患者固有の入力のリアルタイムの部分的な患者測定値に起因する患者固有のものである。一実施例では、操作９０２は、２つの４Ｄデータセットを使用することを含む。例えば、最初の４Ｄデータセットからスライスを抽出し、入力画像として使用することができる。この実施例では、第２の４Ｄデータセットを患者モデルとして使用することができる。第１の４Ｄデータセットは、出力される患者の状態として使用することができる。一実施例では、第１の深層ニューラルネットワークの出力は、時間離散的な４Ｄ患者モデルからの生データを補間するグレースケールボリューム（grayscale volume）である。
操作９０２は、複数の患者データの大規模なデータベースを使用することを含み、出力された患者の状態は、患者固有の入力のリアルタイムの部分的な患者測定値に起因する患者固有のものである。一実施例では、操作９０２は、２つの４Ｄデータセットを使用することを含む。例えば、最初の４Ｄデータセットからスライスを抽出し、入力画像として使用することができる。この実施例では、第２の４Ｄデータセットを患者モデルとして使用することができる。第１の４Ｄデータセットは、出力される患者の状態として使用することができる。一実施例では、第１の深層ニューラルネットワークの出力は、時間離散的な４Ｄ患者モデルからの生データを補間するグレースケールボリューム（grayscale volume）である。
［００９８］
フローチャート９００は、患者の状態と基準ボリュームを用いて、第２の深層ニューラルネットワークをトレーニングして、患者の状態と基準ボリュームの間の相対的な動きの情報を出力する動作９０４を含む。
フローチャート９００は、患者の状態と基準ボリュームを用いて、第２の深層ニューラルネットワークをトレーニングして、患者の状態と基準ボリュームの間の相対的な動きの情報を出力する動作９０４を含む。
［００９９］
フローチャート９００は、画像取得装置から２Ｄの画像のリアルタイムストリームを受信する操作９０６を含む。
フローチャート９００は、画像取得装置から２Ｄの画像のリアルタイムストリームを受信する操作９０６を含む。
［０１００］
フローチャート９００は、第１の深層学習ネットワークと第２の深層学習ネットワークとを用いて、２Ｄの画像のリアルタイムストリームの画像に対応する相対的な動きを推定する動作９０８を含む。相対的な動きは、第１の深層ニューラルネットワークから出力された患者の状態と基準ボリュームとの間の３Ｄの変位ベクトルフィールド（ＤＶＦ）を含み得る。一実施例では、ＤＶＦは、基準ボリューム（例えば、治療計画が立てられた基準ボリューム）と患者の状態との間で検出された変化に治療計画を適応させるために使用される。
フローチャート９００は、第１の深層学習ネットワークと第２の深層学習ネットワークとを用いて、２Ｄの画像のリアルタイムストリームの画像に対応する相対的な動きを推定する動作９０８を含む。相対的な動きは、第１の深層ニューラルネットワークから出力された患者の状態と基準ボリュームとの間の３Ｄの変位ベクトルフィールド（ＤＶＦ）を含み得る。一実施例では、ＤＶＦは、基準ボリューム（例えば、治療計画が立てられた基準ボリューム）と患者の状態との間で検出された変化に治療計画を適応させるために使用される。
［０１０１］
フローチャート９００には、相対的な動きを出力する操作９１０が含まれる。
フローチャート９００には、相対的な動きを出力する操作９１０が含まれる。
［０１０２］
第１の深層ニューラルネットワークは、入力画像用の第１のＣＮＮと、４Ｄの入力用の第２のＣＮＮと、第１のＣＮＮと第２のＣＮＮから出力された特徴を照合する相関層（correlation layer）とを含む。第２のＣＮＮは、相対的な動きが周期的である場合、時間次元でのサーキュラーコンボリューション（circular convolution）を使用することができる。一実施例では、第１のＣＮＮはゼロ－パディングコンボリューション（zero-padding convolution）を使用する。患者状態ジェネレータは、相関層の出力を高レベルの表現にエンコードし、ピクセル単位の高密度な患者の状態の記述を生成するために使用されるエンコーダ・デコーダＣＮＮモデルを含む。一実施例では、画像のリアルタイムストリームの画像の各パッチを、患者モデルの３Ｄのボリュームのパッチと比較することができる。これらの比較は、例えば、画像内で撮影された器官に依存する最大変位制約（例えば、ハイパーパラメータ）の対象となる。
第１の深層ニューラルネットワークは、入力画像用の第１のＣＮＮと、４Ｄの入力用の第２のＣＮＮと、第１のＣＮＮと第２のＣＮＮから出力された特徴を照合する相関層（correlation layer）とを含む。第２のＣＮＮは、相対的な動きが周期的である場合、時間次元でのサーキュラーコンボリューション（circular convolution）を使用することができる。一実施例では、第１のＣＮＮはゼロ－パディングコンボリューション（zero-padding convolution）を使用する。患者状態ジェネレータは、相関層の出力を高レベルの表現にエンコードし、ピクセル単位の高密度な患者の状態の記述を生成するために使用されるエンコーダ・デコーダＣＮＮモデルを含む。一実施例では、画像のリアルタイムストリームの画像の各パッチを、患者モデルの３Ｄのボリュームのパッチと比較することができる。これらの比較は、例えば、画像内で撮影された器官に依存する最大変位制約（例えば、ハイパーパラメータ）の対象となる。
［０１０３］
この相対的な動きは、患者の状態を利用して、患者内の放射線治療ターゲットの位置を特定するために使用することができます。
この相対的な動きは、患者の状態を利用して、患者内の放射線治療ターゲットの位置を特定するために使用することができます。
［０１０４］
フローチャート９００は、相対的な動きを用いて、患者の放射線治療ターゲットをリアルタイムで追跡する動作を含む。例えば、ある患者の状態から次の患者の状態へとターゲットを追跡しながら、リアルタイムの画像ストリームから連続した画像を使用して、対応する相対的な動きを出力することができる。
フローチャート９００は、相対的な動きを用いて、患者の放射線治療ターゲットをリアルタイムで追跡する動作を含む。例えば、ある患者の状態から次の患者の状態へとターゲットを追跡しながら、リアルタイムの画像ストリームから連続した画像を使用して、対応する相対的な動きを出力することができる。
［０１０５］
フローチャート９００は、治療装置（例えば、独立型の治療装置、画像取得装置（例えば、ＭＲ－ｌｉｎａｃ）に結合された装置など）を用いて、相対的な動きに応じて放射線治療を対象に向ける動作を含む。例えば、ターゲットの位置を特定したり、追跡したりして、その位置や追跡に応じて放射線治療を行うことができる。一実施例では、位置情報やトラッキング情報は、ディスプレイデバイスに表示されるユーザインターフェースなどで表示される。
フローチャート９００は、治療装置（例えば、独立型の治療装置、画像取得装置（例えば、ＭＲ－ｌｉｎａｃ）に結合された装置など）を用いて、相対的な動きに応じて放射線治療を対象に向ける動作を含む。例えば、ターゲットの位置を特定したり、追跡したりして、その位置や追跡に応じて放射線治療を行うことができる。一実施例では、位置情報やトラッキング情報は、ディスプレイデバイスに表示されるユーザインターフェースなどで表示される。
（追記事項）
［０１０６］
上記の詳細な説明には、詳細な説明の一部を構成する添付の図面への参照が含まれる。図面は、説明のために示したものであり、限定するものではなく、本開示を実施することができる特定の実施形態を示している。これらの実施形態は、本明細書では「実施例」とも呼ばれる。このような実施例は、図示または説明されたものに加えて、要素（element）を含むことができる。しかし、は、図示または説明された要素のみが提供される実施例も考慮している。さらに、本発明者等は、特定の実施例（または、その１つまたはそれ以上の態様）に関して、または本明細書に図示または説明されている他の実施例（または、その１つまたはそれ以上の態様）に関して、図示または説明されているそれらの要素（またはその１つまたはそれ以上の側面）の任意の組み合わせまたは順列を使用する実施例も考慮している。
［０１０６］
上記の詳細な説明には、詳細な説明の一部を構成する添付の図面への参照が含まれる。図面は、説明のために示したものであり、限定するものではなく、本開示を実施することができる特定の実施形態を示している。これらの実施形態は、本明細書では「実施例」とも呼ばれる。このような実施例は、図示または説明されたものに加えて、要素（element）を含むことができる。しかし、は、図示または説明された要素のみが提供される実施例も考慮している。さらに、本発明者等は、特定の実施例（または、その１つまたはそれ以上の態様）に関して、または本明細書に図示または説明されている他の実施例（または、その１つまたはそれ以上の態様）に関して、図示または説明されているそれらの要素（またはその１つまたはそれ以上の側面）の任意の組み合わせまたは順列を使用する実施例も考慮している。
［０１０７］
本開示で言及されているすべての出版物、特許、特許文書は、参照により個別に組み込まれるように、その全体が本開示に組み込まれる。本開示と参照により組み込まれた文書との間で用法が一致しない場合、組み込まれた参照文書の用法は本開示の用法を補足するものとみなされる。
本開示で言及されているすべての出版物、特許、特許文書は、参照により個別に組み込まれるように、その全体が本開示に組み込まれる。本開示と参照により組み込まれた文書との間で用法が一致しない場合、組み込まれた参照文書の用法は本開示の用法を補足するものとみなされる。
［０１０８］
本明細書において、”ａ”、”ａｎ”、”ｔｈｅ”および”ｓｈｅｅｄ”という用語は、本発明の側面の要素を導入する際、またはその実施形態において、特許文献において一般的であるように、”少なくとも１つ”または”１つ以上”の他の例や用法とは無関係に、１つまたは複数の要素を含むように使用される。本明細書では、「または」という用語は、「ＡまたはＢ」が「ＡであるがＢではない」、「ＢであるがＡではない」、「ＡおよびＢ」を含むように、非排他的な「または」を指すために使用されるが、別段の記載がない限り、「ＡまたはＢ」は「ＡであるがＢではない」、「ＢであるがＡではない」、「ＡおよびＢ」を含む。
本明細書において、”ａ”、”ａｎ”、”ｔｈｅ”および”ｓｈｅｅｄ”という用語は、本発明の側面の要素を導入する際、またはその実施形態において、特許文献において一般的であるように、”少なくとも１つ”または”１つ以上”の他の例や用法とは無関係に、１つまたは複数の要素を含むように使用される。本明細書では、「または」という用語は、「ＡまたはＢ」が「ＡであるがＢではない」、「ＢであるがＡではない」、「ＡおよびＢ」を含むように、非排他的な「または」を指すために使用されるが、別段の記載がない限り、「ＡまたはＢ」は「ＡであるがＢではない」、「ＢであるがＡではない」、「ＡおよびＢ」を含む。
［０１０９］
添付の特許請求の範囲では、”ｉｎｃｌｕｄｉｎｇ”および”ｉｎ ｗｈｉｃｈ”という用語は、”ｃｏｍｐｌｉｓｉｎｇ”および”ｗｈｅｒｅｉｎ”というそれぞれの用語の平易な英語の等価物として使用されている。また、以下の請求項では、用語「ｃｏｍｐｌｉｓｉｎｇ」、「ｉｎｃｌｕｄｉｎｇ」、および「ｈａｖｉｎｇ」は、記載された要素以外に追加の要素が存在する可能性があることを意味するオープンエンドであることが意図されており、そのような用語（例えば、請求項のこのような用語（例えば、ｃｏｍｐｌｉｓｉｎｇ、ｉｎｃｌｕｄｉｎｇ、ｈａｖｉｎｇ）の後も、その請求項の範囲内に含まれるものとみなされる。さらに、以下の請求項において、「第１」、「第２」、「第３」等の用語は、単にラベルとして使用されており、その対象物に数値的な要求を課すことを意図したものではない。
添付の特許請求の範囲では、”ｉｎｃｌｕｄｉｎｇ”および”ｉｎ ｗｈｉｃｈ”という用語は、”ｃｏｍｐｌｉｓｉｎｇ”および”ｗｈｅｒｅｉｎ”というそれぞれの用語の平易な英語の等価物として使用されている。また、以下の請求項では、用語「ｃｏｍｐｌｉｓｉｎｇ」、「ｉｎｃｌｕｄｉｎｇ」、および「ｈａｖｉｎｇ」は、記載された要素以外に追加の要素が存在する可能性があることを意味するオープンエンドであることが意図されており、そのような用語（例えば、請求項のこのような用語（例えば、ｃｏｍｐｌｉｓｉｎｇ、ｉｎｃｌｕｄｉｎｇ、ｈａｖｉｎｇ）の後も、その請求項の範囲内に含まれるものとみなされる。さらに、以下の請求項において、「第１」、「第２」、「第３」等の用語は、単にラベルとして使用されており、その対象物に数値的な要求を課すことを意図したものではない。
［０１１０］
また、本開示は、本明細書のオペレーションを実行するために適応、構成、または操作されるコンピューティングシステムに関する。このシステムは、必要な目的のために特別に構築されたものであってもよいし、コンピュータに格納されたコンピュータプログラム（例えば、命令、コードなど）によって選択的に起動または再構成される汎用コンピュータで構成されていてもよい。本明細書に図示され、記載された本発明の実施形態におけるオペレーションの実行または実行の順序は、特に指定されない限り、必須ではない。すなわち、オペレーションは、特に指定されない限り、任意の順序で実行されてもよく、本発明の実施形態は、本明細書に開示されているオペレーションよりも追加的または少ない操作を含んでもよい。例えば、特定のオペレーションを別のオペレーションの前、同時、または別のオペレーションの後に実行または実行することは、本発明の側面の範囲内であることが企図される。
また、本開示は、本明細書のオペレーションを実行するために適応、構成、または操作されるコンピューティングシステムに関する。このシステムは、必要な目的のために特別に構築されたものであってもよいし、コンピュータに格納されたコンピュータプログラム（例えば、命令、コードなど）によって選択的に起動または再構成される汎用コンピュータで構成されていてもよい。本明細書に図示され、記載された本発明の実施形態におけるオペレーションの実行または実行の順序は、特に指定されない限り、必須ではない。すなわち、オペレーションは、特に指定されない限り、任意の順序で実行されてもよく、本発明の実施形態は、本明細書に開示されているオペレーションよりも追加的または少ない操作を含んでもよい。例えば、特定のオペレーションを別のオペレーションの前、同時、または別のオペレーションの後に実行または実行することは、本発明の側面の範囲内であることが企図される。
［０１１１］
上記を考慮すると、本発明のいくつかの目的が達成され、他の有利な結果が得られることが分かるであろう。本発明の側面を詳細に説明してきたが、添付の特許請求の範囲に定義されているように、本発明の側面の範囲から逸脱することなく、修正および変形が可能であることは明らかであろう。本発明の側面の範囲から逸脱することなく、上記の構成、製品、および方法において様々な変更が可能であるため、上記の説明に含まれ、添付の図面に示されているすべての事項は、例示的なものとして解釈されることが意図されており、限定的な意味で解釈されるものではない。
上記を考慮すると、本発明のいくつかの目的が達成され、他の有利な結果が得られることが分かるであろう。本発明の側面を詳細に説明してきたが、添付の特許請求の範囲に定義されているように、本発明の側面の範囲から逸脱することなく、修正および変形が可能であることは明らかであろう。本発明の側面の範囲から逸脱することなく、上記の構成、製品、および方法において様々な変更が可能であるため、上記の説明に含まれ、添付の図面に示されているすべての事項は、例示的なものとして解釈されることが意図されており、限定的な意味で解釈されるものではない。
［０１１２］
上記の説明は、例示を目的としたものであり、制限的なものではない。例えば、上述した実施例（または、その１つまたはそれ以上の態様）は、互いに組み合わせて使用することができる。さらに、本開示の範囲を逸脱することなく、特定の状況や材料を本開示の教示に適応させるために、多くの修正を行うことができる。本明細書に記載されている寸法、材料の種類、および例示的なパラメータ、機能、および実装は、本開示のパラメータを定義することを意図しているが、決して限定するものではなく、例示的な実施形態である。上記の説明を読めば、多くの他の実施形態が当業者には明らかになるであろう。したがって、本開示の範囲は、添付の特許請求の範囲を参照して決定されるべきであり、また、そのような特許請求の範囲が有する均等物の全範囲も参照する必要がある。
上記の説明は、例示を目的としたものであり、制限的なものではない。例えば、上述した実施例（または、その１つまたはそれ以上の態様）は、互いに組み合わせて使用することができる。さらに、本開示の範囲を逸脱することなく、特定の状況や材料を本開示の教示に適応させるために、多くの修正を行うことができる。本明細書に記載されている寸法、材料の種類、および例示的なパラメータ、機能、および実装は、本開示のパラメータを定義することを意図しているが、決して限定するものではなく、例示的な実施形態である。上記の説明を読めば、多くの他の実施形態が当業者には明らかになるであろう。したがって、本開示の範囲は、添付の特許請求の範囲を参照して決定されるべきであり、また、そのような特許請求の範囲が有する均等物の全範囲も参照する必要がある。
［０１１３］
また、上記の詳細な説明では、開示を合理化するために、様々な特徴をグループ化してもよい。これは、未請求の開示された特徴がいかなる請求項にも不可欠であることを意図していると解釈されるべきではない。むしろ、発明的主題は、特定の開示された実施形態のすべての特徴よりも少ない部分にあるかもしれない。したがって、以下の請求項は、それぞれの請求項が別個の実施形態として独立して立っている状態で、ここに詳細な説明に組み込まれる。本発明の範囲は、そのような請求項が権利を有する等価物の完全な範囲とともに、添付の特許請求の範囲を参照して決定されるべきである。
また、上記の詳細な説明では、開示を合理化するために、様々な特徴をグループ化してもよい。これは、未請求の開示された特徴がいかなる請求項にも不可欠であることを意図していると解釈されるべきではない。むしろ、発明的主題は、特定の開示された実施形態のすべての特徴よりも少ない部分にあるかもしれない。したがって、以下の請求項は、それぞれの請求項が別個の実施形態として独立して立っている状態で、ここに詳細な説明に組み込まれる。本発明の範囲は、そのような請求項が権利を有する等価物の完全な範囲とともに、添付の特許請求の範囲を参照して決定されるべきである。
［０１１４］
これらの非限定的な実施例は、それぞれ独立していてもよいし、他の実施例の１つまたはそれ以上と様々な順列や組み合わせで組み合わせてもよい。
これらの非限定的な実施例は、それぞれ独立していてもよいし、他の実施例の１つまたはそれ以上と様々な順列や組み合わせで組み合わせてもよい。
［０１１５］
実施例１は、第１の深層ニューラルネットワークを用いて、入力されたリアルタイムの部分的な患者の測定値と、基準ボリュームを含む患者モデルとを関連付ける患者状態ジェネレータを学習して、患者状態を出力するステップと、第１の深層ニューラルネットワークから出力された患者状態および基準ボリュームを第２の深層ニューラルネットワークの入力として用いて、第２の深層学習ネットワークを学習して、患者状態と基準ボリュームとの間の相対運動情報を出力するステップと、画像取得デバイスから画像のリアルタイムストリームを受信するステップと、プロセッサを用いて、第１の深層学習ネットワークおよび第２の深層学習ネットワークを用いて、画像のリアルタイムストリームの画像に対応する相対運動を推定するステップとを含む方法である。
実施例１は、第１の深層ニューラルネットワークを用いて、入力されたリアルタイムの部分的な患者の測定値と、基準ボリュームを含む患者モデルとを関連付ける患者状態ジェネレータを学習して、患者状態を出力するステップと、第１の深層ニューラルネットワークから出力された患者状態および基準ボリュームを第２の深層ニューラルネットワークの入力として用いて、第２の深層学習ネットワークを学習して、患者状態と基準ボリュームとの間の相対運動情報を出力するステップと、画像取得デバイスから画像のリアルタイムストリームを受信するステップと、プロセッサを用いて、第１の深層学習ネットワークおよび第２の深層学習ネットワークを用いて、画像のリアルタイムストリームの画像に対応する相対運動を推定するステップとを含む方法である。
［０１１６］
実施例２では、実施例１の主題が、第１の深層ニューラルネットワークが、複数の患者データの大規模データベースを使用して学習され、出力患者状態が、患者固有の入力リアルタイム部分的患者測定値に起因して、患者固有であることを含む。
実施例２では、実施例１の主題が、第１の深層ニューラルネットワークが、複数の患者データの大規模データベースを使用して学習され、出力患者状態が、患者固有の入力リアルタイム部分的患者測定値に起因して、患者固有であることを含む。
［０１１７］
実施例３では、実施例１～２の主題が、基準ボリュームが、ＭＲＩから２Ｄスライスのデータを抽出して合成されたＭＲ画像であることを含む。
実施例３では、実施例１～２の主題が、基準ボリュームが、ＭＲＩから２Ｄスライスのデータを抽出して合成されたＭＲ画像であることを含む。
［０１１８］
実施例４では、実施例１～３の主題が、基準ボリュームが、レイトレーシングアルゴリズムを用いて２次元Ｘ線を生成することによって合成されたＣＴ画像であることを含む。
実施例４では、実施例１～３の主題が、基準ボリュームが、レイトレーシングアルゴリズムを用いて２次元Ｘ線を生成することによって合成されたＣＴ画像であることを含む。
［０１１９］
実施例５では、実施例１～４の主題が、第１の深層ニューラルネットワークをトレーニングすることが、入力画像として使用するために第１の４Ｄデータセットからスライスを抽出することと、患者モデルとして第２の４Ｄデータセットを使用することと、出力患者状態として第１の４Ｄデータセットを使用することとを含む、２つの４Ｄデータセットを使用することを含む。
実施例５では、実施例１～４の主題が、第１の深層ニューラルネットワークをトレーニングすることが、入力画像として使用するために第１の４Ｄデータセットからスライスを抽出することと、患者モデルとして第２の４Ｄデータセットを使用することと、出力患者状態として第１の４Ｄデータセットを使用することとを含む、２つの４Ｄデータセットを使用することを含む。
［０１２０］
実施例６では、実施例１～５の主題が、相対的な動きが、第１の深層ニューラルネットワークから出力された患者の状態と基準ボリュームとの間の３Ｄ変位ベクトルフィールド（ＤＶＦ）である、ことを含む。
実施例６では、実施例１～５の主題が、相対的な動きが、第１の深層ニューラルネットワークから出力された患者の状態と基準ボリュームとの間の３Ｄ変位ベクトルフィールド（ＤＶＦ）である、ことを含む。
［０１２１］
実施例７では、実施例６の主題が、ＤＶＦが、治療計画が作られた基準ボリュームと患者の状態との間で検出された変化に治療計画を適応させるために使用されることを含む。
実施例７では、実施例６の主題が、ＤＶＦが、治療計画が作られた基準ボリュームと患者の状態との間で検出された変化に治療計画を適応させるために使用されることを含む。
［０１２２］
実施例８では、実施例１～７の主題が、基準ボリュームが４Ｄ患者モデルの１つの相であることを含む。
実施例８では、実施例１～７の主題が、基準ボリュームが４Ｄ患者モデルの１つの相であることを含む。
［０１２３］
実施例９では、実施例１～８の主題が、第１の深層ニューラルネットワークが、入力画像のための第１のＣＮＮと、４Ｄ入力のための第２のＣＮＮと、第１のＣＮＮおよび第２のＣＮＮから出力された特徴を一致させるための相関層とを含むことを含む。
実施例９では、実施例１～８の主題が、第１の深層ニューラルネットワークが、入力画像のための第１のＣＮＮと、４Ｄ入力のための第２のＣＮＮと、第１のＣＮＮおよび第２のＣＮＮから出力された特徴を一致させるための相関層とを含むことを含む。
［０１２４］
実施例１０は、実施例９の主題が、相対的な動きが周期的であるときに、第２のＣＮＮが時間次元でのサーキュラー畳み込み（circular convolution）を使用することを含む。
実施例１０は、実施例９の主題が、相対的な動きが周期的であるときに、第２のＣＮＮが時間次元でのサーキュラー畳み込み（circular convolution）を使用することを含む。
［０１２５］
実施例１１では、実施例９～１０の主題が、患者状態ジェネレータが、相関層の出力を高レベルの表現にエンコードするために使用されるエンコーダ・デコーダＣＮＮモデルを含み、緻密な、ピクセルごとの患者状態記述を生成することを含む。
実施例１１では、実施例９～１０の主題が、患者状態ジェネレータが、相関層の出力を高レベルの表現にエンコードするために使用されるエンコーダ・デコーダＣＮＮモデルを含み、緻密な、ピクセルごとの患者状態記述を生成することを含む。
［０１２６］
実施例１２では、実施例９～１１の主題が、画像のリアルタイムストリームの画像の各パッチが、画像内に捕捉された臓器に依存する最大変位制約を条件として、患者モデルの３Ｄボリューム内のパッチと比較される、ことを含む。
実施例１２では、実施例９～１１の主題が、画像のリアルタイムストリームの画像の各パッチが、画像内に捕捉された臓器に依存する最大変位制約を条件として、患者モデルの３Ｄボリューム内のパッチと比較される、ことを含む。
［０１２７］
実施例１３では、実施例１～１２の主題が、第１の深層ニューラルネットワーク出力が、時間離散型の４Ｄ患者モデルからの生データを補間するグレースケールボリュームであることを含む。
実施例１３では、実施例１～１２の主題が、第１の深層ニューラルネットワーク出力が、時間離散型の４Ｄ患者モデルからの生データを補間するグレースケールボリュームであることを含む。
［０１２８］
実施例１４では、実施例１～１３の主題が、基準ボリュームが、患者の周期的な動きにおける呼気の終わりの時間に抽出されることを含む。
実施例１４では、実施例１～１３の主題が、基準ボリュームが、患者の周期的な動きにおける呼気の終わりの時間に抽出されることを含む。
［０１２９］
実施例１５は、プロセッサを使用して、入力されたリアルタイムの部分的な患者の測定値および基準ボリュームを含む患者モデルを使用して、第１の深層ニューラルネットワークを学習して、患者の状態を出力するステップと、患者の状態および基準ボリュームを使用して、第２の深層ニューラルネットワークを学習して、患者の状態と基準ボリュームとの間の相対運動情報を出力するステップと、画像取得デバイスから画像のリアルタイムストリームを受信するステップと、プロセッサを使用して、第１の深層学習ネットワークおよび第２の深層学習ネットワークを使用して、画像のリアルタイムストリームの画像に対応する相対運動を推定するステップと、表示デバイスに表示するために相対運動を出力するステップと、を含む方法である。
実施例１５は、プロセッサを使用して、入力されたリアルタイムの部分的な患者の測定値および基準ボリュームを含む患者モデルを使用して、第１の深層ニューラルネットワークを学習して、患者の状態を出力するステップと、患者の状態および基準ボリュームを使用して、第２の深層ニューラルネットワークを学習して、患者の状態と基準ボリュームとの間の相対運動情報を出力するステップと、画像取得デバイスから画像のリアルタイムストリームを受信するステップと、プロセッサを使用して、第１の深層学習ネットワークおよび第２の深層学習ネットワークを使用して、画像のリアルタイムストリームの画像に対応する相対運動を推定するステップと、表示デバイスに表示するために相対運動を出力するステップと、を含む方法である。
［０１３０］
実施例１６では、実施例１５の主題が、相対的な動きを使用して、放射線治療ターゲットを追跡することを含む。
実施例１６では、実施例１５の主題が、相対的な動きを使用して、放射線治療ターゲットを追跡することを含む。
［０１３１］
実施例１７では、実施例１５～１６の主題が、相対的な動きを用いて、放射線治療ターゲットの位置を表示装置に表示することを含む。
実施例１７では、実施例１５～１６の主題が、相対的な動きを用いて、放射線治療ターゲットの位置を表示装置に表示することを含む。
［０１３２］
実施例１８は、命令を含む非一時的な機械可読媒体であり、プロセッサによって実行されると、プロセッサに次の方法を行わせるものであって、その方法は、入力されたリアルタイムの部分的な患者の測定値および基準ボリュームを含む患者モデルを用いて、第１の深層ニューラルネットワークを学習して、患者の状態を出力するステップと、患者の状態および基準ボリュームを用いて、第２の深層ニューラルネットワークを学習して、患者の状態と基準ボリュームとの間の相対的な動き情報を出力するステップと、画像取得装置から画像のリアルタイムストリームを受信するステップと、第１の深層学習ネットワークおよび第２の深層学習ネットワークを用いて、画像のリアルタイムストリームの画像に対応する相対的な動きを推定するステップと、相対的な動きを出力するステップとを含む。
実施例１８は、命令を含む非一時的な機械可読媒体であり、プロセッサによって実行されると、プロセッサに次の方法を行わせるものであって、その方法は、入力されたリアルタイムの部分的な患者の測定値および基準ボリュームを含む患者モデルを用いて、第１の深層ニューラルネットワークを学習して、患者の状態を出力するステップと、患者の状態および基準ボリュームを用いて、第２の深層ニューラルネットワークを学習して、患者の状態と基準ボリュームとの間の相対的な動き情報を出力するステップと、画像取得装置から画像のリアルタイムストリームを受信するステップと、第１の深層学習ネットワークおよび第２の深層学習ネットワークを用いて、画像のリアルタイムストリームの画像に対応する相対的な動きを推定するステップと、相対的な動きを出力するステップとを含む。
［０１３３］
実施例１９では、実施例１８の主題が、命令がプロセッサに、相対的な動きを使用して放射線治療ターゲットを追跡することをさらに行わせることを含む。
実施例１９では、実施例１８の主題が、命令がプロセッサに、相対的な動きを使用して放射線治療ターゲットを追跡することをさらに行わせることを含む。
［０１３４］
実施例２０では、実施例１８～１９の主題が、命令がプロセッサに、相対運動を用いて放射線治療ターゲットの位置を表示装置に表示させることをさらに行わせることを含む。
実施例２０では、実施例１８～１９の主題が、命令がプロセッサに、相対運動を用いて放射線治療ターゲットの位置を表示装置に表示させることをさらに行わせることを含む。
［０１３５］
実施例２１は、処理回路によって実行されると、処理回路に実施例１～２０のいずれかを実施するための動作を行わせる命令を含む、少なくとも１つの機械読取可能な媒体である。
実施例２１は、処理回路によって実行されると、処理回路に実施例１～２０のいずれかを実施するための動作を行わせる命令を含む、少なくとも１つの機械読取可能な媒体である。
［０１３６］
実施例２２は、実施例１～２０のいずれかを実施する手段を備えた装置である。
実施例２２は、実施例１～２０のいずれかを実施する手段を備えた装置である。
［０１３７］
実施例２３は、実施例１～２０のいずれかを実施するシステムである。
実施例２３は、実施例１～２０のいずれかを実施するシステムである。
［０１３８］
実施例２４は、実施例１～２０のいずれかを実施する方法である。
実施例２４は、実施例１～２０のいずれかを実施する方法である。
［０１３９］
本明細書に記載されている方法例は、少なくとも部分的には機械またはコンピュータで実施することができる。いくつかの実施例では、上記の実施例で説明した方法を実行するように電子デバイスを構成するように動作可能な命令でコード化されたコンピュータ可読媒体または機械可読媒体を含むことができる。このような方法の実装には、マイクロコード、アセンブリ言語コード、高レベル言語コードのようなコードが含まれ得る。そのようなコードは、様々な方法を実行するためのコンピュータ可読な命令を含み得る。このコードは、コンピュータプログラム製品の一部を構成することができる。更に、一実施例では、コードは、実行中または他の時などに、１つまたはそれ以上の揮発性、非一過性、または不揮発性の有形コンピュータ可読媒体にタンジブルに格納され得る。これらの有形コンピュータ可読媒体の例としては、ハードディスク、リムーバブル磁気ディスク、リムーバブル光ディスク（例えば、コンパクトディスク、デジタルビデオディスク）、磁気カセット、メモリカード、メモリスティック、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）などを含むが、これらに限定されるものではない。
本明細書に記載されている方法例は、少なくとも部分的には機械またはコンピュータで実施することができる。いくつかの実施例では、上記の実施例で説明した方法を実行するように電子デバイスを構成するように動作可能な命令でコード化されたコンピュータ可読媒体または機械可読媒体を含むことができる。このような方法の実装には、マイクロコード、アセンブリ言語コード、高レベル言語コードのようなコードが含まれ得る。そのようなコードは、様々な方法を実行するためのコンピュータ可読な命令を含み得る。このコードは、コンピュータプログラム製品の一部を構成することができる。更に、一実施例では、コードは、実行中または他の時などに、１つまたはそれ以上の揮発性、非一過性、または不揮発性の有形コンピュータ可読媒体にタンジブルに格納され得る。これらの有形コンピュータ可読媒体の例としては、ハードディスク、リムーバブル磁気ディスク、リムーバブル光ディスク（例えば、コンパクトディスク、デジタルビデオディスク）、磁気カセット、メモリカード、メモリスティック、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）などを含むが、これらに限定されるものではない。
Claims (20)
- 第１の深層ニューラルネットワークを用いて、入力されたリアルタイムの部分的な患者の測定値と基準ボリュームを含む患者モデルとを関連つけるように患者状態ジェネレータをトレーニングして、患者の状態を出力するステップと、
前記第１の深層ニューラルネットワークから出力された前記患者の状態と前記基準ボリュームとを第２の深層ニューラルネットワークの入力として使用し、前記第２の深層学習ネットワークをトレーニングして、前記患者の状態と前記基準ボリュームとの間の相対的な動きの情報を出力するステップと、
画像取得装置から画像のリアルタイムストリームを受け取るステップと、
プロセッサを使用して、前記第１の深層学習ネットワークと前記第２の深層学習ネットワークを用いて、前記画像のリアルタイムストリームの画像に対応する相対的な動きを推定するステップと
を有する
ことを特徴とする方法。 - 請求項１記載の方法において、
前記第１の深層ニューラルネットワークは、複数の患者のデータの大規模なデータベースを用いてトレーニングされ、前記出力された患者の状態は、患者に固有の入力されたリアルタイムの部分的な患者の測定値により患者に固有のものである
ことを特徴とする方法。 - 請求項１記載の方法において、
前記基準ボリュームは、ＭＲＩから２Ｄのスライスのデータを抽出することにより合成されたＭＲ画像である
ことを特徴とする方法。 - 請求項１記載の方法において、
前記基準ボリュームは、レイトレーシングアルゴリズムを用いて２ＤのＸ線を生成することにより合成されたＣＴ画像である
ことを特徴とする方法。 - 請求項１記載の方法において、
前記第１の深層ニューラルネットワークをトレーニングすることは、２つの４Ｄのデータセットを使用することを含み、入力画像として使用するために第１の４Ｄのデータセットからスライスを抽出することと、前記患者モデルとして第２の４Ｄのデータセットを使用することと、出力された患者の状態として前記第１の４Ｄのデータセットを使用することとを含む
ことを特徴とする方法。 - 請求項１記載の方法において、
前記相対的な動きは、前記第１の深層ニューラルネットワークから出力された患者の状態と前記基準ボリュームとの間の３Ｄの変位ベクトルフィールド（ＤＶＦ）である
ことを特徴とする方法。 - 請求項１記載の方法において、
前記変位ベクトルフィールド（ＤＶＦ）は、前記治療計画が立てられた前記基準ボリュームと前記患者の状態との間で検出された変化に治療計画を適応させるために使用される
ことを特徴とする方法。 - 請求項１記載の方法において、
前記基準ボリュームは、４Ｄの患者モデルの１つのフェーズである
ことを特徴とする方法。 - 請求項１記載の方法において、
前記第１の深層ニューラルネットワークは、前記入力画像に対する第１のＣＮＮと、前記４Ｄの入力に対する第２のＣＮＮと、前記第１のＣＮＮと前記第２のＣＮＮから出力された特徴をマッチする相関層とを含む
ことを特徴とする方法。 - 請求項９記載の方法において、
前記第２のＣＮＮは、前記相対的な動きが周期的である場合に、時間次元での円形畳み込みを使用する
ことを特徴とする方法。 - 請求項９記載の方法において、
前記患者状態ジェネレータは、前記相関層の出力を高レベルの表現にエンコードし、画素ごとの高密度な患者の状態の記述を生成するために使用されるエンコーダ・デコーダＣＮＮモデルを含む
ことを特徴とする方法。 - 請求項９記載の方法において、
前記画像のリアルタイムストリームの前記画像の各パッチは、画像内に撮影された臓器に依存する最大変位制約を条件として、前記患者モデルの３Ｄのボリューム内のパッチと比較される
ことを特徴とする方法。 - 請求項１乃至１２のいずれか１項に記載の方法において、
前記第１の深層ニューラルネットワークの出力は、時間離散の４Ｄの患者モデルからの生データを補間するグレースケールボリュームである
ことを特徴とする方法。 - 請求項１乃至１２のいずれか１項に記載の方法において、
前記基準ボリュームは、患者の周期的な動きにおける吐く息の終わりの時間に抽出される
ことを特徴とする方法。 - プロセッサを使用して、入力されたリアルタイムの部分的な患者の測定値と基準ボリュームを含む患者モデルとを用いて、第１の深層ニューラルネットワークをトレーニングし、患者の状態を出力するステップと、
前記患者の状態と前記基準ボリュームを用いて、第２の深層ニューラルネットワークをトレーニングし、前記患者の状態と前記基準ボリュームとの間の相対的な動きの情報を出力するステップと、
画像取得装置から画像のリアルタイムストリームを受け取るステップと、
前記プロセッサを使用して、前記第１の深層学習ネットワークと前記第２の深層学習ネットワークとを用いて、前記画像のリアルタイムストリームの画像に対応する相対的な動きを推定するステップと、
表示装置に表示するために前記相対的な動きを出力するステップと
を有する
ことを特徴とする方法。 - 請求項１５記載の方法において、
前記方法は、前記相対的な動きを用いて放射線治療ターゲットを追跡するステップを更に有する
ことを特徴とする方法。 - 請求項１５又は１６記載の方法において、
前記方法は、前記相対的な動きを用いて、放射線治療ターゲットの位置を前記表示装置に表示するステップを更に有する
ことを特徴とする方法。 - プロセッサによって実行されたときに、前記プロセッサに、次の方法を実行させる命令を含む非一時的機械可読媒体であって、
前記方法は、
入力されたリアルタイムの部分的な患者の測定値と基準ボリュームを含む患者モデルとを用いて、第１の深層ニューラルネットワークをトレーニングし、患者の状態を出力するステップと、
前記患者の状態と前記基準ボリュームを用いて、第２の深層ニューラルネットワークをトレーニングし、前記患者の状態と前記基準ボリュームとの間の相対的な動きの情報を出力するステップと、
画像取得装置から画像のリアルタイムストリームを受け取るステップと、
前記第１の深層学習ネットワークと前記第２の深層学習ネットワークとを用いて、前記画像のリアルタイムストリームの画像に対応する相対的な動きを推定するステップと、
前記相対的な動きを出力するステップと
を有する
ことを特徴とする非一時的機械可読媒体。 - 請求項１８記載の非一時的機械可読媒体において、
前記命令は、前記プロセッサに、更に、放射線治療ターゲットを追跡するために前記相対的な動きを使用させる
ことを特徴とする非一時的機械可読媒体。 - 請求項１８又は１９記載の非一時的機械可読媒体において、
前記命令は、前記プロセッサに、更に、前記相対的な動きを用いて、放射線治療ターゲットの位置を表示装置に表示させる
ことを特徴とする非一時的機械可読媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/194,190 | 2018-11-16 | ||
| US16/194,190 US10803987B2 (en) | 2018-11-16 | 2018-11-16 | Real-time motion monitoring using deep neural network |
| PCT/US2019/061492 WO2020102544A1 (en) | 2018-11-16 | 2019-11-14 | Real-time motion monitoring using deep neural network |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022507640A true JP2022507640A (ja) | 2022-01-18 |
Family
ID=68848417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021526771A Pending JP2022507640A (ja) | 2018-11-16 | 2019-11-14 | 深層ニューラルネットワークによるリアルタイム動きモニタリング |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US10803987B2 (ja) |
| EP (1) | EP3881284A1 (ja) |
| JP (1) | JP2022507640A (ja) |
| CN (1) | CN113039578A (ja) |
| AU (1) | AU2019378019B2 (ja) |
| WO (1) | WO2020102544A1 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11083913B2 (en) | 2018-10-25 | 2021-08-10 | Elekta, Inc. | Machine learning approach to real-time patient motion monitoring |
| US10835761B2 (en) | 2018-10-25 | 2020-11-17 | Elekta, Inc. | Real-time patient motion monitoring using a magnetic resonance linear accelerator (MR-LINAC) |
| US10803987B2 (en) | 2018-11-16 | 2020-10-13 | Elekta, Inc. | Real-time motion monitoring using deep neural network |
| EP3671660A1 (en) * | 2018-12-20 | 2020-06-24 | Dassault Systèmes | Designing a 3d modeled object via user-interaction |
| US10999606B2 (en) * | 2019-01-08 | 2021-05-04 | Intel Corporation | Method and system of neural network loop filtering for video coding |
| US11205112B2 (en) * | 2019-04-01 | 2021-12-21 | Honeywell International Inc. | Deep neural network-based inertial measurement unit (IMU) sensor compensation method |
| US10996306B2 (en) * | 2019-04-25 | 2021-05-04 | General Electric Company | MRI system and method using neural network for detection of patient motion |
| US11571177B1 (en) * | 2019-10-07 | 2023-02-07 | Robert Edwin Douglas | Method and apparatus for improved medical imaging |
| EP3839547A1 (en) * | 2019-12-16 | 2021-06-23 | Koninklijke Philips N.V. | Sense magnetic resonance imaging reconstruction using neural networks |
| US11276249B2 (en) * | 2020-05-14 | 2022-03-15 | International Business Machines Corporation | Method and system for video action classification by mixing 2D and 3D features |
| CN112154483A (zh) * | 2020-07-15 | 2020-12-29 | 北京肿瘤医院(北京大学肿瘤医院) | 一种利用光学体表运动信号合成实时图像的方法及系统 |
| CN112089438B (zh) * | 2020-08-31 | 2021-07-30 | 北京理工大学 | 基于二维超声图像的四维重建方法及装置 |
| US11690581B2 (en) * | 2020-09-07 | 2023-07-04 | C-Rad Positioning Ab | Tumor position determination |
| US20230372739A1 (en) * | 2020-09-16 | 2023-11-23 | Elekta Limited | Techniques for detecting movement during radiotherapy treatment |
| TWI776716B (zh) * | 2020-10-23 | 2022-09-01 | 國立臺灣大學 | 醫療影像分析系統及方法 |
| GB2601560A (en) * | 2020-12-04 | 2022-06-08 | Elekta Instr Ab | Methods for adaptive radiotherapy |
| KR102475392B1 (ko) * | 2021-03-25 | 2022-12-07 | 주식회사 에어스메디컬 | 의료 영상 복원 및 전송 시스템 및 그 방법 |
| WO2023067587A1 (en) * | 2021-10-20 | 2023-04-27 | Xact Robotics Ltd. | Respiration analysis and synchronization of the operation of automated medical devices therewith |
| KR20230091645A (ko) * | 2021-12-16 | 2023-06-23 | 주식회사 온택트헬스 | 장기 기능에 대한 정보 제공 방법 및 이를 이용한 장기 기능에 대한 정보 제공용 디바이스 |
| SE545891C2 (en) * | 2022-02-11 | 2024-03-05 | Kongsberg Beam Tech As | Radiotherapy system using graph network to account for patient movement |
| WO2023215936A1 (en) * | 2022-05-09 | 2023-11-16 | Nicholas Hindley | Method and system for image registration and volumetric imaging |
| WO2023230310A1 (en) * | 2022-05-26 | 2023-11-30 | Mary Hitchcock Memorial Hospital, For Itself And On Behalf Of Dartmouth-Hitchcock Clinic | System and method for real-time image registration during radiotherapy using deep learning |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013158389A (ja) * | 2012-02-02 | 2013-08-19 | Toshiba Corp | Ｘ線ｃｔ装置 |
| JP2016158890A (ja) * | 2015-03-02 | 2016-09-05 | 国立大学法人 東京大学 | 生体内運動追跡装置 |
| JP2017537717A (ja) * | 2014-12-11 | 2017-12-21 | エレクタ、インク.Elekta, Inc. | Ｍｒｉ誘導リナックのモーション管理 |
| JP2018029652A (ja) * | 2016-08-22 | 2018-03-01 | 三菱電機株式会社 | 加熱調理器 |
| WO2018042211A1 (en) * | 2016-09-05 | 2018-03-08 | Kheiron Medical Technologies Ltd | Multi-modal medical image processing |
| WO2018048575A1 (en) * | 2016-09-07 | 2018-03-15 | Elekta, Inc. | System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions |
| US20180144510A1 (en) * | 2016-11-21 | 2018-05-24 | Elekta Limited | Systems and methods for real-time imaging |
| JP2019093137A (ja) * | 2017-11-22 | 2019-06-20 | ゼネラル・エレクトリック・カンパニイ | 放射線学的所見のためのポイントオブケア警報を送達するためのシステムおよび方法 |
| JP2019525786A (ja) * | 2016-07-08 | 2019-09-12 | アヴェント インコーポレイテッド | 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001026026A2 (en) * | 1999-10-04 | 2001-04-12 | University Of Florida | Local diagnostic and remote learning neural networks for medical diagnosis |
| WO2011133606A2 (en) | 2010-04-19 | 2011-10-27 | The Regents Of The University Of California | Real-time volumetric image reconstruction and 3d tumor localization based on a single x-ray projection image for lung cancer radiotherapy |
| US8565886B2 (en) * | 2010-11-10 | 2013-10-22 | Medtronic, Inc. | Arousal state modulation with electrical stimulation |
| WO2013029649A1 (en) | 2011-08-26 | 2013-03-07 | Elekta Ab (Publ) | Intra-fraction motion management system |
| US20140107390A1 (en) | 2012-10-12 | 2014-04-17 | Elekta Ab (Publ) | Implementation and experimental results of real-time 4d tumor tracking using multi-leaf collimator (mlc), and/or mlc-carriage (mlc-bank), and/or treatment table (couch) |
| WO2014144019A1 (en) | 2013-03-15 | 2014-09-18 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for real-time 2d/3d deformable registration using metric learning |
| US9764162B1 (en) | 2013-10-28 | 2017-09-19 | Elekta, Inc. | Automated, data-driven treatment management system for adaptive radiotherapy workflows |
| EP3316965B1 (en) * | 2015-06-30 | 2020-05-13 | Elekta Ltd. | System and method for target tracking using a quality indicator during radiation therapy |
| GB201513208D0 (en) * | 2015-07-27 | 2015-09-09 | Univ Central Lancashire | Methods and apparatuses for estimating bladder status |
| US11191490B2 (en) * | 2015-12-02 | 2021-12-07 | Siemens Healthcare Gmbh | Personalized assessment of patients with acute coronary syndrome |
| US11664125B2 (en) * | 2016-05-12 | 2023-05-30 | Siemens Healthcare Gmbh | System and method for deep learning based cardiac electrophysiology model personalization |
| US9589374B1 (en) * | 2016-08-01 | 2017-03-07 | 12 Sigma Technologies | Computer-aided diagnosis system for medical images using deep convolutional neural networks |
| US10748277B2 (en) * | 2016-09-09 | 2020-08-18 | Siemens Healthcare Gmbh | Tissue characterization based on machine learning in medical imaging |
| CN110168658B (zh) | 2016-10-05 | 2024-04-02 | 皇家飞利浦有限公司 | 患者监测系统和方法 |
| US20200058408A1 (en) * | 2016-10-17 | 2020-02-20 | Koninklijke Philips N.V. | Systems, methods, and apparatus for linking family electronic medical records and prediction of medical conditions and health management |
| CA3043038A1 (en) * | 2016-11-22 | 2018-05-31 | Hyperfine Research, Inc. | Systems and methods for automated detection in magnetic resonance images |
| US10127659B2 (en) * | 2016-11-23 | 2018-11-13 | General Electric Company | Deep learning medical systems and methods for image acquisition |
| WO2018119366A1 (en) * | 2016-12-23 | 2018-06-28 | Heartflow, Inc. | Machine learning of anatomical model parameters |
| US10918888B2 (en) * | 2017-02-28 | 2021-02-16 | Sun Nuclear Corporation | Radiation therapy treatment verification with electronic portal imaging device transit images |
| US10255681B2 (en) * | 2017-03-02 | 2019-04-09 | Adobe Inc. | Image matting using deep learning |
| US20190154785A1 (en) | 2017-11-17 | 2019-05-23 | University Of Virginia Patent Foundation | Cardiac and Respiratory Self-Gated Motion-Corrected Free-Breathing Spiral Cine Imaging |
| US10922816B2 (en) * | 2018-08-27 | 2021-02-16 | Siemens Healthcare Gmbh | Medical image segmentation from raw data using a deep attention neural network |
| US10835761B2 (en) | 2018-10-25 | 2020-11-17 | Elekta, Inc. | Real-time patient motion monitoring using a magnetic resonance linear accelerator (MR-LINAC) |
| US11083913B2 (en) | 2018-10-25 | 2021-08-10 | Elekta, Inc. | Machine learning approach to real-time patient motion monitoring |
| US10803987B2 (en) | 2018-11-16 | 2020-10-13 | Elekta, Inc. | Real-time motion monitoring using deep neural network |
-
2018
- 2018-11-16 US US16/194,190 patent/US10803987B2/en active Active
-
2019
- 2019-11-14 EP EP19818362.6A patent/EP3881284A1/en active Pending
- 2019-11-14 WO PCT/US2019/061492 patent/WO2020102544A1/en unknown
- 2019-11-14 CN CN201980074938.9A patent/CN113039578A/zh active Pending
- 2019-11-14 AU AU2019378019A patent/AU2019378019B2/en active Active
- 2019-11-14 JP JP2021526771A patent/JP2022507640A/ja active Pending
-
2020
- 2020-09-14 US US16/948,338 patent/US11342066B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013158389A (ja) * | 2012-02-02 | 2013-08-19 | Toshiba Corp | Ｘ線ｃｔ装置 |
| JP2017537717A (ja) * | 2014-12-11 | 2017-12-21 | エレクタ、インク.Elekta, Inc. | Ｍｒｉ誘導リナックのモーション管理 |
| JP2016158890A (ja) * | 2015-03-02 | 2016-09-05 | 国立大学法人 東京大学 | 生体内運動追跡装置 |
| JP2019525786A (ja) * | 2016-07-08 | 2019-09-12 | アヴェント インコーポレイテッド | 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法 |
| JP2018029652A (ja) * | 2016-08-22 | 2018-03-01 | 三菱電機株式会社 | 加熱調理器 |
| WO2018042211A1 (en) * | 2016-09-05 | 2018-03-08 | Kheiron Medical Technologies Ltd | Multi-modal medical image processing |
| WO2018048575A1 (en) * | 2016-09-07 | 2018-03-15 | Elekta, Inc. | System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions |
| US20180144510A1 (en) * | 2016-11-21 | 2018-05-24 | Elekta Limited | Systems and methods for real-time imaging |
| JP2019093137A (ja) * | 2017-11-22 | 2019-06-20 | ゼネラル・エレクトリック・カンパニイ | 放射線学的所見のためのポイントオブケア警報を送達するためのシステムおよび方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11342066B2 (en) | 2022-05-24 |
| US20210057083A1 (en) | 2021-02-25 |
| AU2019378019B2 (en) | 2023-03-09 |
| WO2020102544A1 (en) | 2020-05-22 |
| AU2019378019A1 (en) | 2021-07-01 |
| CN113039578A (zh) | 2021-06-25 |
| US20200160972A1 (en) | 2020-05-21 |
| US10803987B2 (en) | 2020-10-13 |
| EP3881284A1 (en) | 2021-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11342066B2 (en) | Real-time motion monitoring using deep neural network | |
| US11547874B2 (en) | Machine learning approach to real-time patient motion monitoring | |
| US11491348B2 (en) | Real-time patient motion monitoring using a magnetic resonance linear accelerator (MRLINAC) | |
| US10791958B2 (en) | Magnetic resonance projection imaging | |
| JP6761128B2 (ja) | 合成医療画像を生成するためのニューラルネットワーク | |
| US20230126640A1 (en) | Real-time motion monitoring using deep learning | |
| CN117377516A (zh) | 用于放疗治疗的实时解剖定位监测 | |
| US20220347493A1 (en) | Real-time anatomic position monitoring in radiotherapy using machine learning regression | |
| US20230377724A1 (en) | Temporal prediction in anatomic position monitoring using artificial intelligence modeling | |
| CN114728166A (zh) | 使用mr linac的心脏消融 | |
| WO2022232749A1 (en) | Real-time anatomic position monitoring for radiotherapy treatment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210706 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220624 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230214 |