JP2022536280A - 機械学習モデルを訓練するため、および患者の推定体内画像を提供するためのシステムおよび方法 - Google Patents
機械学習モデルを訓練するため、および患者の推定体内画像を提供するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2022536280A JP2022536280A JP2021571708A JP2021571708A JP2022536280A JP 2022536280 A JP2022536280 A JP 2022536280A JP 2021571708 A JP2021571708 A JP 2021571708A JP 2021571708 A JP2021571708 A JP 2021571708A JP 2022536280 A JP2022536280 A JP 2022536280A
- Authority
- JP
- Japan
- Prior art keywords
- image
- contour
- vivo
- estimated
- patient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001727 in vivo Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims description 41
- 238000010801 machine learning Methods 0.000 title description 5
- 230000006870 function Effects 0.000 claims abstract description 50
- 238000013136 deep learning model Methods 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 230000015654 memory Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 210000000056 organ Anatomy 0.000 description 10
- 230000005855 radiation Effects 0.000 description 10
- 230000004913 activation Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 238000001959 radiotherapy Methods 0.000 description 7
- 230000000306 recurrent effect Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10076—4D tomography; Time-sequential 3D tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Radiation-Therapy Devices (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
深層学習モデルは、各々が特定の時点における人間の体内の体内画像および人間の外輪郭の輪郭画像を備える複数の画像セットに基づいて、患者の体内の推定画像を提供するように訓練され得る。モデルは、画像セットに基づいて、人間の体内と人間の外輪郭との相関性を明示する最適化パラメータ化変換関数Gを確立するように訓練される。その後、変換関数Gは、患者の輪郭に基づいて患者の体内の推定画像を提供するために用いられ得る。【選択図】図4
Description
本発明は、医療用途で用いるための患者の推定画像を提供するためのコンピュータプログラム製品およびコンピュータシステムに関する。
放射線療法において、治療を受ける患者は通常、長椅子の上に横たわるが、立っている、または椅子に座っていることもある。患者の体内は、たとえば呼吸、咳、または不快感から生じる動きなどの要因によって動き得る。そのような動きは、放射線が標的から逸れ、別の臓器、場合によっては危険な臓器に当たる原因になり得る。これにより、標的への放射線量不足および/または他の組織または臓器への過剰放射線量が生じることがあり、これらはいずれも望ましくなく、場合によっては有害である。この問題は、多数の様々な方法で対処されてきた。
そのような動きを防止するための様々な試みが行われてきた。たとえば、患者が治療中に動く可能性が制限され得る。具体的には、患者は息を止めるように指示され、または特定の範囲内でしか動かないように物理的に強制され得る。これは不快感を招き、ある程度および/または限られた時間しか可能ではない。
この問題に対処する他の試みは、様々な重要臓器の位置における不確定性が考慮されているロバストな計画を伴うものである。これは、考えられる多数の様々なシナリオに適合する必要があるために最適ではない計画をもたらし得る。
標的追跡のための様々な方法も提案されてきた。欧州特許出願第18180987号において、呼吸サイクルの様々な段階における患者の撮像、および様々な段階における標的および他の臓器の様々な位置を考慮した段階放射線量の合計として全体放射線量を計画することを伴う方法が提案される。これは、一般に治療を通して撮影される患者のCT画像である多数の3D画像を必要とし、患者への多量の追加放射をもたらすので、望ましくない。1つの代替案は、MR撮像の使用である。これは放射を伴わないが、CT撮像よりも大幅に緩慢であり、同じ画像品質をもたらすものではない。標的追跡放射性マーカも提案されている。これは、標的の追跡のみが可能であり、他の臓器の位置の変化は検出されない。
本発明の目的は、放射線治療計画において、治療フラクションの間、患者の定期的な動きまたは不慮の動きを考慮に入れることである。
この本発明の目的は、各々が特定の時点における人間の体内の第1の体内画像および人間の外輪郭の輪郭画像と人間の体内の第2の体内画像とを備える複数の画像セットに基づいて、患者の体内の推定画像を提供するための深層学習モデルを訓練するコンピュータベースの方法によって実現され、方法は、
a.輪郭画像および第2の体内画像に基づいて推定画像を出力するように構成された深層学習モデルに画像セットを提示するステップと、
b.少なくとも1つの画像セットについて、画像セットの輪郭画像および第2の体内画像にモデルを適用し、出力を第1の体内画像と比較し、モデルを訓練するために比較の結果を用いることによって、画像セットに基づいて人間の体内と人間の外輪郭との相関性を明示する最適化パラメータ化変換関数Gを確立するためにモデルを訓練するステップと
を備える。
a.輪郭画像および第2の体内画像に基づいて推定画像を出力するように構成された深層学習モデルに画像セットを提示するステップと、
b.少なくとも1つの画像セットについて、画像セットの輪郭画像および第2の体内画像にモデルを適用し、出力を第1の体内画像と比較し、モデルを訓練するために比較の結果を用いることによって、画像セットに基づいて人間の体内と人間の外輪郭との相関性を明示する最適化パラメータ化変換関数Gを確立するためにモデルを訓練するステップと
を備える。
本発明は、第1の時点における患者の体内の推定画像を提供する方法にも関し、方法は、
・第1の時点より前の第2の時点における患者の体内の体内画像を、人間の輪郭と体内との相関性に基づく最適化パラメータ化変換関数を備える深層学習モデルに提供するステップと、
・第1の時点における患者の輪郭の輪郭画像を深層学習モデルに提供するステップと、
・体内画像、輪郭画像、および最適化パラメータ化変換関数Gに基づいて、深層学習モデルから患者の推定画像を出力するステップと
を備える。
・第1の時点より前の第2の時点における患者の体内の体内画像を、人間の輪郭と体内との相関性に基づく最適化パラメータ化変換関数を備える深層学習モデルに提供するステップと、
・第1の時点における患者の輪郭の輪郭画像を深層学習モデルに提供するステップと、
・体内画像、輪郭画像、および最適化パラメータ化変換関数Gに基づいて、深層学習モデルから患者の推定画像を出力するステップと
を備える。
本発明に係る方法は、多くの場合、患者の外輪郭と、たとえば臓器または組織などの1または複数の体内構造の位置を含む体内構造との間に相関性があるという事実に基づく。体内データを提供するために用いられる画像または複数の画像は一般に、たとえば1または複数のフラクション画像および/または計画画像など、治療計画および治療の過程で撮影された患者の1または複数の画像である。深層学習モデルを訓練する方法において、好適には、画像セットの全てについてステップが繰り返される。各輪郭画像は、たとえば患者のCTスキャンなど、対応する体内画像と同じ画像に基づいてよい。あるいは輪郭画像は、たとえば表面走査デバイスから取得されたデータに基づくなど、個別の画像データに基づいてよい。一般に、推定画像は、たとえば放射線治療計画など、患者の体内に関する情報を必要とする医療手順を計画するため、または既存の計画を修正するために用いられる。表面走査が繰返し行われる場合、後続の表面走査による輪郭データは、様々な時点に対応する一連の3D画像で構成される4D画像を生成するために用いられ得る。いくつかの実施形態において、各画像セットの第1の体内画像および輪郭画像は4D画像であり、モデルは、合成4D画像を出力するように訓練される。
輪郭画像とほぼ同時に撮影された第1の体内画像は、輪郭画像および第2の体内画像に基づく場合にモデルからの出力がなされるべき標的として役立ち得る。したがって、訓練は、モデルからの出力、すなわち第1の推定画像と、第1の体内画像との比較に基づく。第2の体内画像は、たとえば患者の計画画像またはフラクション画像など、前の時点に撮影された画像であってよく、または訓練モデルにおける前のステップからの推定画像であってよい。第2の体内画像は、たとえば輪郭画像と同じフラクションの前に撮影されたフラクション画像、または訓練モデルにおける直前のステップの結果生じる推定画像など、輪郭画像と近い時間に撮影されることが有利である。
推定画像を提供する方法において、輪郭画像は好適には、表面走査デバイスから取得されたデータに基づく。そのような表面走査デバイスは多くの場合、たとえば各治療フラクションに関して患者の正確な位置決めを確実にするといった他の目的のために、たとえば放射線送出システムにおいて病院内で利用可能である。したがって、表面走査データは多くの場合、追加の機器を必要とせず取得され得る。また表面走査データは、患者を追加の放射線量に晒すことなく取得され得る。
本発明は、患者の1または複数の推定体内画像の提供を可能にするものであり、これにより、たとえば特定回数の治療フラクションの後に治療計画を更新するために、患者の実際の画像を取得する必要性が低減される。本発明は、患者の新たな画像を取得することなく、各フラクションにおいて患者に送出される放射線量を推定することを可能にする。これにより、様々な時点で画像を取得するために患者を放射線に晒す必要性が低減される。またこれは、追加の撮像が患者に不快感をもたらす状況においても有用である。
大量のデータセットに基づいて、異なる種類のデータ間の相関性を決定し、これらの相関性を用いて入力データを処理することができる機械学習システムが利用可能である。本発明によると、人間の外輪郭と体内、特に患者の体内の臓器または他の標的の位置との相関性は、輪郭および体内の両方が既知である以前のデータセットに基づいて決定され得る。相関性は、輪郭画像を患者の体内の推定画像に変換するように構成されたパラメータ化変換関数Gの形式で表される。
訓練方法の好適な実施形態において、訓練ステップは、
・複数の画像セットの第1の画像セットに基づいて、輪郭画像を患者の体内の推定画像に変換するように構成された初期パラメータ化変換関数Gを取得することと、
・パラメータ化変換関数Gを第1の画像セットの輪郭画像および第2の体内画像に適用することによって、第1の推定体内画像を取得することと、
・第1の比較ステップにおいて、第1の推定体内画像と、第1の画像ペアの体内画像とを比較することと、
・第1のパラメータ化変換関数G1を生成するために、比較に基づいて、初期パラメータ化変換関数Gを調整することと
を備える。
・複数の画像セットの第1の画像セットに基づいて、輪郭画像を患者の体内の推定画像に変換するように構成された初期パラメータ化変換関数Gを取得することと、
・パラメータ化変換関数Gを第1の画像セットの輪郭画像および第2の体内画像に適用することによって、第1の推定体内画像を取得することと、
・第1の比較ステップにおいて、第1の推定体内画像と、第1の画像ペアの体内画像とを比較することと、
・第1のパラメータ化変換関数G1を生成するために、比較に基づいて、初期パラメータ化変換関数Gを調整することと
を備える。
この例において、訓練ステップは更に、
・第2の推定画像を取得するために、第2の画像セットの輪郭画像に第1のパラメータ化変換関数G1を適用することと、
・第2の推定画像と第2の画像ペアの体内画像とを比較し、第2のパラメータ化変換関数G2を生成するために初期パラメータ化変換関数Gを調整することと
を備えてよい。
一般に、一連のそのような訓練ステップが行われる。初期パラメータ化変換関数Gは、各訓練ステップについて調整されてよく、または複数の訓練ステップの後に調整され得る。
・第2の推定画像を取得するために、第2の画像セットの輪郭画像に第1のパラメータ化変換関数G1を適用することと、
・第2の推定画像と第2の画像ペアの体内画像とを比較し、第2のパラメータ化変換関数G2を生成するために初期パラメータ化変換関数Gを調整することと
を備えてよい。
一般に、一連のそのような訓練ステップが行われる。初期パラメータ化変換関数Gは、各訓練ステップについて調整されてよく、または複数の訓練ステップの後に調整され得る。
後者の場合、訓練ステップは更に、
・パラメータ化変換関数Gを第2の画像セットの輪郭画像に適用することによって、第2の推定体内画像を取得することと、
・第2の比較ステップにおいて、第2の推定体内画像と、第2の画像ペアの体内画像とを比較することと、
・第1のパラメータ化変換関数G1を生成するために、第1および第2の比較ステップに基づいて、初期パラメータ化変換関数Gを調整することと
を備えてよい。
・パラメータ化変換関数Gを第2の画像セットの輪郭画像に適用することによって、第2の推定体内画像を取得することと、
・第2の比較ステップにおいて、第2の推定体内画像と、第2の画像ペアの体内画像とを比較することと、
・第1のパラメータ化変換関数G1を生成するために、第1および第2の比較ステップに基づいて、初期パラメータ化変換関数Gを調整することと
を備えてよい。
各画像セットの第1および第2の体内画像はセグメンテーションマップであってよく、この場合、モデルはセグメンテーションマップを出力するように訓練される。よって、推定画像もまたセグメンテーションマップである。あるいは、各画像セットの体内画像は、たとえばCTまたはMR画像などの画像であってよく、モデルは、それぞれ合成CT画像または合成MR画像を推定画像として出力するように訓練される。すなわち、モデルは通常、体内画像と同じモダリティ、フォーマット、および詳細レベルの合成画像を出力するように訓練される。当然、他のモダリティまたはフォーマットの画像を取得するために追加の変換ステップが追加されてよい。
体内画像および輪郭画像に加えて、各画像セットは、患者の体内に関する追加の情報を提供するために少なくとも1スライスのMR画像も備えてよい。
本発明は、コンピュータ内のプロセッサによって実行されると、コンピュータに、上記請求項のいずれか1項に記載の方法を行わせるように構成されたコンピュータプログラム製品にも関する。コンピュータプログラム製品は、たとえば非一時的記憶手段などの記憶手段に格納され得る。
本発明は、プロセッサおよびプログラムメモリを備えるコンピュータシステムにも関し、上記プログラムメモリは、上記に記載のコンピュータプログラム製品を備える。
本発明は、一例として添付図面を参照し、以下で詳細に説明される。
図1は、放射線治療および/または治療計画のためのシステム10の概観である。理解されるように、そのようなシステムは任意の適当な方法で設計されてよく、図7に示す設計は単なる一例である。患者1は、治療用長椅子3上に位置する。システムは、長椅子3上に位置する患者に向かって放射能を放出するためにガントリ7に取り付けられた放射線源5を有する撮像/治療ユニットを備える。一般に、長椅子3およびガントリ7は、可能な限り柔軟かつ正確に患者に放射を提供するために、互いに対しいくつかの次元において可動である。これらの部品およびそれらの機能は、当業者に周知である。通常、ビームを水平および深さ方向に成形するために提供された複数のデバイスが存在するが、ここでは詳しく説明されない。システムは、放射線治療計画および/または放射線治療の制御のために用いられ得るコンピュータ21も備える。理解されるように、コンピュータ21は、撮像/治療ユニットに接続されていない独立ユニットであってよい。
コンピュータ21は、プロセッサ23、データメモリ24、およびプログラムメモリ25を備える。好適には、キーボード、マウス、ジョイスティック、音声認識手段、または他の任意の利用可能なユーザ入力手段の形式で1または複数のユーザ入力手段28、29も存在する。ユーザ入力手段は、外部メモリユニットからデータを受信するように構成されてもよい。
システムが計画のために用いられる場合、データメモリ24は、治療計画を取得するために用いられる医療データおよび/または他の情報を備える。一般に、データメモリ24は、治療計画に用いられる1または複数の患者画像を備える。訓練のために、データメモリは、後に詳述するように入力データの訓練セットを保持する。入力データの各セットは、ほぼ同時に撮影された患者の少なくとも一部の輪郭の画像および輪郭の内部の体内画像、および場合によっては訓練を支援し得る他のデータを備える。推定内部画像を生成するために、データメモリは、患者の初期体内画像および患者の初期体内画像とは異なる時に撮影された患者の輪郭画像を少なくとも備える。プログラムメモリ25は、プロセッサに図3または図4に従って方法を行わせるように構成された少なくとも1つのコンピュータプログラムを保持する。プログラムメモリ25は、コンピュータに患者の放射線治療を制御させるために図3または図4と関連して説明される方法ステップをコンピュータに行わせるように構成されたコンピュータプログラムも保持する。
推定画像は、訓練セットにおいて用いられた体内画像の細部に依存して様々な詳細レベルを備えてよい。これは、患者の体内の1または複数の臓器または構造の位置および形状を単純に示すセグメント化画像であってよく、またはCT画像に匹敵する詳細レベルを有してよい。
理解されるように、データメモリ24およびプログラムメモリ25は、概略的に示され説明されたにすぎない。各々が1または複数の異なる種類のデータを保持するいくつかのデータメモリユニットが存在してよく、または1つのデータメモリが適当に構成された方法で全てのデータを保持し、プログラムメモリも同様である。1または複数のメモリが他のコンピュータに格納されてもよい。たとえばコンピュータは、方法の1つのみを行うように構成され、最適化を行うための別のコンピュータが存在してよい。
図2は、呼吸サイクルにわたる患者の動きと、患者の体内のたとえば腫瘍などの構造42または危険な臓器の位置との可能な相関関係を示すために、患者の胴体40の一部を示す。構造42の第1の位置は、実線で示される。患者が息を吸い、吐くと、第1の矢印46で示すように、患者の前部の外輪郭44が外側および内側に動く。同時に、構造42は、第2の矢印48で示すように、輪郭とは異なる方向に、一般に下方向および外方向に動く。輪郭、および構造の変化する位置の例は、破線で示される。
本発明によると、機械学習は、4D画像および対応する表面輪郭を用いて深層学習モデルを訓練するために用いられる。好適な実施形態において、4D画像はCT画像であるが、MRIを含む任意の適当な技術を用いて取得され得る。入力データは好適には、時間T0に第1の点で撮影された第1の表面画像および第1のCT画像、および時間T1に第2の点で撮影された第2の表面画像および第2のCT画像などの画像のペアである。そのような訓練方法の例が図3に示される。
第1のステップS31において、複数の画像ペアが提供され、各ペアは、基本的に同時に撮影された、人物の1つの表面輪郭およびその人物の体内の3D体内画像で構成される。上述したように、体内画像は、セグメント化画像から完全なCT画像まで、結果として生じる推定画像の所望の詳細レベルに依存して詳細レベルを備えてよい。表面輪郭は、撮像装置の付近で利用可能な表面スキャナから提供されてよく、または訓練に用いられる輪郭データが3D画像から取得され得る。第2のステップS32において、画像ペアは、表面輪郭と、人物の体内の少なくとも1つの関心領域の位置との関係性を確立するための機械学習に用いられる。当技術分野で周知のように、これは、表面輪郭の画像を輪郭の内側の推定画像に変換するための最適化パラメータ化関数を生成することを伴う。これは一般に、通常、患者の以前の体内画像、場合によっては他の画像データおよびアクティブ化データのセットと共に、第1の表面画像を関数に提示することによって実現される。関数からの出力は、第1の表面画像と同時に撮影された第1のCT画像と比較される。比較の結果は、関数を改良するために用いられる。各訓練ステップ後に関数を改良するのではなく、関数は、特定数のステップの後、または手順の最後にのみ改良され得る。次に、第2の表面画像が提示され、場合によっては改良された関数は、上記で用いた以前の体内画像または別の以前の体内画像、およびアクティブ化データのセットと共に、第2の出力データを提供するために用いられる。第2の出力データは、第2のCT画像と比較され、この比較による結果は、関数およびアクティブ化データのセットを再び改良するために用いられる。これが、表面画像およびCT画像の複数のセットについて繰り返される。この手順の結果が、患者の輪郭データを輪郭内部の患者の体内の推定画像に変換するために用いられ得る関数O31である。
好適には、リカレント型畳み込みニューラルネットワーク(RCNN)が用いられる。RCNNは、先行ステップからの情報を考慮することにより、前の時点における表面または画像に関する情報を提供する。同時に取得されたペア内の画像を相関付ける関数が確立され、他の患者の推定または合成画像を生成するために後続手順において用いられ得る。
深層学習モデルが訓練されている場合、すなわち最適化パラメータ化関数が生成されている場合、患者の輪郭の変化に関する知識が、患者の体内の臓器の位置を決定するために用いられ得る。この手順への入力データは、患者の表面輪郭および一般にフラクション画像である体内画像に関連する情報である。具体的には、様々な時点における患者の推定または合成画像をもたらすために、様々な時点からの表面データが入力データとして用いられ得る。推定画像は、深層学習モデルにおいて定義されたように輪郭を体内CT画像と相関付ける、図3において確立された関数に基づいて生成される。したがって図4は、患者から得た輪郭データが、たとえば図3において生成されたモデルなどのモデルに提供される第1のステップS41と、輪郭に基づく患者の体内の推定または合成画像が、ステップS32において確立された関数を用いて生成される第2のステップS42とを有する。
任意の種類のリカレント型ニューラルネットワークアーキテクチャが用いられ得る。全てのリカレント型ニューラルネットワークに共通する点は、前の時点からの情報がモデルに組み込まれることである。図5において、リカレント型ニューラルネットワークの基本例が示される。当技術分野において周知であるように、モデルは、各々が長方形で表されたパラメータ化関数への一連の入力データx<t>を用いるように構成される。各関数の実行がステップとして知られる。長方形内の各円は、重みおよび演算を含む、最適化パラメータ化関数の層としても知られる部分を表す。モデルは、入力データに基づく出力データ
およびアクティブ化データベクトルa<t>のセットを生成するために用いられ得る。各例において、符号<t>は、データが関連する時点を意味する。よって、たとえばx<1>は、最初に、すなわちt=0の時点で撮影された患者画像およびt=1の時点で撮影された輪郭画像を備える。同様に、
は、入力データx<1>と、当技術分野において知られるようにゼロベクトルであってよいが入力アクティブ化データの適当なセットであってもよいアクティブ化データa<0>とに基づく、t=1における患者の体内の推定画像である。当技術分野において知られるように、基本リカレント型畳み込みニューラルネットワークに関連する式は以下の通りであり、*は畳み込みを意味する。
式中、gnは、異なるまたは同じであり得る関数を意味し、an
<t>は、時間t+1においてレベルnに用いられるアクティブ化データを意味し、Wanは、前の時点からのアクティブ化に作用する重みを意味し、Wxnは、前の層からのアクティブ化に作用する重みを意味し、Wynは、最後の層からのアクティブ化に作用する重みを意味する。
は、時間tにおける出力であり、banおよびbyはバイアス値である。Wおよびbの値は、最適化されたものである。
モデルを訓練する場合、重みWおよびバイアスbは一般に各ステップの後、すなわち図5の各長方形の後に更新されるが、代替として複数のステップの後、または最後のステップの後に更新される。推定画像と入力体内画像との比較は一般に、パラメータを最適化する時に用いられたコスト関数におけるペナルティ項として表される。これは、ステップS32に関して上述したような各比較において識別された差の合計に基づき、
である。式中、演算子-は、必ずしも減算ではなく比較の何らかの種類を示す。パラメータは、この差を最小化するために最適化される。
考えられる他のペナルティ項は、実際の画像と生成画像とを区別しようと試みる分類関数Dの使用に基づく。このネットワークは、Gと共に最適化され得る。Dは、実際の画像および生成画像の分類エラーを最小化するために最適化される。Gは、この分類エラーを最大化するために最適化される。
図5に示すモデル例は一例に過ぎないことに留意すべきである。当業者は、いくつかの種類のニューラルネットワークが存在し、本発明に従って任意の適当な1つが使用され得ることを認識する。好適にはリカレント型畳み込みニューラルネットワーク(RCNN)が用いられ、長短期記憶(LSTM)として知られる種類のRCNNは、本発明に係る方法に特に適していることが分かっている。
Claims (15)
- 各々が特定の時点における人間の体内の第1の体内画像および前記人間の外輪郭の輪郭画像と前記人間の前記体内の第2の体内画像とを備える複数の画像セットに基づいて、患者の体内の推定画像を提供するための深層学習モデルを訓練するコンピュータベースの方法であって、
a.前記画像セットを深層学習モデルに提示するステップと、
b.各画像セットについて、前記モデルを前記画像セットの前記輪郭画像および前記第2の体内画像に適用し、出力を前記画像セットの前記第1の体内画像と比較し、前記モデルを訓練するために前記比較の結果を用いることによって、前記人間の前記体内と前記人間の外輪郭との相関性を明示する最適化パラメータ化変換関数Gを確立するために前記モデルを訓練するステップと
を備える方法。 - 前記訓練するステップは、
前記複数の画像セットの第1の画像セットに基づいて、輪郭画像を前記患者の前記体内の推定画像に変換するように構成された初期パラメータ化変換関数Gを取得することと、
前記パラメータ化変換関数Gを前記第1の画像セットの前記輪郭画像および前記第2の体内画像に適用することによって、第1の推定体内画像を取得することと、
第1の比較ステップにおいて、前記第1の推定体内画像と、前記第1の画像セットの前記体内画像とを比較することと、
第2の画像セットに適用され得る第1のパラメータ化変換関数G1を生成するために、前記比較に基づいて、前記初期パラメータ化変換関数Gを調整することと
を備える、請求項1に記載のコンピュータベースの方法。 - 前記訓練するステップは更に、
第2の推定画像を取得するために、前記第2の画像セットの前記輪郭画像に前記第1のパラメータ化変換関数G1を適用することと、
前記第2の推定画像と前記第2の画像ペアの前記体内画像とを比較し、第2のパラメータ化変換関数G2を生成するために前記初期パラメータ化変換関数Gを調整することと
を備える、請求項2に記載のコンピュータベースの方法。 - 前記訓練するステップは更に、
前記パラメータ化変換関数Gを前記第2の画像セットの前記輪郭画像に適用することによって、第2の推定体内画像を取得することと、
第2の比較ステップにおいて、前記第2の推定体内画像と、前記第2の画像ペアの前記体内画像とを比較することと、
第1のパラメータ化変換関数G1を生成するために、前記第1および前記第2の比較ステップに基づいて、前記初期パラメータ化変換関数Gを調整することと
を備える、請求項2に記載のコンピュータベースの方法。 - 各画像セットの前記第1および第2の体内画像はセグメンテーションマップであり、前記モデルはセグメンテーションマップを出力するように訓練される、請求項1~4のいずれか1項に記載の方法。
- 各画像セットの前記第1および第2の体内画像はCT画像であり、前記モデルは合成CT画像を出力するように訓練される、請求項1~5のいずれか1項に記載の方法。
- 各画像セットは、前記患者の体内に関する追加情報を提供するために少なくとも1スライスのMR画像を更に備える、請求項1に記載の方法。
- 各画像セットの前記第1の体内画像および前記輪郭画像は4D画像であり、前記モデルは合成4D画像を出力するように訓練される、請求項1~7のいずれか1項に記載の方法。
- 第1の時点における患者の体内の推定画像を提供するコンピュータベースの方法であって、
a.前記第1の時点より前の第2の時点における前記患者の前記体内の体内画像を、人間の輪郭と体内との相関性に基づく最適化パラメータ化変換関数を備える深層学習モデルに提供することと、
b.前記第1の時点における前記患者の輪郭の輪郭画像を前記深層学習モデルに提供することと、
c.前記体内画像、前記輪郭画像、および最適化パラメータ化変換関数Gに基づいて、前記深層学習モデルから前記患者の推定画像を出力することと
を備える方法。 - 前記輪郭画像は、表面走査デバイスから取得されたデータに基づく、請求項9に記載の方法。
- 前記推定画像は、前記患者のセグメント化画像である、請求項9または10に記載の方法。
- 前記推定画像は、前記患者のCT画像である、請求項9または10のいずれか1項に記載の方法。
- 前記ステップbおよびcは、4D画像を構成する推定画像のセットを生成するために、いくつかの後続輪郭画像について繰り返される、請求項9~12のいずれか1項に記載の方法。
- コンピュータ内のプロセッサにおいて実行されると、前記コンピュータに、請求項1~13のいずれか1項に記載の方法を行わせるように構成されたコンピュータプログラム製品。
- プロセッサと、請求項14に記載のコンピュータプログラム製品を備えるプログラムメモリとを備えるコンピュータシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19180030.9A EP3751579A1 (en) | 2019-06-13 | 2019-06-13 | System and method for training a machine learning model and for providing an estimated interior image of a patient |
EP19180030.9 | 2019-06-13 | ||
PCT/EP2020/065117 WO2020249414A1 (en) | 2019-06-13 | 2020-06-01 | System and method for training a machine learning model and for providing an estimated interior image of a patient |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022536280A true JP2022536280A (ja) | 2022-08-15 |
Family
ID=66857804
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021571708A Pending JP2022536280A (ja) | 2019-06-13 | 2020-06-01 | 機械学習モデルを訓練するため、および患者の推定体内画像を提供するためのシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220230319A1 (ja) |
EP (1) | EP3751579A1 (ja) |
JP (1) | JP2022536280A (ja) |
CN (1) | CN113841204A (ja) |
WO (1) | WO2020249414A1 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3181049B1 (en) * | 2015-12-18 | 2018-02-14 | RaySearch Laboratories AB | Radiotherapy method, computer program and computer system |
US11478212B2 (en) * | 2017-02-16 | 2022-10-25 | Siemens Healthcare Gmbh | Method for controlling scanner by estimating patient internal anatomical structures from surface data using body-surface and organ-surface latent variables |
US11257259B2 (en) * | 2017-08-15 | 2022-02-22 | Siemens Healthcare Gmbh | Topogram prediction from surface data in medical imaging |
EP3572822B1 (en) * | 2018-05-23 | 2022-03-09 | RaySearch Laboratories AB | Medical image conversion |
-
2019
- 2019-06-13 EP EP19180030.9A patent/EP3751579A1/en active Pending
-
2020
- 2020-06-01 US US17/596,287 patent/US20220230319A1/en active Pending
- 2020-06-01 WO PCT/EP2020/065117 patent/WO2020249414A1/en active Application Filing
- 2020-06-01 CN CN202080037004.0A patent/CN113841204A/zh active Pending
- 2020-06-01 JP JP2021571708A patent/JP2022536280A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220230319A1 (en) | 2022-07-21 |
WO2020249414A1 (en) | 2020-12-17 |
CN113841204A (zh) | 2021-12-24 |
EP3751579A1 (en) | 2020-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2675678C1 (ru) | Управление движением в линейном ускорителе (linac), управляемом с помощью mri | |
JP5491174B2 (ja) | 画像誘導型放射線治療のための画像の変形可能なレジストレーション | |
EP3436148B1 (en) | Adaptive radiation therapy planning | |
CN108883297A (zh) | 使用运动预测的治疗控制 | |
US10682110B2 (en) | Methods for performing digital subtraction angiography, hybrid imaging devices, computer programs, and electronically readable storage media | |
EP3468668B1 (en) | Soft tissue tracking using physiologic volume rendering | |
JP6496813B2 (ja) | 放射線療法の線量計算のための方法、コンピュータプログラム、およびシステム | |
CN108471997A (zh) | 用于在最小化患者的x射线剂量的同时维持图像质量的装置和方法 | |
CN115666717A (zh) | 用于导出和利用虚拟体积结构来预测在实施治疗的放射时的潜在碰撞的方法和装置 | |
CN109414234A (zh) | 用于从先前生成的3d数据集生成2d投影的系统和方法 | |
US11241589B2 (en) | Target tracking and irradiation method and device using radiotherapy apparatus and radiotherapy apparatus | |
WO2018219432A1 (en) | Heatmap and atlas | |
CN113577581B (zh) | 放疗剂量确定系统 | |
JP2022536280A (ja) | 機械学習モデルを訓練するため、および患者の推定体内画像を提供するためのシステムおよび方法 | |
US11727567B2 (en) | Method for generating synthetic X-ray images, control unit, and computer program | |
JP2019180799A (ja) | 医用画像処理装置、医用画像処理方法、およびプログラム | |
KR102373370B1 (ko) | Mr 영상유도 방사선 치료를 위한 합성 ct 영상 생성 방법 및 이를 이용한 방사선 치료계획 수립방법 | |
Miyabe et al. | New algorithm to simulate organ movement and deformation for four‐dimensional dose calculation based on a three‐dimensional CT and fluoroscopy of the thorax | |
US20220230304A1 (en) | Method, computer program product and computer system for providing an approximate image | |
US11666299B2 (en) | Controlling a medical X-ray device | |
US20240170158A1 (en) | Method for managing a virtual patient model, patient model management facility, computer program and electronically readable data carrier | |
KR20240067034A (ko) | 기계적으로 획득된 조직 표면 데이터에 기초하여 표면 정합을 결정하기 위한 기술 | |
CN117323581A (zh) | 表面引导的监测中确定感兴趣区的方法、系统和可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230417 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240604 |