JP2021508572A - 深層学習を用いたアトラスベースセグメンテーション - Google Patents
深層学習を用いたアトラスベースセグメンテーション Download PDFInfo
- Publication number
- JP2021508572A JP2021508572A JP2020543487A JP2020543487A JP2021508572A JP 2021508572 A JP2021508572 A JP 2021508572A JP 2020543487 A JP2020543487 A JP 2020543487A JP 2020543487 A JP2020543487 A JP 2020543487A JP 2021508572 A JP2021508572 A JP 2021508572A
- Authority
- JP
- Japan
- Prior art keywords
- atlas
- image
- deep learning
- target image
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 251
- 238000013135 deep learning Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 claims abstract description 129
- 238000013136 deep learning model Methods 0.000 claims abstract description 105
- 238000010801 machine learning Methods 0.000 claims abstract description 81
- 238000012549 training Methods 0.000 claims abstract description 66
- 230000008569 process Effects 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims description 110
- 238000013527 convolutional neural network Methods 0.000 claims description 93
- 210000003484 anatomy Anatomy 0.000 claims description 37
- 238000002372 labelling Methods 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 26
- 230000004927 fusion Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000007637 random forest analysis Methods 0.000 claims description 9
- 238000012706 support-vector machine Methods 0.000 claims description 9
- 238000000746 purification Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000002224 dissection Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 abstract description 26
- 238000010586 diagram Methods 0.000 abstract description 3
- 238000001959 radiotherapy Methods 0.000 description 75
- 238000011282 treatment Methods 0.000 description 55
- 230000006870 function Effects 0.000 description 25
- 206010028980 Neoplasm Diseases 0.000 description 22
- 238000013459 approach Methods 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 20
- 230000005855 radiation Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 17
- 238000002591 computed tomography Methods 0.000 description 17
- 238000011176 pooling Methods 0.000 description 16
- 238000002595 magnetic resonance imaging Methods 0.000 description 15
- 210000000056 organ Anatomy 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 14
- 230000004913 activation Effects 0.000 description 12
- 230000009021 linear effect Effects 0.000 description 11
- 238000013439 planning Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 8
- 210000002307 prostate Anatomy 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000001225 therapeutic effect Effects 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000012384 transportation and delivery Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000000133 brain stem Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000664 rectum Anatomy 0.000 description 2
- 210000000278 spinal cord Anatomy 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 235000013929 Psidium pyriferum Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007408 cone-beam computed tomography Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 210000000695 crystalline len Anatomy 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 231100000673 dose–response relationship Toxicity 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002786 image-guided radiation therapy Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000004977 neurovascular bundle Anatomy 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 210000003681 parotid gland Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20128—Atlas-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本明細書は、深層学習を統合して画像セグメンテーションを強化する技術を開示する。深層学習を用いたアトラスベースのセグメンテーションの例示的な方法は、解剖学的特徴を識別するために対象画像に深層学習モデルを適用するステップと、対象画像にアトラス画像を登録するステップと、深層学習のセグメンテーションデータを用いて登録結果を改善するステップと、マッピングされたアトラスを生成するステップと、マッピングされたアトラスを用いて対象画像の特徴を識別するステップとを含む。深層学習を使用したアトラスベースのセグメンテーションプロセスにおいて、訓練された機械学習分類器を訓練して使用するための別の例示的な方法は、アトラス画像に深層学習モデルを適用するステップと、深層学習モデルを適用したデータを使用して機械学習モデル分類器を訓練するステップと、対象画像の領域の構造ラベルを推定するステップと、推定された構造ラベルを対象画像のアトラスベースのセグメンテーションから生成されたラベルと組み合わせることによって構造ラベルを定義するステップとを含む。
【選択図】図３
【選択図】図３
Description
（優先権の主張）
［０００１］
本出願は、２０１８年２月１４日に出願された米国出願第１５／８９６，８９５号の優先権の利益を主張し、その全体が参照により本明細書に組み込まれる。
［０００１］
本出願は、２０１８年２月１４日に出願された米国出願第１５／８９６，８９５号の優先権の利益を主張し、その全体が参照により本明細書に組み込まれる。
（技術分野）
［０００２］
本開示の実施形態は、一般に、医用画像（medical image）および人工知能処理技術（artificial intelligence processing techniques）に関する。特に、本開示は、画像セグメンテーション（image segmentation）および構造ラベリング（structure labeling）ワークフローにおける深層学習（ディープラーニング：deep learning）モデルの使用に関する。
［０００２］
本開示の実施形態は、一般に、医用画像（medical image）および人工知能処理技術（artificial intelligence processing techniques）に関する。特に、本開示は、画像セグメンテーション（image segmentation）および構造ラベリング（structure labeling）ワークフローにおける深層学習（ディープラーニング：deep learning）モデルの使用に関する。
［０００３］
放射線治療または放射線手術では、治療計画は、通常、患者の医用画像に基づいて実行され、医用画像中の標的容積（target volumes）および正常な重要臓器の境界線を必要とする。このように、医用画像における様々な患者の解剖学的構造のセグメンテーションや輪郭形成は、放射線治療計画のための必須かつ重要なステップであり、輪郭形成とセグメンテーションは、手作業で行う場合には、最も面倒で時間のかかるステップの１つである。
放射線治療または放射線手術では、治療計画は、通常、患者の医用画像に基づいて実行され、医用画像中の標的容積（target volumes）および正常な重要臓器の境界線を必要とする。このように、医用画像における様々な患者の解剖学的構造のセグメンテーションや輪郭形成は、放射線治療計画のための必須かつ重要なステップであり、輪郭形成とセグメンテーションは、手作業で行う場合には、最も面倒で時間のかかるステップの１つである。
［０００４］
正確で自動化されたコンピュータベースの解剖学的構造のセグメンテーションまたは輪郭形成は、最適な治療計画の設計および／または適応を大いに支援することができる。しかし、医用画像の正確な自動セグメンテーションは、患者ごとに標的容積や重要臓器の形状、サイズ、位置などの変形やばらつきがあるため、現在、困難な課題となっている。アトラスベースの自動セグメンテーション（atlas-based auto-segmentation）（例えば、スウェーデンのストックホルムのエレクタＡＢ社によって製造されたＡＢＡＢ（登録商標）で実装されている）は、このタスクに対処するために使用されてきた１つのアプローチであり、これは、アトラスベースのセグメンテーションは、関心のある構造がすでに識別されラベル付けされたアトラスデータセットに事前のセグメンテーションを適用するからである。
正確で自動化されたコンピュータベースの解剖学的構造のセグメンテーションまたは輪郭形成は、最適な治療計画の設計および／または適応を大いに支援することができる。しかし、医用画像の正確な自動セグメンテーションは、患者ごとに標的容積や重要臓器の形状、サイズ、位置などの変形やばらつきがあるため、現在、困難な課題となっている。アトラスベースの自動セグメンテーション（atlas-based auto-segmentation）（例えば、スウェーデンのストックホルムのエレクタＡＢ社によって製造されたＡＢＡＢ（登録商標）で実装されている）は、このタスクに対処するために使用されてきた１つのアプローチであり、これは、アトラスベースのセグメンテーションは、関心のある構造がすでに識別されラベル付けされたアトラスデータセットに事前のセグメンテーションを適用するからである。
［０００５］
アトラスベースの自動セグメンテーション（atlas-based auto-segmentation）は、登録ベース（レジストレーションベース）の自動セグメンテーション（registration-based auto-segmentation）とも呼ばれ、対象（被験者）の画像に対してアトラス登録（atlas-registration）を行うことで画像のセグメンテーションを行い、その後にラベル融合（label fusion）またはラベル精製（label refinement）を行います。アトラスベースの自動セグメンテーションによるセグメンテーション結果の精度は、通常、適用される特定のアトラス登録方法に依存するが、複数のアトラスからのセグメンテーション結果を組み合わせたラベル融合法により、アトラスベースの自動セグメンテーションの精度も向上している。さらに、これまでのいくつかのアプローチでは、機械学習ベースのセグメンテーション手法との統合を通じて、アトラスベースの自動セグメンテーションの精度を向上させることが試みられてきた。例えば、出願人の先行特許出願、ハンシャオ（Xiao Han）に対する特許第９，１２２，９５０号として発行され、「Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｌｅａｒｎｉｎｇ−ｅｎｈａｎｃｅｄ ａｔｌａｓ−ｂａｓｅｄ ａｕｔｏ−ｓｅｇｍｅｎｔａｔｉｏｎ」と題された特許出願は、機械学習アルゴリズムを用いて訓練された自動構造分類器を用いてアトラスベースのセグメンテーションの精度を向上させるための技術に言及している。
アトラスベースの自動セグメンテーション（atlas-based auto-segmentation）は、登録ベース（レジストレーションベース）の自動セグメンテーション（registration-based auto-segmentation）とも呼ばれ、対象（被験者）の画像に対してアトラス登録（atlas-registration）を行うことで画像のセグメンテーションを行い、その後にラベル融合（label fusion）またはラベル精製（label refinement）を行います。アトラスベースの自動セグメンテーションによるセグメンテーション結果の精度は、通常、適用される特定のアトラス登録方法に依存するが、複数のアトラスからのセグメンテーション結果を組み合わせたラベル融合法により、アトラスベースの自動セグメンテーションの精度も向上している。さらに、これまでのいくつかのアプローチでは、機械学習ベースのセグメンテーション手法との統合を通じて、アトラスベースの自動セグメンテーションの精度を向上させることが試みられてきた。例えば、出願人の先行特許出願、ハンシャオ（Xiao Han）に対する特許第９，１２２，９５０号として発行され、「Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｌｅａｒｎｉｎｇ−ｅｎｈａｎｃｅｄ ａｔｌａｓ−ｂａｓｅｄ ａｕｔｏ−ｓｅｇｍｅｎｔａｔｉｏｎ」と題された特許出願は、機械学習アルゴリズムを用いて訓練された自動構造分類器を用いてアトラスベースのセグメンテーションの精度を向上させるための技術に言及している。
［０００６］
新しい研究では、深層学習（deep learning）アプローチを用いてセグメンテーションを行い、医用画像から様々な状態を識別することが示唆されている。深い畳み込みニューラルネットワーク（ＣＮＮ）に基づく深層学習は、医用画像のセグメンテーション問題に別の強力なアプローチをもたらす。既存のアトラスベースの自動セグメンテーション技術と比較して、深層学習は、はるかに大規模な訓練データセットを使用して、構造のセグメンテーションモデルを訓練し、操作することができる。しかし、深層学習にはいくつかの重大な欠点があり、それがその普及を妨げている。深層学習モデルの訓練には通常非常に時間がかかり、数日かかることもあり、通常はオフラインで実行される。しかし、一度深層学習モデルが訓練されると、新しい画像にモデルを適用するのは非常に速く、多くの場合、数分から数秒のオーダーで行うことができる。さらに、深層学習モデルは、一般的に、数百または数千の画像のような大量の学習データを使用して学習された場合、より効果的に動作する。このような訓練データの利用可能性は限られているかもしれないが、深層学習モデルが大量の訓練データに容易に対応できることは、深層学習手法の主な利点となる。その結果、深層学習ＣＮＮを用いて画像のセグメンテーション演算を行うことを議論する様々なアプローチが登場している。
新しい研究では、深層学習（deep learning）アプローチを用いてセグメンテーションを行い、医用画像から様々な状態を識別することが示唆されている。深い畳み込みニューラルネットワーク（ＣＮＮ）に基づく深層学習は、医用画像のセグメンテーション問題に別の強力なアプローチをもたらす。既存のアトラスベースの自動セグメンテーション技術と比較して、深層学習は、はるかに大規模な訓練データセットを使用して、構造のセグメンテーションモデルを訓練し、操作することができる。しかし、深層学習にはいくつかの重大な欠点があり、それがその普及を妨げている。深層学習モデルの訓練には通常非常に時間がかかり、数日かかることもあり、通常はオフラインで実行される。しかし、一度深層学習モデルが訓練されると、新しい画像にモデルを適用するのは非常に速く、多くの場合、数分から数秒のオーダーで行うことができる。さらに、深層学習モデルは、一般的に、数百または数千の画像のような大量の学習データを使用して学習された場合、より効果的に動作する。このような訓練データの利用可能性は限られているかもしれないが、深層学習モデルが大量の訓練データに容易に対応できることは、深層学習手法の主な利点となる。その結果、深層学習ＣＮＮを用いて画像のセグメンテーション演算を行うことを議論する様々なアプローチが登場している。
［０００７］
画像のセグメンテーションを行うための主要な方法として深層学習を導入することができなかった他の現実的な制限がある。第１に、特定のセグメンテーション特徴に対して正確で有用な深層学習モデルを構築するために一般的に必要とされる大規模な訓練データのセットは、蓄積したり管理したりするのが容易ではない。第２に、異なる医療施設では、セグメンテーション内で異なる画像処理プロトコルおよび／または異なる輪郭処理プロトコルを使用している可能性があり、その結果、ある医療施設のデータと手動での境界線を使用して訓練されたモデルは、異なる医療施設のデータではうまく機能しないことがあり、セグメンテーションの結果に偏りが生じることがある。第３に、深層学習モデルを訓練することは、典型的には深い技術的専門知識を必要とするため、個人の医療利用者が個人のデータセット上でモデルを再訓練したり、深層学習モデルを特定のニーズに適応させたりすることは困難である。例えば、ユーザは、事前に訓練されたモデルから利用可能なものよりも多くの構造物を画像内でセグメンテーションする必要がある。その結果、深層学習は、医用画像処理における解剖学的特徴の識別に有望と思われる様々な技術を提供してきたが、多くの現実環境ではまだ成功裏に採用されていない。
画像のセグメンテーションを行うための主要な方法として深層学習を導入することができなかった他の現実的な制限がある。第１に、特定のセグメンテーション特徴に対して正確で有用な深層学習モデルを構築するために一般的に必要とされる大規模な訓練データのセットは、蓄積したり管理したりするのが容易ではない。第２に、異なる医療施設では、セグメンテーション内で異なる画像処理プロトコルおよび／または異なる輪郭処理プロトコルを使用している可能性があり、その結果、ある医療施設のデータと手動での境界線を使用して訓練されたモデルは、異なる医療施設のデータではうまく機能しないことがあり、セグメンテーションの結果に偏りが生じることがある。第３に、深層学習モデルを訓練することは、典型的には深い技術的専門知識を必要とするため、個人の医療利用者が個人のデータセット上でモデルを再訓練したり、深層学習モデルを特定のニーズに適応させたりすることは困難である。例えば、ユーザは、事前に訓練されたモデルから利用可能なものよりも多くの構造物を画像内でセグメンテーションする必要がある。その結果、深層学習は、医用画像処理における解剖学的特徴の識別に有望と思われる様々な技術を提供してきたが、多くの現実環境ではまだ成功裏に採用されていない。
［０００８］
本開示は、改善された自動セグメンテーション精度および解剖学的構造と特徴の識別を達成するために、アトラスベースのセグメンテーション操作のワークフローに深層学習モデルおよびアプローチを統合するための手順を含む。本開示は、アトラスベースの自動セグメンテーションを組み込んだ放射線治療ワークフローに関連したセグメンテーションおよび深層学習操作の使用に関連したいくつかの例示的な実施例を含む。しかし、深層学習モデルの使用とセグメンテーションの改善は、様々な診断、評価、および解釈の設定で使用される他の医用画像ワークフローに組み込まれる可能性があることは明らかであろう。
本開示は、改善された自動セグメンテーション精度および解剖学的構造と特徴の識別を達成するために、アトラスベースのセグメンテーション操作のワークフローに深層学習モデルおよびアプローチを統合するための手順を含む。本開示は、アトラスベースの自動セグメンテーションを組み込んだ放射線治療ワークフローに関連したセグメンテーションおよび深層学習操作の使用に関連したいくつかの例示的な実施例を含む。しかし、深層学習モデルの使用とセグメンテーションの改善は、様々な診断、評価、および解釈の設定で使用される他の医用画像ワークフローに組み込まれる可能性があることは明らかであろう。
［０００９］
一実施例において、深層学習を用いたアトラスベースセグメンテーションを実行するための一実施形態は、対象画像に深層学習モデルを適用するステップであって、深層学習モデルは、対象画像の解剖学的特徴を識別する深層学習セグメンテーションデータを生成するように訓練されるステップと、アトラス画像を対象画像に登録するステップであって、アトラス画像には、アトラス画像の解剖学的特徴を識別するアノテーションデータが関連付けられており、登録することは、アトラス画像と対象画像との間の登録結果を改善するために深層学習セグメンテーションデータを使用するステップと、アトラス画像を対象画像に登録してマッピングされたアトラスを生成するステップと、マッピングされたアトラスを用いて、対象画像の解剖学的特徴を識別するステップとを有する。
一実施例において、深層学習を用いたアトラスベースセグメンテーションを実行するための一実施形態は、対象画像に深層学習モデルを適用するステップであって、深層学習モデルは、対象画像の解剖学的特徴を識別する深層学習セグメンテーションデータを生成するように訓練されるステップと、アトラス画像を対象画像に登録するステップであって、アトラス画像には、アトラス画像の解剖学的特徴を識別するアノテーションデータが関連付けられており、登録することは、アトラス画像と対象画像との間の登録結果を改善するために深層学習セグメンテーションデータを使用するステップと、アトラス画像を対象画像に登録してマッピングされたアトラスを生成するステップと、マッピングされたアトラスを用いて、対象画像の解剖学的特徴を識別するステップとを有する。
［００１０］
深層学習を用いたアトラスベースのセグメンテーションを実行する更なる一実施形態は、登録を実行して、深層学習セグメンテーションデータを適用することによりアトラス画像と対象画像との間の登録結果を改善して、対象画像で識別された解剖学的特徴に基づいて初期の登録推定値または制約値を決定するステップと、複数のアトラス画像を対象画像に登録して、複数のマッピングされたアトラスからの結果を組み合わせて、対象画像における解剖学的特徴のそれぞれの位置と境界を特定するステップと、複数のマッピングされたアトラスに基づいて、対象画像内の複数の解剖学的特徴の構造ラベリングを実行するステップと、複数の解剖学的特徴の構造ラベリングに基づいて、対象画像の構造ラベルマップを生成するステップと、深層学習モデルをアトラス画像に適用して、アトラス画像内の解剖学的特徴を識別する追加の深層学習セグメンテーションデータを生成し、アトラス画像と対象画像との間で識別された解剖学的特徴の登録結果を改善するステップとを有する。また、更なる一実施例において、深層学習モデルは、セグメンテーションラベルマップ内の解剖学的特徴のそれぞれのボクセルを分類する複数の医用画像に基づいて訓練され、深層学習モデルを訓練するために使用される複数の医療画像は、それぞれの医療施設からの画像を含み、それぞれの医療施設は、撮像および輪郭形成プロトコルのバリエーションを利用して、複数の医用画像における解剖学的特徴を識別する。
深層学習を用いたアトラスベースのセグメンテーションを実行する更なる一実施形態は、登録を実行して、深層学習セグメンテーションデータを適用することによりアトラス画像と対象画像との間の登録結果を改善して、対象画像で識別された解剖学的特徴に基づいて初期の登録推定値または制約値を決定するステップと、複数のアトラス画像を対象画像に登録して、複数のマッピングされたアトラスからの結果を組み合わせて、対象画像における解剖学的特徴のそれぞれの位置と境界を特定するステップと、複数のマッピングされたアトラスに基づいて、対象画像内の複数の解剖学的特徴の構造ラベリングを実行するステップと、複数の解剖学的特徴の構造ラベリングに基づいて、対象画像の構造ラベルマップを生成するステップと、深層学習モデルをアトラス画像に適用して、アトラス画像内の解剖学的特徴を識別する追加の深層学習セグメンテーションデータを生成し、アトラス画像と対象画像との間で識別された解剖学的特徴の登録結果を改善するステップとを有する。また、更なる一実施例において、深層学習モデルは、セグメンテーションラベルマップ内の解剖学的特徴のそれぞれのボクセルを分類する複数の医用画像に基づいて訓練され、深層学習モデルを訓練するために使用される複数の医療画像は、それぞれの医療施設からの画像を含み、それぞれの医療施設は、撮像および輪郭形成プロトコルのバリエーションを利用して、複数の医用画像における解剖学的特徴を識別する。
［００１１］
また、一実施例において、深層学習を用いたアトラスベースセグメンテーションプロセスにおいて、訓練された機械学習分類器ラベリングを定義して操作するための方法の一実施形態は、アトラス画像に深層学習モデルを適用するステップであって、深層学習モデルは、アトラス画像内の複数の解剖学的構造の分析からデータを生成するために適合されているステップと、深層学習モデルを適用して生成されたデータを使用して機械学習モデル分類器を訓練するステップであって、機械学習モデル分類器は、アトラス画像内の解剖学的構造を分類するために訓練されているステップと、訓練された機械学習モデル分類器を対象画像に適用して、対象画像のそれぞれの領域の分類を生成するステップと、対象画像のそれぞれの領域の分類に基づいて、対象画像のそれぞれの領域の構造ラベルを推定するステップと、推定された構造ラベルを、対象画像のアトラスベースのセグメンテーションから生成された構造ラベルと組み合わせることにより、対象画像のそれぞれの領域の構造ラベルを定義するステップとを有する。
また、一実施例において、深層学習を用いたアトラスベースセグメンテーションプロセスにおいて、訓練された機械学習分類器ラベリングを定義して操作するための方法の一実施形態は、アトラス画像に深層学習モデルを適用するステップであって、深層学習モデルは、アトラス画像内の複数の解剖学的構造の分析からデータを生成するために適合されているステップと、深層学習モデルを適用して生成されたデータを使用して機械学習モデル分類器を訓練するステップであって、機械学習モデル分類器は、アトラス画像内の解剖学的構造を分類するために訓練されているステップと、訓練された機械学習モデル分類器を対象画像に適用して、対象画像のそれぞれの領域の分類を生成するステップと、対象画像のそれぞれの領域の分類に基づいて、対象画像のそれぞれの領域の構造ラベルを推定するステップと、推定された構造ラベルを、対象画像のアトラスベースのセグメンテーションから生成された構造ラベルと組み合わせることにより、対象画像のそれぞれの領域の構造ラベルを定義するステップとを有する。
［００１２］
機械学習分類器の訓練および動作の更なる実施例は、畳み込みニューラルネットワークの中間畳み込み層において入力画像を分析して生成された特徴マップを構成する深層学習モデルを適用して生成されたデータを使用するステップと、対象画像に複数のアトラス画像を登録し、対象画像に複数のアトラス画像を登録したことに基づいて、対象画像に複数のマッピングされたアトラスを生成し、複数のマッピングされたアトラスから対象画像の構造ラベルを生成するステップと、複数のマッピングされたアトラスから示された複数のラベルに対してラベル精製とラベル融合を行うステップと、複数のアトラス画像に深層学習モデルを適用して得られたセグメンテーション結果を使用して機械学習モデル分類器を訓練するステップと、複数のアトラス画像に深層学習モデルを適用して生成されセグメンテーション特徴データを使用して機械学習モデルの分類器を訓練するステップと、ラベルマップは対象画像のそれぞれのセグメントを識別し、対象画像のそれぞれの領域は、複数のボクセルに対応するそれぞれの構造ラベルを含むステップとを有する。
機械学習分類器の訓練および動作の更なる実施例は、畳み込みニューラルネットワークの中間畳み込み層において入力画像を分析して生成された特徴マップを構成する深層学習モデルを適用して生成されたデータを使用するステップと、対象画像に複数のアトラス画像を登録し、対象画像に複数のアトラス画像を登録したことに基づいて、対象画像に複数のマッピングされたアトラスを生成し、複数のマッピングされたアトラスから対象画像の構造ラベルを生成するステップと、複数のマッピングされたアトラスから示された複数のラベルに対してラベル精製とラベル融合を行うステップと、複数のアトラス画像に深層学習モデルを適用して得られたセグメンテーション結果を使用して機械学習モデル分類器を訓練するステップと、複数のアトラス画像に深層学習モデルを適用して生成されセグメンテーション特徴データを使用して機械学習モデルの分類器を訓練するステップと、ラベルマップは対象画像のそれぞれのセグメントを識別し、対象画像のそれぞれの領域は、複数のボクセルに対応するそれぞれの構造ラベルを含むステップとを有する。
［００１３］
本明細書に記載された例は、様々な実施形態で実施することができる。例えば、一実施形態は、処理ハードウェア（例えば、プロセッサまたは他の処理回路）およびそこに具現化された命令を含むメモリハードウェア（例えば、記憶装置または揮発性メモリ）を含むコンピューティングデバイスを含み、そのような命令は、処理ハードウェアによって実行されると、コンピューティングデバイスに、これらの技術およびシステム構成のための電子的な操作を実装、実行、または調整することを引き起こす。本明細書で論じられる別の実施形態は、機械可読媒体または他の記憶装置によって具現化されるようなコンピュータプログラム製品を含み、それは、これらの技術およびシステム構成のための電子的操作を実施、実行、または調整するための命令を提供する。本明細書で論じられる別の実施形態は、これらの技術およびシステム構成のための電子的操作を実施、実行、または調整するために、コンピューティングデバイスの処理ハードウェア上で操作可能な方法を含む。
本明細書に記載された例は、様々な実施形態で実施することができる。例えば、一実施形態は、処理ハードウェア（例えば、プロセッサまたは他の処理回路）およびそこに具現化された命令を含むメモリハードウェア（例えば、記憶装置または揮発性メモリ）を含むコンピューティングデバイスを含み、そのような命令は、処理ハードウェアによって実行されると、コンピューティングデバイスに、これらの技術およびシステム構成のための電子的な操作を実装、実行、または調整することを引き起こす。本明細書で論じられる別の実施形態は、機械可読媒体または他の記憶装置によって具現化されるようなコンピュータプログラム製品を含み、それは、これらの技術およびシステム構成のための電子的操作を実施、実行、または調整するための命令を提供する。本明細書で論じられる別の実施形態は、これらの技術およびシステム構成のための電子的操作を実施、実行、または調整するために、コンピューティングデバイスの処理ハードウェア上で操作可能な方法を含む。
［００１４］
更なる実施形態において、上述した電子的操作の態様を実施する論理、命令、または命令は、デスクトップまたはノートブック型パーソナルコンピュータ、タブレット、ネットブック、スマートフォンのようなモバイルデバイス、クライアント端末、およびサーバーホストマシンインスタンスのようなコンピューティングシステム用の任意の数のフォームファクタを含む、分散型または集中型コンピューティングシステムで提供することができる。本明細書で議論される別の実施形態は、本明細書で議論される技術を、そのような技術の機能を実行するためのそれぞれの手段を有する装置を含む、プログラムされた論理、ハードウェア構成、または特殊なコンポーネントまたはモジュールの他の形態に組み込むことを含む。このような技術の機能を実装するために使用されるそれぞれのアルゴリズムは、上述した電子的操作の一部または全部のシーケンス、または添付の図面および以下の詳細な説明に描かれている他の側面を含むことができる。
更なる実施形態において、上述した電子的操作の態様を実施する論理、命令、または命令は、デスクトップまたはノートブック型パーソナルコンピュータ、タブレット、ネットブック、スマートフォンのようなモバイルデバイス、クライアント端末、およびサーバーホストマシンインスタンスのようなコンピューティングシステム用の任意の数のフォームファクタを含む、分散型または集中型コンピューティングシステムで提供することができる。本明細書で議論される別の実施形態は、本明細書で議論される技術を、そのような技術の機能を実行するためのそれぞれの手段を有する装置を含む、プログラムされた論理、ハードウェア構成、または特殊なコンポーネントまたはモジュールの他の形態に組み込むことを含む。このような技術の機能を実装するために使用されるそれぞれのアルゴリズムは、上述した電子的操作の一部または全部のシーケンス、または添付の図面および以下の詳細な説明に描かれている他の側面を含むことができる。
［００１５］
以上の発明の概要は、本特許出願の主題の概要を提供することを目的としている。それは、本発明の排他的または網羅的な説明を提供することを意図したものではない。詳細な説明には、本特許出願についての更なる情報を提供することを含む。
以上の発明の概要は、本特許出願の主題の概要を提供することを目的としている。それは、本発明の排他的または網羅的な説明を提供することを意図したものではない。詳細な説明には、本特許出願についての更なる情報を提供することを含む。
［００１６］
必ずしも縮尺で描かれていない図面において、同様の数字は、いくつかの図面に通して実質的に類似した構成要素を示している。異なる文字の接尾辞を持つ数字は、実質的に類似した構成要素の異なる例を表す。図面は、例示の方法で、本明細書で論じられている様々な実施形態を一般的に示しているが、これに限定されるものではない。
必ずしも縮尺で描かれていない図面において、同様の数字は、いくつかの図面に通して実質的に類似した構成要素を示している。異なる文字の接尾辞を持つ数字は、実質的に類似した構成要素の異なる例を表す。図面は、例示の方法で、本明細書で論じられている様々な実施形態を一般的に示しているが、これに限定されるものではない。
［００１７］
図１は、画像のセグメンテーション処理を実行するために適応された例示的な放射線治療システムを示す。
［００１８］
図２は、例示的な画像誘導型放射線治療装置を示す。
［００１９］
図３は、深層学習モデルの動作の例示的なフロー図である。
［００２０］
図４は、画像セグメンテーションのための例示的な畳み込みニューラルネットワークモデルを示す。
［００２１］
図５は、深層学習のセグメンテーションデータを使用するためのアトラス登録プロセスの例示的なデータフローを示す。
［００２２］
図６は、深層学習に支援されたアトラスベースセグメンテーションを実行するための例示的な操作のフローチャートを示す。
［００２３］
図７は、深層学習セグメンテーションの特徴データを使用するために適応された機械学習モデルの訓練プロセスにおける例示的なデータフローを示す。
［００２４］
図８は、深層学習セグメンテーションの特徴データの使用に適応した機械学習モデル分類プロセスにおける例示的なデータフローを示す。
［００２５］
図９は、機械学習分類器を使用した深層学習に支援されたアトラスベースセグメンテーションを実行するための例示的な操作のフローチャートを示す。
［００２６］
以下の詳細な説明では、本発明の一部を形成する添付の図面を参照し、本発明が実施され得る特定の実施形態を図示している。本明細書で「実施例」とも呼ばれるこれらの実施形態は、当業者が本発明を実施することを可能にするのに十分に詳細に記載されており、実施形態を組み合わせてもよく、他の実施形態を利用してもよく、本発明の範囲から逸脱することなく構造的、論理的、電気的な変更を行ってもよいことが理解されよう。したがって、以下の詳細な説明は、限定的な意味で取られるものではなく、本発明の範囲は、添付の特許請求の範囲およびその等価物によって定義される。
以下の詳細な説明では、本発明の一部を形成する添付の図面を参照し、本発明が実施され得る特定の実施形態を図示している。本明細書で「実施例」とも呼ばれるこれらの実施形態は、当業者が本発明を実施することを可能にするのに十分に詳細に記載されており、実施形態を組み合わせてもよく、他の実施形態を利用してもよく、本発明の範囲から逸脱することなく構造的、論理的、電気的な変更を行ってもよいことが理解されよう。したがって、以下の詳細な説明は、限定的な意味で取られるものではなく、本発明の範囲は、添付の特許請求の範囲およびその等価物によって定義される。
［００２７］
本開示は、画像セグメンテーションプロセスの動作を改善するための様々な技術を含み、画像セグメンテーションに対する手動（例えば、人間による支援または人間による誘導）および従来のアトラスベースまたは人工知能ベースのアプローチよりも技術的な利点を提供する態様で含む。これらの技術的な利点には、出力を生成するための処理時間の短縮、画像解析および可視化操作の効率化、およびそれに伴う画像セグメンテーションのワークフロー活動を行うための処理、メモリおよびネットワークリソースの改善が含まれる。これらの改善された画像セグメンテーションワークフローアクティビティは、撮像ベースの医療治療および診断動作に使用される様々な医用画像処理活動、およびそれに付随して、そのような治療および診断動作を支援するためのデータを管理する情報システムおよび人工知能環境に適用することができる。
本開示は、画像セグメンテーションプロセスの動作を改善するための様々な技術を含み、画像セグメンテーションに対する手動（例えば、人間による支援または人間による誘導）および従来のアトラスベースまたは人工知能ベースのアプローチよりも技術的な利点を提供する態様で含む。これらの技術的な利点には、出力を生成するための処理時間の短縮、画像解析および可視化操作の効率化、およびそれに伴う画像セグメンテーションのワークフロー活動を行うための処理、メモリおよびネットワークリソースの改善が含まれる。これらの改善された画像セグメンテーションワークフローアクティビティは、撮像ベースの医療治療および診断動作に使用される様々な医用画像処理活動、およびそれに付随して、そのような治療および診断動作を支援するためのデータを管理する情報システムおよび人工知能環境に適用することができる。
［００２８］
本明細書でさらに議論されるように、深層学習モデルの以下の用途および展開は、アトラスベースのセグメンテーションワークフローにおいて、アトラス画像を対象画像に登録することから生成される登録結果の精度および有用性の向上を可能にする。深層学習セグメンテーションデータは、アトラス登録内の１つまたはそれ以上の解剖学的特徴のマッピングを改善するために、元のアトラスおよび対象画像データを超えた追加情報を提供する。画像（強度）データのみに基づく画像登録は困難な問題であり、画像データの曖昧さやノイズのために局所的な準最適解が多く存在する。深層学習モデルから生成されたセグメンテーション結果は、登録計算と特徴識別の両方において、セグメンテーションワークフローを改善したソリューションに導くのに役立つ追加情報と制約を提供する。
本明細書でさらに議論されるように、深層学習モデルの以下の用途および展開は、アトラスベースのセグメンテーションワークフローにおいて、アトラス画像を対象画像に登録することから生成される登録結果の精度および有用性の向上を可能にする。深層学習セグメンテーションデータは、アトラス登録内の１つまたはそれ以上の解剖学的特徴のマッピングを改善するために、元のアトラスおよび対象画像データを超えた追加情報を提供する。画像（強度）データのみに基づく画像登録は困難な問題であり、画像データの曖昧さやノイズのために局所的な準最適解が多く存在する。深層学習モデルから生成されたセグメンテーション結果は、登録計算と特徴識別の両方において、セグメンテーションワークフローを改善したソリューションに導くのに役立つ追加情報と制約を提供する。
［００２９］
図１は、画像のセグメンテーション処理を実行するように適応された例示的な放射線治療システムを示す。この画像セグメンテーション処理は、撮影された医用画像データの特定の側面に基づいて、放射線治療システムが患者に放射線治療を提供することを可能にするために実行される。放射線治療システムは、セグメンテーション処理ロジック１２０を提供する画像処理計算システム１１０を含む。画像処理計算システム１１０は、ネットワーク（図示せず）に接続することができ、そのようなネットワークは、インターネットに接続することができる。例えば、ネットワークは、画像処理計算システム１１０を、１つまたはそれ以上の医療情報源（例えば、放射線学情報システム（ＲＩＳ）、医療記録システム（例えば、電子カルテ（ＥＭＲ）／電子健康記録（ＥＨＲ）システム）、腫瘍学情報システム（ＯＩＳ））、１つそれ以上の画像データソース１５０、画像取得装置１７０、および治療装置１８０（例えば、放射線治療装置）と接続することができる。一実施例として、画像処理計算システム１１０は、治療装置１８０によって使用される放射線治療計画を生成し、カスタマイズするための操作の一部として、セグメンテーション処理ロジック１２０からの命令またはデータを実行することによって、画像セグメンテーション操作を実行するように構成することができる。
図１は、画像のセグメンテーション処理を実行するように適応された例示的な放射線治療システムを示す。この画像セグメンテーション処理は、撮影された医用画像データの特定の側面に基づいて、放射線治療システムが患者に放射線治療を提供することを可能にするために実行される。放射線治療システムは、セグメンテーション処理ロジック１２０を提供する画像処理計算システム１１０を含む。画像処理計算システム１１０は、ネットワーク（図示せず）に接続することができ、そのようなネットワークは、インターネットに接続することができる。例えば、ネットワークは、画像処理計算システム１１０を、１つまたはそれ以上の医療情報源（例えば、放射線学情報システム（ＲＩＳ）、医療記録システム（例えば、電子カルテ（ＥＭＲ）／電子健康記録（ＥＨＲ）システム）、腫瘍学情報システム（ＯＩＳ））、１つそれ以上の画像データソース１５０、画像取得装置１７０、および治療装置１８０（例えば、放射線治療装置）と接続することができる。一実施例として、画像処理計算システム１１０は、治療装置１８０によって使用される放射線治療計画を生成し、カスタマイズするための操作の一部として、セグメンテーション処理ロジック１２０からの命令またはデータを実行することによって、画像セグメンテーション操作を実行するように構成することができる。
［００３０］
画像処理計算システム１１０は、処理回路１１２と、メモリ１１４と、記憶装置１１６と、ユーザインターフェース１４０と、通信インターフェースのような他のハードウェアおよびソフトウェア操作可能な機能を含むことができる。記憶装置１１６は、オペレーティングシステムや、放射線治療計画（例えば、元の治療計画、適応された治療計画など）、ソフトウェアプログラム（例えば、放射線治療計画ソフトウェア、深層学習モデル、機械学習モデル、ニューラルネットワークのような人工知能実装。など）、および処理回路１１２によって実行される他の任意のコンピュータ実行可能な命令を記憶することができる。
画像処理計算システム１１０は、処理回路１１２と、メモリ１１４と、記憶装置１１６と、ユーザインターフェース１４０と、通信インターフェースのような他のハードウェアおよびソフトウェア操作可能な機能を含むことができる。記憶装置１１６は、オペレーティングシステムや、放射線治療計画（例えば、元の治療計画、適応された治療計画など）、ソフトウェアプログラム（例えば、放射線治療計画ソフトウェア、深層学習モデル、機械学習モデル、ニューラルネットワークのような人工知能実装。など）、および処理回路１１２によって実行される他の任意のコンピュータ実行可能な命令を記憶することができる。
［００３１］
一実施例では、処理回路１１２は、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）のような１つまたはそれ以上の汎用処理装置のような処理装置を含むことができる。より具体的には、処理回路１１２は、複雑命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであってもよい。また、処理回路１１２は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、システムオンチップ（ＳｏＣ）などの１つまたはそれ以上の特定用途処理装置（special-purpose processing device）により実装されてもよい。当業者には理解されるであろうが、いくつかの例では、処理回路１１２は、汎用プロセッサではなく、特殊用途プロセッサであってもよい。処理回路１１２は、Ｉｎｔｅｌ（登録商標）によって製造されたＰｅｎｔｉｕｍ（登録商標）、Ｃｏｒｅ（登録商標）、Ｘｅｏｎ（登録商標）、またはＩｔａｎｉｕｍ（登録商標）ファミリー、ＡＭＤ（登録商標）によって製造されたＴｕｒｉｏｎ（登録商標）、Ａｔｈｌｏｎ（登録商標）、Ｓｅｍｐｒｏｎ（登録商標）、Ｏｐｔｅｒｏｎ（登録商標）、ＦＸ（登録商標）、Ｐｈｅｎｏｎ（登録商標）ファミリー、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓによって製造された様々なプロセッサのいずれかのような１つまたはそれ以上の既知の処理装置を含むことができる。また、処理回路１１２は、Ｎｖｉｄｉａ（登録商標）によって製造されたＧｅＦｏｒｃｅ（登録商標）、Ｑｕａｄｒｏ（登録商標）、Ｔｅｓｌａ（登録商標）ファミリー、Ｉｎｔｅｌ（登録商標）によって製造されたＧＭＡ、Ｉｒｉｓ（登録商標）ファミリー、またはＡＭＤ（登録商標）によって製造されたＲａｄｅｏｎ（登録商標）ファミリーのような、グラフィック処理ユニットを含むことができる。また、処理回路１１２は、Ｉｎｔｅｌ（登録商標）によって製造されたＸｅｏｎ Ｐｈｉ（登録商標）ファミリーのような、加速処理ユニットを含むことができる。開示された実施形態は、本明細書に開示された方法を実行するために、大量のデータを特定し、分析し、維持し、生成し、および／または提供し、またはそのようなデータを操作するというコンピューティング要求を満たすように構成された任意のタイプのプロセッサ（複数可）に限定されるものではない。さらに、「プロセッサ」という用語は、１つまたはそれ以上のプロセッサ、例えば、マルチコア設計または複数のプロセッサのそれぞれがマルチコア設計を有するプロセッサを含むことができる。処理回路１１２は、メモリ１１４に記憶され、記憶装置１１６からアクセスされるコンピュータプログラム命令のシーケンスを実行して、以下でより詳細に説明する様々な操作、プロセス、方法を実行することができる。
一実施例では、処理回路１１２は、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）のような１つまたはそれ以上の汎用処理装置のような処理装置を含むことができる。より具体的には、処理回路１１２は、複雑命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであってもよい。また、処理回路１１２は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、システムオンチップ（ＳｏＣ）などの１つまたはそれ以上の特定用途処理装置（special-purpose processing device）により実装されてもよい。当業者には理解されるであろうが、いくつかの例では、処理回路１１２は、汎用プロセッサではなく、特殊用途プロセッサであってもよい。処理回路１１２は、Ｉｎｔｅｌ（登録商標）によって製造されたＰｅｎｔｉｕｍ（登録商標）、Ｃｏｒｅ（登録商標）、Ｘｅｏｎ（登録商標）、またはＩｔａｎｉｕｍ（登録商標）ファミリー、ＡＭＤ（登録商標）によって製造されたＴｕｒｉｏｎ（登録商標）、Ａｔｈｌｏｎ（登録商標）、Ｓｅｍｐｒｏｎ（登録商標）、Ｏｐｔｅｒｏｎ（登録商標）、ＦＸ（登録商標）、Ｐｈｅｎｏｎ（登録商標）ファミリー、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓによって製造された様々なプロセッサのいずれかのような１つまたはそれ以上の既知の処理装置を含むことができる。また、処理回路１１２は、Ｎｖｉｄｉａ（登録商標）によって製造されたＧｅＦｏｒｃｅ（登録商標）、Ｑｕａｄｒｏ（登録商標）、Ｔｅｓｌａ（登録商標）ファミリー、Ｉｎｔｅｌ（登録商標）によって製造されたＧＭＡ、Ｉｒｉｓ（登録商標）ファミリー、またはＡＭＤ（登録商標）によって製造されたＲａｄｅｏｎ（登録商標）ファミリーのような、グラフィック処理ユニットを含むことができる。また、処理回路１１２は、Ｉｎｔｅｌ（登録商標）によって製造されたＸｅｏｎ Ｐｈｉ（登録商標）ファミリーのような、加速処理ユニットを含むことができる。開示された実施形態は、本明細書に開示された方法を実行するために、大量のデータを特定し、分析し、維持し、生成し、および／または提供し、またはそのようなデータを操作するというコンピューティング要求を満たすように構成された任意のタイプのプロセッサ（複数可）に限定されるものではない。さらに、「プロセッサ」という用語は、１つまたはそれ以上のプロセッサ、例えば、マルチコア設計または複数のプロセッサのそれぞれがマルチコア設計を有するプロセッサを含むことができる。処理回路１１２は、メモリ１１４に記憶され、記憶装置１１６からアクセスされるコンピュータプログラム命令のシーケンスを実行して、以下でより詳細に説明する様々な操作、プロセス、方法を実行することができる。
［００３２］
メモリ１１４は、読み取り専用メモリ（ＲＯＭ）、相変化ランダムアクセスメモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）のようなダイナミックランダムアクセスメモリ（ＤＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、スタティックメモリ（例えば、フラッシュメモリ、フラッシュディスク、スタティックランダムアクセスメモリ）、および、キャッシュ、レジスタ、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、またはその他の光学式ストレージ、カセットテープ、その他の磁気記憶装置のようなその他のタイプのランダムアクセスメモリ、のような非一時的なコンピュータ可読媒体、または、画像、データ、または、処理回路１１２または他の任意のタイプのコンピューティング装置によりアクセスすることができるコンピュータ実行可能命令（例えば、任意の形式で格納されている）を含む情報を格納するために使用できる他の任意の非一時的媒体を含むことができる。例えば、コンピュータプログラム命令は、処理回路１１２によってアクセスされ、ＲＯＭ、または他の任意の適切なメモリロケーションから読み出され、処理回路１１２によって実行されるようにＲＡＭにロードされ得る。
メモリ１１４は、読み取り専用メモリ（ＲＯＭ）、相変化ランダムアクセスメモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）のようなダイナミックランダムアクセスメモリ（ＤＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、スタティックメモリ（例えば、フラッシュメモリ、フラッシュディスク、スタティックランダムアクセスメモリ）、および、キャッシュ、レジスタ、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、またはその他の光学式ストレージ、カセットテープ、その他の磁気記憶装置のようなその他のタイプのランダムアクセスメモリ、のような非一時的なコンピュータ可読媒体、または、画像、データ、または、処理回路１１２または他の任意のタイプのコンピューティング装置によりアクセスすることができるコンピュータ実行可能命令（例えば、任意の形式で格納されている）を含む情報を格納するために使用できる他の任意の非一時的媒体を含むことができる。例えば、コンピュータプログラム命令は、処理回路１１２によってアクセスされ、ＲＯＭ、または他の任意の適切なメモリロケーションから読み出され、処理回路１１２によって実行されるようにＲＡＭにロードされ得る。
［００３３］
記憶装置１１６は、本明細書に記載された方法論または機能（様々な例では、セグメンテーション処理ロジック１２０およびユーザインターフェース１４０を含む）のうちの任意の１つまたはそれ以上の方法論または機能を具現化または利用する命令およびデータ構造（例えば、ソフトウェア）の１つまたはそれ以上のセットが記憶されている機械読み取り可能媒体を含む駆動装置を構成することができる。命令は、また、画像処理計算システム１１０による実行中に、メモリ１１４内および／または処理回路１１２内に、完全にまたは少なくとも部分的に存在してもよく、メモリ１１４および処理回路１１２は、また、機械読み取り可能な媒体を構成してもよい。
記憶装置１１６は、本明細書に記載された方法論または機能（様々な例では、セグメンテーション処理ロジック１２０およびユーザインターフェース１４０を含む）のうちの任意の１つまたはそれ以上の方法論または機能を具現化または利用する命令およびデータ構造（例えば、ソフトウェア）の１つまたはそれ以上のセットが記憶されている機械読み取り可能媒体を含む駆動装置を構成することができる。命令は、また、画像処理計算システム１１０による実行中に、メモリ１１４内および／または処理回路１１２内に、完全にまたは少なくとも部分的に存在してもよく、メモリ１１４および処理回路１１２は、また、機械読み取り可能な媒体を構成してもよい。
［００３４］
メモリ装置１１４および記憶装置１１６は、非一時的コンピュータ可読媒体を構成してもよい。例えば、メモリ装置１１４および記憶装置１１６は、コンピュータ可読媒体に１つまたはそれ以上のソフトウェアアプリケーションのための命令を格納またはロードすることができる。メモリ装置１１４および記憶装置１１６に記憶またはロードされたソフトウェアアプリケーションは、例えば、一般的なコンピュータシステム用のオペレーティングシステムおよびソフトウェア制御装置用のオペレーティングシステムを含み得る。また、画像処理計算システム１１０は、セグメンテーション処理ロジック１２０およびユーザインターフェース１４０を実装するためのソフトウェアコードからなる様々なソフトウェアプログラムを動作させることができる。さらに、メモリ装置１１４および記憶装置１１６は、処理回路１１２によって実行可能なソフトウェアアプリケーション全体、ソフトウェアアプリケーションの一部、またはソフトウェアアプリケーションに関連付けられたコードまたはデータを記憶またはロードすることができる。更なる実施例では、メモリ装置１１４および記憶装置１１６は、１つまたはそれ以上の放射線治療計画、撮像データ、セグメンテーションデータ、人工知能モデルデータ、ラベルおよびマッピングデータなどを記憶し、ロードし、操作することができる。ソフトウェアプログラムは、記憶装置１１６およびメモリ１１４だけでなく、ハードドライブ、コンピュータディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＨＤ、ブルーレイＤＶＤ、ＵＳＢフラッシュドライブ、ＳＤカード、メモリスティック、または他の適切な媒体のような取り外し可能なコンピュータ媒体に格納することができ、また、そのようなソフトウェアプログラムは、ネットワークを介して通信または受信することができると考えられる。
メモリ装置１１４および記憶装置１１６は、非一時的コンピュータ可読媒体を構成してもよい。例えば、メモリ装置１１４および記憶装置１１６は、コンピュータ可読媒体に１つまたはそれ以上のソフトウェアアプリケーションのための命令を格納またはロードすることができる。メモリ装置１１４および記憶装置１１６に記憶またはロードされたソフトウェアアプリケーションは、例えば、一般的なコンピュータシステム用のオペレーティングシステムおよびソフトウェア制御装置用のオペレーティングシステムを含み得る。また、画像処理計算システム１１０は、セグメンテーション処理ロジック１２０およびユーザインターフェース１４０を実装するためのソフトウェアコードからなる様々なソフトウェアプログラムを動作させることができる。さらに、メモリ装置１１４および記憶装置１１６は、処理回路１１２によって実行可能なソフトウェアアプリケーション全体、ソフトウェアアプリケーションの一部、またはソフトウェアアプリケーションに関連付けられたコードまたはデータを記憶またはロードすることができる。更なる実施例では、メモリ装置１１４および記憶装置１１６は、１つまたはそれ以上の放射線治療計画、撮像データ、セグメンテーションデータ、人工知能モデルデータ、ラベルおよびマッピングデータなどを記憶し、ロードし、操作することができる。ソフトウェアプログラムは、記憶装置１１６およびメモリ１１４だけでなく、ハードドライブ、コンピュータディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＨＤ、ブルーレイＤＶＤ、ＵＳＢフラッシュドライブ、ＳＤカード、メモリスティック、または他の適切な媒体のような取り外し可能なコンピュータ媒体に格納することができ、また、そのようなソフトウェアプログラムは、ネットワークを介して通信または受信することができると考えられる。
［００３５］
図示されていないが、画像処理計算システム１１０は、通信インターフェース、ネットワークインターフェースカード、および通信回路を含むことができる。例示的な通信インターフェースは、例えば、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、ＵＳＢコネクタ、パラレルコネクタ、高速データ伝送アダプタ（例えば、ファイバ、ＵＳＢ ３．０、サンダーボルトなど）、無線ネットワークアダプタ（例えば、ＩＥＥＥ ８０２．１１／Ｗｉ−Ｆｉアダプタなど）、通信アダプタ（例えば、３Ｇ、４Ｇ／ＬＴＥ、５Ｇ、ネットワークなどと通信するためのもの）などを含むことができる。このような通信インターフェースは、機械がネットワークを介して、遠隔地に配置された構成要素のような他の機械および装置と通信することを可能にする、１つまたはそれ以上のデジタルおよび／またはアナログ通信装置を含むことができる。ネットワークは、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャなど）、クライアントサーバー、広域ネットワーク（ＷＡＮ）などの機能を提供することができる。例えば、ネットワークは、他のシステム（追加の画像処理計算システムまたは医用画像処理または放射線治療操作に関連する画像ベースのコンポーネントを含む）を含み得るＬＡＮまたはＷＡＮであってもよい。
図示されていないが、画像処理計算システム１１０は、通信インターフェース、ネットワークインターフェースカード、および通信回路を含むことができる。例示的な通信インターフェースは、例えば、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、ＵＳＢコネクタ、パラレルコネクタ、高速データ伝送アダプタ（例えば、ファイバ、ＵＳＢ ３．０、サンダーボルトなど）、無線ネットワークアダプタ（例えば、ＩＥＥＥ ８０２．１１／Ｗｉ−Ｆｉアダプタなど）、通信アダプタ（例えば、３Ｇ、４Ｇ／ＬＴＥ、５Ｇ、ネットワークなどと通信するためのもの）などを含むことができる。このような通信インターフェースは、機械がネットワークを介して、遠隔地に配置された構成要素のような他の機械および装置と通信することを可能にする、１つまたはそれ以上のデジタルおよび／またはアナログ通信装置を含むことができる。ネットワークは、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャなど）、クライアントサーバー、広域ネットワーク（ＷＡＮ）などの機能を提供することができる。例えば、ネットワークは、他のシステム（追加の画像処理計算システムまたは医用画像処理または放射線治療操作に関連する画像ベースのコンポーネントを含む）を含み得るＬＡＮまたはＷＡＮであってもよい。
［００３６］
一実施例では、画像処理計算システム１１０は、記憶装置１１６およびメモリ１１４上でホスティングするために、画像データソース１５０から画像データ１６０を取得することができる。一実施例では、画像処理計算システム１１０上で動作するソフトウェアプログラムは、擬似ＣＴ画像のような合成画像を生成することによって、あるフォーマット（例えば、ＭＲＩ）の医用画像を別のフォーマット（例えば、ＣＴ）に変換することができる。別の実施例では、ソフトウェアプログラムは、対応する画像ボクセルおよび線量ボクセルが適切に関連付けられるように、患者の医用画像（例えば、ＣＴ画像またはＭＲ画像）を、その患者の放射線治療の線量分布（例えば、画像としても表される）に登録または関連付けることができる。更に別の実施例では、ソフトウェアプログラムは、符号付き距離関数または画像情報のいくつかの側面を強調する画像の処理済みバージョンのような患者画像の機能を代替することができる。このような機能は、エッジやボクセルテクスチャの違い、または他の構造的な側面を強調する場合がある。別の実施例では、ソフトウェアプログラムは、医用画像内で、解剖学的特徴、セグメント化された特徴、または投与または治療情報の一部の側面を可視化、非可視化、強調、または非強調することができる。記憶装置１１６およびメモリ１１４は、画像データ１６０、患者データ、および放射線治療計画および関連するセグメンテーション操作を作成および実施するために必要な他のデータを含む、これらの目的を実行するためのデータを記憶し、ホストすることができる。
一実施例では、画像処理計算システム１１０は、記憶装置１１６およびメモリ１１４上でホスティングするために、画像データソース１５０から画像データ１６０を取得することができる。一実施例では、画像処理計算システム１１０上で動作するソフトウェアプログラムは、擬似ＣＴ画像のような合成画像を生成することによって、あるフォーマット（例えば、ＭＲＩ）の医用画像を別のフォーマット（例えば、ＣＴ）に変換することができる。別の実施例では、ソフトウェアプログラムは、対応する画像ボクセルおよび線量ボクセルが適切に関連付けられるように、患者の医用画像（例えば、ＣＴ画像またはＭＲ画像）を、その患者の放射線治療の線量分布（例えば、画像としても表される）に登録または関連付けることができる。更に別の実施例では、ソフトウェアプログラムは、符号付き距離関数または画像情報のいくつかの側面を強調する画像の処理済みバージョンのような患者画像の機能を代替することができる。このような機能は、エッジやボクセルテクスチャの違い、または他の構造的な側面を強調する場合がある。別の実施例では、ソフトウェアプログラムは、医用画像内で、解剖学的特徴、セグメント化された特徴、または投与または治療情報の一部の側面を可視化、非可視化、強調、または非強調することができる。記憶装置１１６およびメモリ１１４は、画像データ１６０、患者データ、および放射線治療計画および関連するセグメンテーション操作を作成および実施するために必要な他のデータを含む、これらの目的を実行するためのデータを記憶し、ホストすることができる。
［００３７］
処理回路１１２は、メモリ１１４および記憶装置１１６に通信的に結合されることができ、処理回路１１２は、メモリ１１４または記憶装置１１６のいずれかから、そこに記憶されたコンピュータ実行可能命令を実行するように構成される。処理回路１１２は、画像データ１６０からの医用画像をメモリ１１４内で受信または取得し、セグメンテーション処理ロジック１２０を用いて処理するように命令を実行することができる。例えば、画像処理計算システム１１０は、通信インターフェースおよびネットワークを介して、画像取得装置１７０または画像データソース１５０から画像データ１６０を受信して、記憶装置１１６に格納またはキャッシュすることができる。また、処理回路１１２は、メモリ１１４または記憶装置１１６に記憶された医用画像を、別のデータベースまたはデータストア（例えば、医療施設データベース）に通信インターフェースを介して送信または更新することができる。いくつかの実施例では、１つまたはそれ以上のシステムは、本明細書に記載された実施形態を協調的に実行するためにネットワークを使用する分散コンピューティング／シミュレーション環境を形成することができる。また、このようなネットワークは、インターネットに接続して、インターネット上に遠隔地に存在するサーバーやクライアントと通信することができる。
処理回路１１２は、メモリ１１４および記憶装置１１６に通信的に結合されることができ、処理回路１１２は、メモリ１１４または記憶装置１１６のいずれかから、そこに記憶されたコンピュータ実行可能命令を実行するように構成される。処理回路１１２は、画像データ１６０からの医用画像をメモリ１１４内で受信または取得し、セグメンテーション処理ロジック１２０を用いて処理するように命令を実行することができる。例えば、画像処理計算システム１１０は、通信インターフェースおよびネットワークを介して、画像取得装置１７０または画像データソース１５０から画像データ１６０を受信して、記憶装置１１６に格納またはキャッシュすることができる。また、処理回路１１２は、メモリ１１４または記憶装置１１６に記憶された医用画像を、別のデータベースまたはデータストア（例えば、医療施設データベース）に通信インターフェースを介して送信または更新することができる。いくつかの実施例では、１つまたはそれ以上のシステムは、本明細書に記載された実施形態を協調的に実行するためにネットワークを使用する分散コンピューティング／シミュレーション環境を形成することができる。また、このようなネットワークは、インターネットに接続して、インターネット上に遠隔地に存在するサーバーやクライアントと通信することができる。
［００３８］
更なる実施例では、処理回路１１２は、画像データ１６０および他の患者データとともにソフトウェアプログラム（例えば、治療計画ソフトウェア）を利用して、放射線治療計画を作成することができる。一実施例では、画像データ１６０は、アトラス情報、または患者の解剖学的領域、臓器、または関心のあるセグメンテーションデータの体積に関連するデータのような他の情報を含み得る。患者データは、（１）機能的臓器モデルデータ（例えば、直列対並列臓器、適切な線量反応モデルなど）、（２）放射線量データ（例えば、線量ボリュームヒストグラム（ＤＶＨ）情報）、または（３）患者および治療経過に関する他の臨床情報（例えば、他の手術、化学療法、以前の放射線療法など）のような情報を含み得る。更なる実施例では、アトラスデータは、患者、患者のセット、手順または治療の種類、手順または治療のセット、画像取得装置、医療施設、またはそのようなものに固有の解剖学的特徴のセグメンテーションまたはラベリングを提供する。
更なる実施例では、処理回路１１２は、画像データ１６０および他の患者データとともにソフトウェアプログラム（例えば、治療計画ソフトウェア）を利用して、放射線治療計画を作成することができる。一実施例では、画像データ１６０は、アトラス情報、または患者の解剖学的領域、臓器、または関心のあるセグメンテーションデータの体積に関連するデータのような他の情報を含み得る。患者データは、（１）機能的臓器モデルデータ（例えば、直列対並列臓器、適切な線量反応モデルなど）、（２）放射線量データ（例えば、線量ボリュームヒストグラム（ＤＶＨ）情報）、または（３）患者および治療経過に関する他の臨床情報（例えば、他の手術、化学療法、以前の放射線療法など）のような情報を含み得る。更なる実施例では、アトラスデータは、患者、患者のセット、手順または治療の種類、手順または治療のセット、画像取得装置、医療施設、またはそのようなものに固有の解剖学的特徴のセグメンテーションまたはラベリングを提供する。
［００３９］
さらに、処理回路１１２は、ソフトウェアプログラムを利用して、例えば、ニューラルネットワークモデル、機械学習モデル、アトラスセグメンテーションワークフロー、または画像データ１６０のセグメンテーションに関与する他の態様により使用される更新されたパラメータなどの中間データを生成することができる。更に、そのようなソフトウェアプログラムは、本明細書でさらに記述されている技術を用いて、セグメンテーション処理ロジック１２０を利用してセグメンテーションワークフロー１３０を実施することができる。処理回路１１２は、その後、実行可能な放射線治療計画を、通信インターフェースおよびネットワークを介して治療装置１８０に送信することができ、そこでは、放射線治療計画が、セグメンテーションワークフローの結果により、治療装置を介して患者を放射線で治療するために使用される。ソフトウェアプログラムおよびセグメンテーションワークフロー１３０の他の出力および使用は、画像処理計算システム１１０の使用と共に発生し得る。
さらに、処理回路１１２は、ソフトウェアプログラムを利用して、例えば、ニューラルネットワークモデル、機械学習モデル、アトラスセグメンテーションワークフロー、または画像データ１６０のセグメンテーションに関与する他の態様により使用される更新されたパラメータなどの中間データを生成することができる。更に、そのようなソフトウェアプログラムは、本明細書でさらに記述されている技術を用いて、セグメンテーション処理ロジック１２０を利用してセグメンテーションワークフロー１３０を実施することができる。処理回路１１２は、その後、実行可能な放射線治療計画を、通信インターフェースおよびネットワークを介して治療装置１８０に送信することができ、そこでは、放射線治療計画が、セグメンテーションワークフローの結果により、治療装置を介して患者を放射線で治療するために使用される。ソフトウェアプログラムおよびセグメンテーションワークフロー１３０の他の出力および使用は、画像処理計算システム１１０の使用と共に発生し得る。
［００４０］
本明細書（例えば、図３および図４を参照して議論されるディープラーニング処理、および図５乃至図９を参照して議論されるセグメンテーション処理を参照）で議論されるように、処理回路１１２は、画像のセグメンテーション、機械学習、ディープラーニング、ニューラルネットワーク、および自動処理および人工知能の他の態様を含む機能を実装するために、セグメンテーション処理ロジック１２０を呼び出すソフトウェアプログラムを実行することができる。例えば、処理回路１１２は、医用画像の特徴を訓練し、輪郭付けし、ラベル付けし、または分析するソフトウェアプログラムを実行することができ、そのようなソフトウェアは、実行されると、境界検出器を訓練する、または形状辞書を利用することができる。
本明細書（例えば、図３および図４を参照して議論されるディープラーニング処理、および図５乃至図９を参照して議論されるセグメンテーション処理を参照）で議論されるように、処理回路１１２は、画像のセグメンテーション、機械学習、ディープラーニング、ニューラルネットワーク、および自動処理および人工知能の他の態様を含む機能を実装するために、セグメンテーション処理ロジック１２０を呼び出すソフトウェアプログラムを実行することができる。例えば、処理回路１１２は、医用画像の特徴を訓練し、輪郭付けし、ラベル付けし、または分析するソフトウェアプログラムを実行することができ、そのようなソフトウェアは、実行されると、境界検出器を訓練する、または形状辞書を利用することができる。
［００４１］
一実施例では、画像データ１６０は、１つまたはそれ以上のＭＲＩ画像（例えば、２ＤＭＲＩ、３ＤＭＲＩ、２ＤストリーミングＭＲＩ、４ＤＭＲＩ、４ＤボリューメトリックＭＲＩ、４ＤシネＭＲＩなど）、機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩ、拡散ＭＲＩ）、コンピュータ断層撮影（ＣＴ）画像（例えば、２ＤＣＴ、コーンビームＣＴ、３ＤＣＴ、４ＤＣＴ）、超音波画像（例えば、２Ｄ超音波、３Ｄ超音波、４Ｄ超音波）、陽電子放出断層撮影（ＰＥＴ）画像、Ｘ線画像、透視画像、放射線治療ポータル画像、シングルフォトエミッションコンピュータ断層撮影（ＳＰＥＣＴ）画像、コンピュータで生成された合成画像（例えば、疑似ＣＴ画像）などを含み得る。更に、画像データ１６０は、医用画像処理データ、例えば、トレーニング画像、およびグラウンドトゥルース画像、等高線画像、および線量画像を含むことができる、または関連付けられている。一実施例では、画像データ１６０は、画像取得装置１７０から受信され、１つまたはそれ以上の画像データソース１５０（例えば、ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、ＶＮＡ（Ｖｅｎｄｏｒ Ｎｅｕｔｒａｌ Ａｒｃｈｉｖｅ）、医療記録または情報システム、データウェアハウスなど）に格納することができる。したがって、画像取得装置１７０は、ＭＲＩ撮像装置、ＣＴ撮像装置、ＰＥＴ撮像装置、超音波撮像装置、透視装置、ＳＰＥＣＴ撮像装置、リニアアクセラレータとＭＲＩ撮像装置を一体化したもののような、患者の医用画像を取得するための他の医用画像取得装置を含み得る。画像データ１６０は、画像取得装置１７０および画像処理計算システム１１０が、開示された実施形態による動作を実行するために使用することができる、任意のタイプのデータまたは任意のタイプのフォーマット（例えば、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）フォーマット）で受信され、格納することができる。
一実施例では、画像データ１６０は、１つまたはそれ以上のＭＲＩ画像（例えば、２ＤＭＲＩ、３ＤＭＲＩ、２ＤストリーミングＭＲＩ、４ＤＭＲＩ、４ＤボリューメトリックＭＲＩ、４ＤシネＭＲＩなど）、機能的ＭＲＩ画像（例えば、ｆＭＲＩ、ＤＣＥ−ＭＲＩ、拡散ＭＲＩ）、コンピュータ断層撮影（ＣＴ）画像（例えば、２ＤＣＴ、コーンビームＣＴ、３ＤＣＴ、４ＤＣＴ）、超音波画像（例えば、２Ｄ超音波、３Ｄ超音波、４Ｄ超音波）、陽電子放出断層撮影（ＰＥＴ）画像、Ｘ線画像、透視画像、放射線治療ポータル画像、シングルフォトエミッションコンピュータ断層撮影（ＳＰＥＣＴ）画像、コンピュータで生成された合成画像（例えば、疑似ＣＴ画像）などを含み得る。更に、画像データ１６０は、医用画像処理データ、例えば、トレーニング画像、およびグラウンドトゥルース画像、等高線画像、および線量画像を含むことができる、または関連付けられている。一実施例では、画像データ１６０は、画像取得装置１７０から受信され、１つまたはそれ以上の画像データソース１５０（例えば、ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）、ＶＮＡ（Ｖｅｎｄｏｒ Ｎｅｕｔｒａｌ Ａｒｃｈｉｖｅ）、医療記録または情報システム、データウェアハウスなど）に格納することができる。したがって、画像取得装置１７０は、ＭＲＩ撮像装置、ＣＴ撮像装置、ＰＥＴ撮像装置、超音波撮像装置、透視装置、ＳＰＥＣＴ撮像装置、リニアアクセラレータとＭＲＩ撮像装置を一体化したもののような、患者の医用画像を取得するための他の医用画像取得装置を含み得る。画像データ１６０は、画像取得装置１７０および画像処理計算システム１１０が、開示された実施形態による動作を実行するために使用することができる、任意のタイプのデータまたは任意のタイプのフォーマット（例えば、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）フォーマット）で受信され、格納することができる。
［００４２］
例示的な実施形態では、画像取得装置１７０は、単一の装置（例えば、リニア加速器と組み合わせたＭＲＩ装置、「ＭＲＩ−Ｌｉｎａｃ」とも呼ばれる）として治療装置１８０と一体化することができる。このようなＭＲＩ−Ｌｉｎａｃは、例えば、患者における標的臓器の位置または標的腫瘍の位置を決定するために使用することができ、これにより、放射線治療の治療計画に従って放射線治療を所定の標的に正確に指示することができる。例えば、放射線治療計画は、各患者に適用される特定の放射線量に関する情報を提供することができる。また、放射線治療計画には、他の放射線治療情報、例えば、ビーム角度、線量−ヒストグラム−ボリューム情報、治療中に使用する放射線ビームの数、ビーム当たりの線量などを含めることができる。
例示的な実施形態では、画像取得装置１７０は、単一の装置（例えば、リニア加速器と組み合わせたＭＲＩ装置、「ＭＲＩ−Ｌｉｎａｃ」とも呼ばれる）として治療装置１８０と一体化することができる。このようなＭＲＩ−Ｌｉｎａｃは、例えば、患者における標的臓器の位置または標的腫瘍の位置を決定するために使用することができ、これにより、放射線治療の治療計画に従って放射線治療を所定の標的に正確に指示することができる。例えば、放射線治療計画は、各患者に適用される特定の放射線量に関する情報を提供することができる。また、放射線治療計画には、他の放射線治療情報、例えば、ビーム角度、線量−ヒストグラム−ボリューム情報、治療中に使用する放射線ビームの数、ビーム当たりの線量などを含めることができる。
［００４３］
画像処理計算システム１１０は、ネットワークを介して外部データベースと通信して、画像処理および放射線治療操作に関連する複数の様々なタイプのデータを送受信することができる。例えば、外部データベースは、治療装置１８０、画像取得装置１７０、または放射線治療または医療処置に関連する他の機械に関連する情報である機械データを含み得る。機械データ情報は、放射線ビームサイズ、アーク配置、ビームのオンオフ時間、機械パラメータ、セグメント、マルチリーフコリメータ（ＭＬＣ）構成、ガントリ速度、ＭＲＩパルスシーケンスなどを含み得る。外部データベースは、記憶装置であり得て、適切なデータベース管理ソフトウェアプログラムを備えることができる。更に、そのようなデータベースまたはデータソースは、中央または分散的に配置された複数のデバイスまたはシステムを含むことができる。
画像処理計算システム１１０は、ネットワークを介して外部データベースと通信して、画像処理および放射線治療操作に関連する複数の様々なタイプのデータを送受信することができる。例えば、外部データベースは、治療装置１８０、画像取得装置１７０、または放射線治療または医療処置に関連する他の機械に関連する情報である機械データを含み得る。機械データ情報は、放射線ビームサイズ、アーク配置、ビームのオンオフ時間、機械パラメータ、セグメント、マルチリーフコリメータ（ＭＬＣ）構成、ガントリ速度、ＭＲＩパルスシーケンスなどを含み得る。外部データベースは、記憶装置であり得て、適切なデータベース管理ソフトウェアプログラムを備えることができる。更に、そのようなデータベースまたはデータソースは、中央または分散的に配置された複数のデバイスまたはシステムを含むことができる。
［００４４］
画像処理計算システム１１０は、処理回路１１２およびメモリ１１４に通信的に結合された１つまたはそれ以上の通信インターフェースを使用して、ネットワークを介して、データを収集し、取得し、他のシステムと通信することができる。例えば、通信インターフェースは、画像処理計算システム１１０と放射線治療システム構成要素との間の通信接続を提供することができる（例えば、外部装置とのデータ交換を可能にする）。例えば、通信インターフェースは、いくつかの実施例では、ユーザインターフェース１４０に接続するため、出力装置１４２または入力装置１４４からの適切なインターフェース回路を有することができ、これは、ユーザが放射線治療システムに情報を入力するハードウェアキーボード、キーパッド、またはタッチスクリーンであってもよい。
画像処理計算システム１１０は、処理回路１１２およびメモリ１１４に通信的に結合された１つまたはそれ以上の通信インターフェースを使用して、ネットワークを介して、データを収集し、取得し、他のシステムと通信することができる。例えば、通信インターフェースは、画像処理計算システム１１０と放射線治療システム構成要素との間の通信接続を提供することができる（例えば、外部装置とのデータ交換を可能にする）。例えば、通信インターフェースは、いくつかの実施例では、ユーザインターフェース１４０に接続するため、出力装置１４２または入力装置１４４からの適切なインターフェース回路を有することができ、これは、ユーザが放射線治療システムに情報を入力するハードウェアキーボード、キーパッド、またはタッチスクリーンであってもよい。
［００４５］
一実施例として、出力装置１４２は、ユーザインターフェース１４０の表現と、医用画像の１つまたはそれ以上の態様、可視化、または表現を出力するディスプレイ装置を含むことができる。出力装置１４２は、医用画像、インターフェース情報、治療計画パラメータ（例えば、輪郭、線量、ビーム角、ラベル、地図など）の治療計画、標的、標的の定位および／または標的の追跡、または任意の関連情報をユーザに表示する１つまたはそれ以上のディスプレイ画面を含むことができる。ユーザインターフェース１４０に接続された入力装置１４４は、ユーザが放射線治療システムに情報を入力することができる、キーボード、キーパッド、タッチスクリーン、または任意のタイプのデバイスであってもよい。または、出力装置１４２、入力装置１４４、およびユーザインターフェース１４０の機能は、スマートフォンまたはタブレットコンピュータ、例えば、アップル社製のｉＰａｄ（登録商標）、Ｌｅｎｏｖｏ社製のＴｈｉｎｋｐａｄ（登録商標）、サムソン社製のＧａｌａｘｙ（登録商標）のような単一のデバイスに組み込むことができる。
一実施例として、出力装置１４２は、ユーザインターフェース１４０の表現と、医用画像の１つまたはそれ以上の態様、可視化、または表現を出力するディスプレイ装置を含むことができる。出力装置１４２は、医用画像、インターフェース情報、治療計画パラメータ（例えば、輪郭、線量、ビーム角、ラベル、地図など）の治療計画、標的、標的の定位および／または標的の追跡、または任意の関連情報をユーザに表示する１つまたはそれ以上のディスプレイ画面を含むことができる。ユーザインターフェース１４０に接続された入力装置１４４は、ユーザが放射線治療システムに情報を入力することができる、キーボード、キーパッド、タッチスクリーン、または任意のタイプのデバイスであってもよい。または、出力装置１４２、入力装置１４４、およびユーザインターフェース１４０の機能は、スマートフォンまたはタブレットコンピュータ、例えば、アップル社製のｉＰａｄ（登録商標）、Ｌｅｎｏｖｏ社製のＴｈｉｎｋｐａｄ（登録商標）、サムソン社製のＧａｌａｘｙ（登録商標）のような単一のデバイスに組み込むことができる。
［００４６］
更に、放射線治療システムの任意のおよびすべての構成要素は、仮想マシンとして（例えば、ＶＭＷａｒｅ、Ｈｙｐｅｒ−Ｖなどの仮想化プラットフォームを介して）実装することができる。例えば、仮想マシンは、ハードウェアとして機能するソフトウェアであることができる。したがって、仮想マシンは、少なくとも１つまたはそれ以上の仮想プロセッサ、１つまたはそれ以上の仮想メモリ、およびハードウェアとして共に機能する１つまたはそれ以上の仮想通信インターフェースを含むことができる。例えば、画像処理計算システム１１０、画像データソース１５０、または同様の構成要素は、仮想マシンとして、またはクラウドベースの仮想化環境内で実装されてもよい。
更に、放射線治療システムの任意のおよびすべての構成要素は、仮想マシンとして（例えば、ＶＭＷａｒｅ、Ｈｙｐｅｒ−Ｖなどの仮想化プラットフォームを介して）実装することができる。例えば、仮想マシンは、ハードウェアとして機能するソフトウェアであることができる。したがって、仮想マシンは、少なくとも１つまたはそれ以上の仮想プロセッサ、１つまたはそれ以上の仮想メモリ、およびハードウェアとして共に機能する１つまたはそれ以上の仮想通信インターフェースを含むことができる。例えば、画像処理計算システム１１０、画像データソース１５０、または同様の構成要素は、仮想マシンとして、またはクラウドベースの仮想化環境内で実装されてもよい。
［００４７］
セグメンテーション処理ロジック１２０または他のソフトウェアプログラムは、コンピューティングシステムが画像データソース１５０と通信して、メモリ１１４および記憶装置１１６に画像を読み込んだり、メモリ１１４または記憶装置１１６から画像データソース１５０に画像または関連データを格納したり、画像データソース１５０との間で画像データソース１５０と通信したりすることができる。例えば、画像データソース１５０は、画像取得装置１７０を介して１人またはそれ以上の患者から得られた画像データ１６０内の画像セットから、画像データソース１５０がホストする複数の画像（例えば、３ＤＭＲＩ、４ＤＭＲＩ、２ＤＭＲＩスライス画像、ＣＴ画像、２Ｄ透視画像、Ｘ線画像、ＭＲスキャンまたはＣＴスキャンからの生データ、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）メタデータなど）を格納して提供するように構成することができる。また、画像データソース１５０または他のデータベースは、セグメンテーション処理ロジック１２０がセグメンテーション演算を行うソフトウェアプログラムを実行する際、または放射線治療計画を作成する際に使用するデータを格納することができる。さらに、各種データベースは、訓練された深層学習ニューラルネットワーク、画像アトラス、または機械学習モデルによって生成されたデータであり、ネットワークによって学習されたモデルを構成するネットワークパラメータと、その結果得られる予測データとを含むデータを格納することができる。したがって、画像処理計算システム１１０は、治療または診断操作の一部として画像セグメンテーションを実行することに関連して、画像データソース１５０、画像取得装置１７０、治療装置１８０（例えば、ＭＲＩ−Ｌｉｎａｃ）、または他の情報システムから画像データ１６０（例えば、２ＤＭＲＩスライス画像、ＣＴ画像、２Ｄ透視画像、Ｘ線画像、３ＤＭＲＩ画像、４ＤＭＲＩ画像など）を取得および／または受信することができる。
セグメンテーション処理ロジック１２０または他のソフトウェアプログラムは、コンピューティングシステムが画像データソース１５０と通信して、メモリ１１４および記憶装置１１６に画像を読み込んだり、メモリ１１４または記憶装置１１６から画像データソース１５０に画像または関連データを格納したり、画像データソース１５０との間で画像データソース１５０と通信したりすることができる。例えば、画像データソース１５０は、画像取得装置１７０を介して１人またはそれ以上の患者から得られた画像データ１６０内の画像セットから、画像データソース１５０がホストする複数の画像（例えば、３ＤＭＲＩ、４ＤＭＲＩ、２ＤＭＲＩスライス画像、ＣＴ画像、２Ｄ透視画像、Ｘ線画像、ＭＲスキャンまたはＣＴスキャンからの生データ、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）メタデータなど）を格納して提供するように構成することができる。また、画像データソース１５０または他のデータベースは、セグメンテーション処理ロジック１２０がセグメンテーション演算を行うソフトウェアプログラムを実行する際、または放射線治療計画を作成する際に使用するデータを格納することができる。さらに、各種データベースは、訓練された深層学習ニューラルネットワーク、画像アトラス、または機械学習モデルによって生成されたデータであり、ネットワークによって学習されたモデルを構成するネットワークパラメータと、その結果得られる予測データとを含むデータを格納することができる。したがって、画像処理計算システム１１０は、治療または診断操作の一部として画像セグメンテーションを実行することに関連して、画像データソース１５０、画像取得装置１７０、治療装置１８０（例えば、ＭＲＩ−Ｌｉｎａｃ）、または他の情報システムから画像データ１６０（例えば、２ＤＭＲＩスライス画像、ＣＴ画像、２Ｄ透視画像、Ｘ線画像、３ＤＭＲＩ画像、４ＤＭＲＩ画像など）を取得および／または受信することができる。
［００４８］
画像取得装置１７０は、関心領域（例えば、標的臓器、標的腫瘍、またはその両方）に対する患者の解剖学的構造の１つまたはそれ以上の画像を取得するように構成され得る。各画像、典型的には２Ｄ画像またはスライスは、１つまたはそれ以上のパラメータ（例えば、２次元スライスの厚さ、向き、および位置など）を含むことができる。一実施例では、画像取得装置１７０は、任意の向きの２次元スライスを取得することができる。例えば、２次元スライスの配向は、サジタル配向、コロナ配向、またはアキシャル配向を含むことができる。処理回路１１２は、標的臓器および／または標的腫瘍を含むように、２次元スライスの厚さおよび／または向きなどの１つまたはそれ以上のパラメータを調整することができる。一実施例では、２次元スライスは、３ＤＭＲＩボリュームのような情報から決定することができる。このような２次元スライスは、患者が放射線治療を受けている間、例えば、治療装置１８０を使用しているときに、画像取得装置１７０によって「ほぼリアルタイム」で取得することができる（「ほぼリアルタイム」とは、少なくともミリ秒以下でデータを取得することを意味する）。
画像取得装置１７０は、関心領域（例えば、標的臓器、標的腫瘍、またはその両方）に対する患者の解剖学的構造の１つまたはそれ以上の画像を取得するように構成され得る。各画像、典型的には２Ｄ画像またはスライスは、１つまたはそれ以上のパラメータ（例えば、２次元スライスの厚さ、向き、および位置など）を含むことができる。一実施例では、画像取得装置１７０は、任意の向きの２次元スライスを取得することができる。例えば、２次元スライスの配向は、サジタル配向、コロナ配向、またはアキシャル配向を含むことができる。処理回路１１２は、標的臓器および／または標的腫瘍を含むように、２次元スライスの厚さおよび／または向きなどの１つまたはそれ以上のパラメータを調整することができる。一実施例では、２次元スライスは、３ＤＭＲＩボリュームのような情報から決定することができる。このような２次元スライスは、患者が放射線治療を受けている間、例えば、治療装置１８０を使用しているときに、画像取得装置１７０によって「ほぼリアルタイム」で取得することができる（「ほぼリアルタイム」とは、少なくともミリ秒以下でデータを取得することを意味する）。
［００４９］
画像処理計算システム１１０におけるセグメンテーション処理ロジック１２０は、セグメンテーションおよび画像処理操作の様々な態様を有するセグメンテーションワークフロー１３０を実装するように設計されている。一実施例では、セグメンテーション処理ロジック１２０によって動作するセグメンテーションワークフロー１３０は、深層学習セグメンテーション機能１３２（例えば、図３および図４で図示されるような深層学習モデルを使用してセグメンテーション処理を実行する）と、アトラス登録１３４（例えば、図５および図６で図示されるような深層学習オペレーションにより強化されたアトラスベースの自動セグメンテーションを実行する）と、機械学習ラベリング１３６（例えば、図７から図９で図示されるようなディープラーニング操作によって強化されたセグメンテーションのための機械学習操作を実行する）と、ラベル融合および精製１３８（例えば、図５から図９に示すように、ディープラーニング操作によって強化されたラベリング出力を実行する）の使用と統合する。明示的に描かれていない他のセグメンテーションおよび画像処理機能は、セグメンテーションワークフロー１３０に組み込むことができる。
画像処理計算システム１１０におけるセグメンテーション処理ロジック１２０は、セグメンテーションおよび画像処理操作の様々な態様を有するセグメンテーションワークフロー１３０を実装するように設計されている。一実施例では、セグメンテーション処理ロジック１２０によって動作するセグメンテーションワークフロー１３０は、深層学習セグメンテーション機能１３２（例えば、図３および図４で図示されるような深層学習モデルを使用してセグメンテーション処理を実行する）と、アトラス登録１３４（例えば、図５および図６で図示されるような深層学習オペレーションにより強化されたアトラスベースの自動セグメンテーションを実行する）と、機械学習ラベリング１３６（例えば、図７から図９で図示されるようなディープラーニング操作によって強化されたセグメンテーションのための機械学習操作を実行する）と、ラベル融合および精製１３８（例えば、図５から図９に示すように、ディープラーニング操作によって強化されたラベリング出力を実行する）の使用と統合する。明示的に描かれていない他のセグメンテーションおよび画像処理機能は、セグメンテーションワークフロー１３０に組み込むことができる。
［００５０］
セグメンテーション処理ロジック１２０およびセグメンテーションワークフロー１３０は、放射線治療計画を生成する際に、スウェーデンのストックホルムにあるエレクタＡＢ社によって製造されたＭｏｎａｃｏ（登録商標）のような治療計画ソフトウェアのようなソフトウェアプログラムの用途内で用いることができる。放射線治療計画を生成するために、画像処理計算システム１１０は、画像取得装置１７０（例えば、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、Ｘ線装置、超音波装置など）と通信して、患者の画像を取得してアクセスし、腫瘍のような標的の輪郭を描くことができる。いくつかの実施例では、腫瘍を取り囲む健康な組織または腫瘍に近接している健康な組織のような、１つまたはそれ以上のリスク臓器（ＯＡＲ）の輪郭を定めることが必要とされる。したがって、ＯＡＲが標的腫瘍に近接している場合には、ＯＡＲのセグメンテーションが行われる。さらに、標的腫瘍がＯＡＲに近接している場合（例えば、膀胱や直腸に近接している前立腺）、腫瘍からＯＡＲをセグメンテーションすることにより、放射線治療システムは、標的内だけでなく、ＯＡＲ内の線量分布を検討することができる。
セグメンテーション処理ロジック１２０およびセグメンテーションワークフロー１３０は、放射線治療計画を生成する際に、スウェーデンのストックホルムにあるエレクタＡＢ社によって製造されたＭｏｎａｃｏ（登録商標）のような治療計画ソフトウェアのようなソフトウェアプログラムの用途内で用いることができる。放射線治療計画を生成するために、画像処理計算システム１１０は、画像取得装置１７０（例えば、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、Ｘ線装置、超音波装置など）と通信して、患者の画像を取得してアクセスし、腫瘍のような標的の輪郭を描くことができる。いくつかの実施例では、腫瘍を取り囲む健康な組織または腫瘍に近接している健康な組織のような、１つまたはそれ以上のリスク臓器（ＯＡＲ）の輪郭を定めることが必要とされる。したがって、ＯＡＲが標的腫瘍に近接している場合には、ＯＡＲのセグメンテーションが行われる。さらに、標的腫瘍がＯＡＲに近接している場合（例えば、膀胱や直腸に近接している前立腺）、腫瘍からＯＡＲをセグメンテーションすることにより、放射線治療システムは、標的内だけでなく、ＯＡＲ内の線量分布を検討することができる。
［００５１］
また、ＯＡＲから標的臓器や標的腫瘍の輪郭を定めるために、放射線治療を受けている患者のＭＲＩ画像、ＣＴ画像、ＰＥＴ画像、ｆＭＲＩ画像、Ｘ線画像、超音波画像、放射線治療ポータル画像、ＳＰＥＣＴ画像等の医用画像を画像取得装置１７０により非侵襲的に取得して、身体部位の内部構造を明らかにすることができる。医用画像からの情報に基づいて、該当する解剖学的構造部分の３次元構造を取得することができる。更に、治療計画プロセスの間に、標的腫瘍の効率的な治療（例えば、標的腫瘍が効果的な治療のために十分な放射線量を受けるような）と、ＯＡＲへの低照射（例えば、ＯＡＲが可能な限り低い放射線量を受ける）との間のバランスを達成するために、多くのパラメータが考慮される。考慮される他のパラメータには、標的臓器および標的腫瘍の位置、ＯＡＲの位置、およびＯＡＲに対する標的の動きが含まれる。例えば、ＭＲＩ画像またはＣＴ画像の各２次元レイヤまたはスライス内に標的を輪郭付し、またはＯＡＲを輪郭付けし、各２次元レイヤまたはスライスの輪郭を組み合わせることにより、３次元構造を得ることができる。輪郭は、手動で（例えば、スウェーデンのストックホルムにあるエレクタＡＢ社によって製造されたＭｏｎａｃｏ（登録商標）のようなプログラムを使用して、医師、線量測定士、または医療従事者によって）、または自動で（例えば、スウェーデンのストックホルムにあるエレクタＡＢ社によって製造されたアトラスベースの自動セグメンテーションソフトウェアＡＢＡＳ（登録商標）を使用して）生成することができる。特定の実施例では、標的腫瘍またはＯＡＲの２次元または３次元構造は、セグメンテーション処理ロジック１２０を使用して、治療計画ソフトウェアによって自動的に生成することができる。
また、ＯＡＲから標的臓器や標的腫瘍の輪郭を定めるために、放射線治療を受けている患者のＭＲＩ画像、ＣＴ画像、ＰＥＴ画像、ｆＭＲＩ画像、Ｘ線画像、超音波画像、放射線治療ポータル画像、ＳＰＥＣＴ画像等の医用画像を画像取得装置１７０により非侵襲的に取得して、身体部位の内部構造を明らかにすることができる。医用画像からの情報に基づいて、該当する解剖学的構造部分の３次元構造を取得することができる。更に、治療計画プロセスの間に、標的腫瘍の効率的な治療（例えば、標的腫瘍が効果的な治療のために十分な放射線量を受けるような）と、ＯＡＲへの低照射（例えば、ＯＡＲが可能な限り低い放射線量を受ける）との間のバランスを達成するために、多くのパラメータが考慮される。考慮される他のパラメータには、標的臓器および標的腫瘍の位置、ＯＡＲの位置、およびＯＡＲに対する標的の動きが含まれる。例えば、ＭＲＩ画像またはＣＴ画像の各２次元レイヤまたはスライス内に標的を輪郭付し、またはＯＡＲを輪郭付けし、各２次元レイヤまたはスライスの輪郭を組み合わせることにより、３次元構造を得ることができる。輪郭は、手動で（例えば、スウェーデンのストックホルムにあるエレクタＡＢ社によって製造されたＭｏｎａｃｏ（登録商標）のようなプログラムを使用して、医師、線量測定士、または医療従事者によって）、または自動で（例えば、スウェーデンのストックホルムにあるエレクタＡＢ社によって製造されたアトラスベースの自動セグメンテーションソフトウェアＡＢＡＳ（登録商標）を使用して）生成することができる。特定の実施例では、標的腫瘍またはＯＡＲの２次元または３次元構造は、セグメンテーション処理ロジック１２０を使用して、治療計画ソフトウェアによって自動的に生成することができる。
［００５２］
標的腫瘍およびＯＡＲの位置が特定され、境界が定められた後、線量測定者、医師または医療従事者は、標的腫瘍に適用される放射線の線量を、および腫瘍に近接したＯＡＲ（例えば、左右の耳下腺、視神経、目、水晶体、内耳、脊髄、脳幹など）が受け得る最大線量と共に決定することができる。各解剖学的構造（例えば、標的腫瘍、ＯＡＲ）について放射線量が決定された後、所望の放射線量分布を達成するであろう１つまたはそれ以上の治療計画パラメータを決定するために、逆計画（inverse planning）として知られているプロセスを実行することができる。治療計画パラメータの例としては、ボリュームデリネレーションパラメータ（volume delineation parameter）（例えば、標的ボリュームを定める、敏感な構造を輪郭付けする、など）、標的腫瘍およびＯＡＲの周囲のマージン、ビーム角度の選択、コリメータの設定、ビームオン時間が含まれる。逆計画プロセス中、医師は、ＯＡＲが受ける可能性のある放射線量の境界を設定する線量制約パラメータを定めること（例えば、腫瘍標的への全線量と任意のＯＡＲへのゼロ線量を定めること；脊髄、脳幹、および視覚構造が、それぞれ、４５Ｇｙ以下の線量、５５Ｇｙ以下の線量、および５４Ｇｙより低い線量を受けると定めること）ができる。逆計画の結果は、保存され得る放射線治療計画を構成することができる。これらの治療パラメータのいくつかは相関している可能性がある。例えば、治療計画を変更しようとして１つのパラメータ（例えば、標的腫瘍への投与量を増加させるなどの異なる目的のための重み）を調整すると、少なくとも１つの他のパラメータに影響を与え、その結果、異なる治療計画を開発される可能性がある。このように、画像処理計算システム１１０は、治療装置１８０が患者に適切な放射線治療を提供するために、これらのパラメータを有する調整された放射線治療計画を生成することができる。
標的腫瘍およびＯＡＲの位置が特定され、境界が定められた後、線量測定者、医師または医療従事者は、標的腫瘍に適用される放射線の線量を、および腫瘍に近接したＯＡＲ（例えば、左右の耳下腺、視神経、目、水晶体、内耳、脊髄、脳幹など）が受け得る最大線量と共に決定することができる。各解剖学的構造（例えば、標的腫瘍、ＯＡＲ）について放射線量が決定された後、所望の放射線量分布を達成するであろう１つまたはそれ以上の治療計画パラメータを決定するために、逆計画（inverse planning）として知られているプロセスを実行することができる。治療計画パラメータの例としては、ボリュームデリネレーションパラメータ（volume delineation parameter）（例えば、標的ボリュームを定める、敏感な構造を輪郭付けする、など）、標的腫瘍およびＯＡＲの周囲のマージン、ビーム角度の選択、コリメータの設定、ビームオン時間が含まれる。逆計画プロセス中、医師は、ＯＡＲが受ける可能性のある放射線量の境界を設定する線量制約パラメータを定めること（例えば、腫瘍標的への全線量と任意のＯＡＲへのゼロ線量を定めること；脊髄、脳幹、および視覚構造が、それぞれ、４５Ｇｙ以下の線量、５５Ｇｙ以下の線量、および５４Ｇｙより低い線量を受けると定めること）ができる。逆計画の結果は、保存され得る放射線治療計画を構成することができる。これらの治療パラメータのいくつかは相関している可能性がある。例えば、治療計画を変更しようとして１つのパラメータ（例えば、標的腫瘍への投与量を増加させるなどの異なる目的のための重み）を調整すると、少なくとも１つの他のパラメータに影響を与え、その結果、異なる治療計画を開発される可能性がある。このように、画像処理計算システム１１０は、治療装置１８０が患者に適切な放射線治療を提供するために、これらのパラメータを有する調整された放射線治療計画を生成することができる。
［００５３］
図２は、Ｘ線源または線形加速器などの放射線源、カウチ２１６、撮像検出器２１４、および放射線治療出力２０４を含む、例示的な画像誘導の放射線治療装置２０２を示す。放射線治療装置２０２は、患者に治療を提供するために放射線ビーム２０８を放出するように構成されている。放射線治療出力２０４は、マルチリーフコリメータ（ＭＬＣ）などの１つまたはそれ以上の減衰器またはコリメータを含むことができる。
図２は、Ｘ線源または線形加速器などの放射線源、カウチ２１６、撮像検出器２１４、および放射線治療出力２０４を含む、例示的な画像誘導の放射線治療装置２０２を示す。放射線治療装置２０２は、患者に治療を提供するために放射線ビーム２０８を放出するように構成されている。放射線治療出力２０４は、マルチリーフコリメータ（ＭＬＣ）などの１つまたはそれ以上の減衰器またはコリメータを含むことができる。
［００５４］
一実施例として、患者は、治療カウチ２１６によって支持された領域２１２に位置決めされ、放射線治療計画（例えば、図１の放射線治療システムによって生成された治療計画）に従って放射線治療線量を受けることができる。放射線治療出力２０４は、ガントリ２０６または他の機械的支持体に載せられまたは取り付けられることができる。１つまたはそれ以上のシャーシモータ（図示せず）は、カウチ２１６が治療領域に挿入されたときに、ガントリ２０６および放射線治療出力２０４をカウチ２１６の周りで回転させることができる。一実施例では、ガントリ２０６は、カウチ２１６が処置領域内に挿入されたときに、カウチ２１６の周りで連続的に回転可能とすることができる。別の実施例では、ガントリ２０６は、カウチ２１６が処置領域内に挿入されたときに、所定の位置まで回転することができる。例えば、ガントリ２０６は、治療出力２０４を軸（「Ａ」）の周りに回転させるように構成することができる。カウチ２１６および放射線治療出力２０４の両方は、横方向（「Ｔ」）に移動可能、横方向（「Ｌ」）に移動可能、または、横軸（「Ｒ」と表示）を中心とした回転のように１つまたは複数の周りの回転のように、患者の周りの他の位置に独立して移動可能である。１つまたはそれ以上のアクチュエータ（図示せず）に通信的に接続されたコントローラは、放射線治療計画に従って患者を放射線ビーム２０８内または放射線ビーム２０８外に適切に位置決めするために、カウチ２１６の動きまたは回転を制御することができる。カウチ２１６とガントリ２０６の両方が互いに独立して複数の自由度で移動可能であるため、放射線ビーム２０８が正確に腫瘍を標的とすることができるように患者を位置決めすることができる。
一実施例として、患者は、治療カウチ２１６によって支持された領域２１２に位置決めされ、放射線治療計画（例えば、図１の放射線治療システムによって生成された治療計画）に従って放射線治療線量を受けることができる。放射線治療出力２０４は、ガントリ２０６または他の機械的支持体に載せられまたは取り付けられることができる。１つまたはそれ以上のシャーシモータ（図示せず）は、カウチ２１６が治療領域に挿入されたときに、ガントリ２０６および放射線治療出力２０４をカウチ２１６の周りで回転させることができる。一実施例では、ガントリ２０６は、カウチ２１６が処置領域内に挿入されたときに、カウチ２１６の周りで連続的に回転可能とすることができる。別の実施例では、ガントリ２０６は、カウチ２１６が処置領域内に挿入されたときに、所定の位置まで回転することができる。例えば、ガントリ２０６は、治療出力２０４を軸（「Ａ」）の周りに回転させるように構成することができる。カウチ２１６および放射線治療出力２０４の両方は、横方向（「Ｔ」）に移動可能、横方向（「Ｌ」）に移動可能、または、横軸（「Ｒ」と表示）を中心とした回転のように１つまたは複数の周りの回転のように、患者の周りの他の位置に独立して移動可能である。１つまたはそれ以上のアクチュエータ（図示せず）に通信的に接続されたコントローラは、放射線治療計画に従って患者を放射線ビーム２０８内または放射線ビーム２０８外に適切に位置決めするために、カウチ２１６の動きまたは回転を制御することができる。カウチ２１６とガントリ２０６の両方が互いに独立して複数の自由度で移動可能であるため、放射線ビーム２０８が正確に腫瘍を標的とすることができるように患者を位置決めすることができる。
［００５５］
図２に示す座標系（軸Ａ、Ｔ、Ｌを含む）は、アイソセンタ２１０に位置する原点を有する。アイソセンタは、患者上または患者内の場所に所定の放射線量を送達するように、放射線治療ビーム２０８の中心軸が座標軸の原点と交差する位置として定義することができる。または、アイソセンタ２１０は、ガントリ２０６によって軸Ａの周りに位置決めされた放射線治療出力２０４の様々な回転位置から放射線治療ビーム２０８の中心軸が患者と交差する位置として定義することができる。
図２に示す座標系（軸Ａ、Ｔ、Ｌを含む）は、アイソセンタ２１０に位置する原点を有する。アイソセンタは、患者上または患者内の場所に所定の放射線量を送達するように、放射線治療ビーム２０８の中心軸が座標軸の原点と交差する位置として定義することができる。または、アイソセンタ２１０は、ガントリ２０６によって軸Ａの周りに位置決めされた放射線治療出力２０４の様々な回転位置から放射線治療ビーム２０８の中心軸が患者と交差する位置として定義することができる。
［００５６］
また、ガントリ２０６は、取り付けられた撮像検出器２１４を有し得る。撮像検出器２１４は、好ましくは、放射線源（出力２０４）に対向して配置することができ、一実施例では、撮像検出器２１４は、治療ビーム２０８のフィールド内に配置することができる。
また、ガントリ２０６は、取り付けられた撮像検出器２１４を有し得る。撮像検出器２１４は、好ましくは、放射線源（出力２０４）に対向して配置することができ、一実施例では、撮像検出器２１４は、治療ビーム２０８のフィールド内に配置することができる。
［００５７］
撮像検出器２１４は、治療ビーム２０８とのアライメントを維持するように、好ましくは放射線治療出力２０４に対向するガントリ２０６に取り付けられ得る。撮像検出器２１４は、ガントリ２０６の回転に伴って回転軸を中心に回転する。例示的な実施形態では、撮像検出器２１４は、フラットパネル検出器（例えば、直接検出器またはシンチレータ検出器）とすることができる。このように、撮像検出器２１４は、治療ビーム２０８を監視するために使用することができ、または、撮像検出器２１４は、ポータルイメージングのような患者の解剖学的な撮像のために使用することができる。放射線治療装置２０２の制御回路は、放射線治療システム内に統合されてもよいし、放射線治療システムとは別個であってもよい。
撮像検出器２１４は、治療ビーム２０８とのアライメントを維持するように、好ましくは放射線治療出力２０４に対向するガントリ２０６に取り付けられ得る。撮像検出器２１４は、ガントリ２０６の回転に伴って回転軸を中心に回転する。例示的な実施形態では、撮像検出器２１４は、フラットパネル検出器（例えば、直接検出器またはシンチレータ検出器）とすることができる。このように、撮像検出器２１４は、治療ビーム２０８を監視するために使用することができ、または、撮像検出器２１４は、ポータルイメージングのような患者の解剖学的な撮像のために使用することができる。放射線治療装置２０２の制御回路は、放射線治療システム内に統合されてもよいし、放射線治療システムとは別個であってもよい。
［００５８］
例示的な実施例では、カウチ２１６、治療出力２０４、またはガントリ２０６のうちの１つまたはそれ以上が自動的に位置決めされ、治療出力２０４は、特定の治療送達インスタンスのための指定された用量に従って治療ビーム２０８を確立することができる。ガントリ２０６、カウチ２１６、または治療出力２０４の１つまたはそれ以上の異なる向きまたは位置を使用するような、放射線治療計画に応じて、治療送達のシーケンスを指定することができる。治療の送達は、順次行うことができるが、アイソセンタ２１０のような患者上または患者内の所望の治療部位で交差することができる。所定の累積線量の放射線治療は、それによって治療部位に送達され得る一方で、治療部位の近くの組織への損傷を減少させるか、または回避することができる。
例示的な実施例では、カウチ２１６、治療出力２０４、またはガントリ２０６のうちの１つまたはそれ以上が自動的に位置決めされ、治療出力２０４は、特定の治療送達インスタンスのための指定された用量に従って治療ビーム２０８を確立することができる。ガントリ２０６、カウチ２１６、または治療出力２０４の１つまたはそれ以上の異なる向きまたは位置を使用するような、放射線治療計画に応じて、治療送達のシーケンスを指定することができる。治療の送達は、順次行うことができるが、アイソセンタ２１０のような患者上または患者内の所望の治療部位で交差することができる。所定の累積線量の放射線治療は、それによって治療部位に送達され得る一方で、治療部位の近くの組織への損傷を減少させるか、または回避することができる。
［００５９］
したがって、図２は、放射線治療出力が中心軸（例えば、軸「Ａ」）を中心に回転可能な構成を有する、患者に放射線治療を提供するために操作可能な放射線治療装置２０２の例を具体的に示す。他の放射線治療の出力構成を使用することができる。例えば、放射線治療出力は、複数の自由度を有するロボットアームまたはマニピュレータに取り付けることができる。更に別の実施例では、治療出力は、患者から横方向に分離された領域に位置するように固定され、患者を支持するプラットフォームは、放射線治療アイソセンタを患者内の特定の標的軌跡に整列させるために使用され得る。別の実施例では、放射線治療装置は、線形加速器と画像取得装置との組み合わせとすることができる。いくつかの実施例では、画像取得装置は、当業者により認識されるように、ＭＲＩ、Ｘ線、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、光断層撮影、蛍光撮影、超音波撮影、または放射線治療ポータル撮像装置などであってもよい。
したがって、図２は、放射線治療出力が中心軸（例えば、軸「Ａ」）を中心に回転可能な構成を有する、患者に放射線治療を提供するために操作可能な放射線治療装置２０２の例を具体的に示す。他の放射線治療の出力構成を使用することができる。例えば、放射線治療出力は、複数の自由度を有するロボットアームまたはマニピュレータに取り付けることができる。更に別の実施例では、治療出力は、患者から横方向に分離された領域に位置するように固定され、患者を支持するプラットフォームは、放射線治療アイソセンタを患者内の特定の標的軌跡に整列させるために使用され得る。別の実施例では、放射線治療装置は、線形加速器と画像取得装置との組み合わせとすることができる。いくつかの実施例では、画像取得装置は、当業者により認識されるように、ＭＲＩ、Ｘ線、ＣＴ、ＣＢＣＴ、スパイラルＣＴ、ＰＥＴ、ＳＰＥＣＴ、光断層撮影、蛍光撮影、超音波撮影、または放射線治療ポータル撮像装置などであってもよい。
［００６０］
図３は、深層畳み込みニューラルネットワーク（ＣＮＮ）のような深層学習モデルを訓練し、セグメンテーション操作を実行するために使用することができる、深層学習オペレーションの例示的なフロー図である。例えば、図３の深層学習モデルは、図１の放射線治療システムにおけるセグメンテーション処理ロジック１２０の一部として提供される深層学習セグメンテーション機能１３２を含むことができる。
図３は、深層畳み込みニューラルネットワーク（ＣＮＮ）のような深層学習モデルを訓練し、セグメンテーション操作を実行するために使用することができる、深層学習オペレーションの例示的なフロー図である。例えば、図３の深層学習モデルは、図１の放射線治療システムにおけるセグメンテーション処理ロジック１２０の一部として提供される深層学習セグメンテーション機能１３２を含むことができる。
［００６１］
一実施例では、深層学習オペレーションのための入力３０４は、値の初期セットおよび訓練データを受信または取得した定義された深層学習モデルを含むことができる。訓練データは、例えば、グラウンドトゥルースセグメンテーションラベル、輪郭、およびセグメンテーション特徴の他の識別子を有する数百または数千の画像を含み得る。深層学習モデルは、後述の図４を参照して説明した深層ＣＮＮモデルのような人工ニューラルネットワークを含むように構成することができる。深層学習ネットワークは、オンラインまたはオフラインの訓練方法の一部として、特定のセグメンテーションおよび放射線治療のユースケースに統合された形として訓練することができる（そして、オペレーションパラメータまたはユースケースからの追加の訓練データで調整または再トレーニングすることができる）。例えば、一連の画像に対して訓練された場合、深層学習ネットワークは、新しい対象画像の分類、確率、または他の予測結果の形での指示を生成するために使用することができる。
一実施例では、深層学習オペレーションのための入力３０４は、値の初期セットおよび訓練データを受信または取得した定義された深層学習モデルを含むことができる。訓練データは、例えば、グラウンドトゥルースセグメンテーションラベル、輪郭、およびセグメンテーション特徴の他の識別子を有する数百または数千の画像を含み得る。深層学習モデルは、後述の図４を参照して説明した深層ＣＮＮモデルのような人工ニューラルネットワークを含むように構成することができる。深層学習ネットワークは、オンラインまたはオフラインの訓練方法の一部として、特定のセグメンテーションおよび放射線治療のユースケースに統合された形として訓練することができる（そして、オペレーションパラメータまたはユースケースからの追加の訓練データで調整または再トレーニングすることができる）。例えば、一連の画像に対して訓練された場合、深層学習ネットワークは、新しい対象画像の分類、確率、または他の予測結果の形での指示を生成するために使用することができる。
［００６２］
深層学習モデルのトレーニング３０８の間、訓練データのバッチは、既存の画像データセットから選択されるか、または提供され得る。選択された訓練データは、患者画像のセットと、患者画像内の解剖学的構造、特徴、または特性を識別する対応するグラウンドトゥルースセグメンテーションラベルとを含むことができる。深層学習モデルにおける様々なアルゴリズムを、選択された訓練データに適用することができ、次に、期待される結果（例えば、セグメンテーションラベルに対応するグラウンドトゥルースセグメンテーション値）と比較して、訓練エラーの指標を提供する差を計算することができる。誤差は、バックプロパゲーションと呼ばれる手順の間に使用され、後続の試行の間にセグメンテーション値の推定値の誤差を減少させるか、または最小化するように、深層学習ネットワークのパラメータの誤差（例えば、レイヤノードの重みおよびバイアス）を修正することができる。誤差は、指定された訓練反復回数に対して持続的最小値に進むように、予め定められた基準と比較される。誤差が所定の基準を満たさない場合には、バックプロパゲーションを用いて深層学習モデルのモデルパラメータを更新し、深層学習モデル訓練の別の反復に対して期待される結果が分析されるように、訓練データセットから別のバッチの訓練データを選択することができる。誤差が所定の基準を満たす場合には、訓練は終了し、訓練されたモデルは、訓練データとは異なる対象画像のセグメンテーション結果を予測するために、（更なるテスト段階または推論段階を含む）深層学習予測段階３１２の間に展開することができる。このようにして、訓練されたモデルは、新しい画像データを受信して解析し、新しい画像データに対する予測結果（例えば、セグメンテーション分類、ラベル、マッピング、確率など）を提供するために利用することができる。
深層学習モデルのトレーニング３０８の間、訓練データのバッチは、既存の画像データセットから選択されるか、または提供され得る。選択された訓練データは、患者画像のセットと、患者画像内の解剖学的構造、特徴、または特性を識別する対応するグラウンドトゥルースセグメンテーションラベルとを含むことができる。深層学習モデルにおける様々なアルゴリズムを、選択された訓練データに適用することができ、次に、期待される結果（例えば、セグメンテーションラベルに対応するグラウンドトゥルースセグメンテーション値）と比較して、訓練エラーの指標を提供する差を計算することができる。誤差は、バックプロパゲーションと呼ばれる手順の間に使用され、後続の試行の間にセグメンテーション値の推定値の誤差を減少させるか、または最小化するように、深層学習ネットワークのパラメータの誤差（例えば、レイヤノードの重みおよびバイアス）を修正することができる。誤差は、指定された訓練反復回数に対して持続的最小値に進むように、予め定められた基準と比較される。誤差が所定の基準を満たさない場合には、バックプロパゲーションを用いて深層学習モデルのモデルパラメータを更新し、深層学習モデル訓練の別の反復に対して期待される結果が分析されるように、訓練データセットから別のバッチの訓練データを選択することができる。誤差が所定の基準を満たす場合には、訓練は終了し、訓練されたモデルは、訓練データとは異なる対象画像のセグメンテーション結果を予測するために、（更なるテスト段階または推論段階を含む）深層学習予測段階３１２の間に展開することができる。このようにして、訓練されたモデルは、新しい画像データを受信して解析し、新しい画像データに対する予測結果（例えば、セグメンテーション分類、ラベル、マッピング、確率など）を提供するために利用することができる。
［００６３］
したがって、深層学習モデルのトレーニング３０８および予測３１２（展開）の間に、深層学習モデルのコンボリューション層（畳み込み層）内の多数のパラメータを変更し、モデル出力を期待される状態に最適化するために適用することができる。医用画像特徴認識の面では、実世界の様々な画像使用例を処理するためにモデルのパラメータをうまく訓練し、可能な限りグラウンドトゥルースに近い予測値を生成するためには、非常に多くの訓練データセットが必要である。しかし、異なる患者や画像ソースからの医用画像のばらつきが大きく、多くの異なるセグメンテーション経路や好みがあり、また、訓練データから深層学習モデルを訓練することの矛盾や難しさから、深層学習は医用画像のセグメンテーションにスタンドアローンのソリューションを提供できない可能性がある。したがって、以下の段落で議論されるように、深層学習データと予測を様々なアトラスベースの自動セグメンテーションプロセスに統合することは、既存のセグメンテーションアプローチに比べて大きな利点を持つ効果的なハイブリッドアプローチを提供することができる。
したがって、深層学習モデルのトレーニング３０８および予測３１２（展開）の間に、深層学習モデルのコンボリューション層（畳み込み層）内の多数のパラメータを変更し、モデル出力を期待される状態に最適化するために適用することができる。医用画像特徴認識の面では、実世界の様々な画像使用例を処理するためにモデルのパラメータをうまく訓練し、可能な限りグラウンドトゥルースに近い予測値を生成するためには、非常に多くの訓練データセットが必要である。しかし、異なる患者や画像ソースからの医用画像のばらつきが大きく、多くの異なるセグメンテーション経路や好みがあり、また、訓練データから深層学習モデルを訓練することの矛盾や難しさから、深層学習は医用画像のセグメンテーションにスタンドアローンのソリューションを提供できない可能性がある。したがって、以下の段落で議論されるように、深層学習データと予測を様々なアトラスベースの自動セグメンテーションプロセスに統合することは、既存のセグメンテーションアプローチに比べて大きな利点を持つ効果的なハイブリッドアプローチを提供することができる。
［００６４］
前述のように、放射線治療計画における解剖学的構造物の輪郭形成とラベリングを行うために、様々なアトラスベースの自動セグメンテーション手法が開発されてきた。アトラスベースの自動セグメンテーション手法は、参照画像、具体的にはアトラスにおいて予め定義された解剖学的構成に基づいて、新しい（対象）画像内の輪郭をマッピングする。いくつかのアトラス登録方法は非常に有効になってきているが、臓器によっては患者によって形状や大きさが異なったり、同じ患者でも段階によって大きく変形したりすることがある。これにより、登録精度が低下し、アトラスベースの自動セグメンテーション手法で実行される自動セグメンテーションに影響を与えたり、アトラスベースの手法の使用が完全にできなくなったりすることがある。
前述のように、放射線治療計画における解剖学的構造物の輪郭形成とラベリングを行うために、様々なアトラスベースの自動セグメンテーション手法が開発されてきた。アトラスベースの自動セグメンテーション手法は、参照画像、具体的にはアトラスにおいて予め定義された解剖学的構成に基づいて、新しい（対象）画像内の輪郭をマッピングする。いくつかのアトラス登録方法は非常に有効になってきているが、臓器によっては患者によって形状や大きさが異なったり、同じ患者でも段階によって大きく変形したりすることがある。これにより、登録精度が低下し、アトラスベースの自動セグメンテーション手法で実行される自動セグメンテーションに影響を与えたり、アトラスベースの手法の使用が完全にできなくなったりすることがある。
［００６５］
アトラスベースの自動セグメンテーション手法を含むセグメンテーションワークフローの態様に深層学習モデルからの情報を統合することで、アトラスの使用にのみ依存している従来の手法に比べて大幅に改善される可能性がある。また、セグメンテーションのワークフローの態様に深層学習モデルと人工ニューラルネットワーク操作を使用することは、画像のセグメンテーションに対する機械学習アプローチや深層学習の排他的な使用に依存してきたアプローチよりも利点がある。以下の実施例で説明するように、深層学習モデルから生成または予測されたセグメンテーションデータは、アトラスベースの自動セグメンテーション方法の様々な段階に統合されてもよく、深層学習とアトラスベースの画像登録（および、適用可能な場合には、機械学習による分類）の長所を強調するセグメンテーションのためのハイブリッドアプローチを提示する。
アトラスベースの自動セグメンテーション手法を含むセグメンテーションワークフローの態様に深層学習モデルからの情報を統合することで、アトラスの使用にのみ依存している従来の手法に比べて大幅に改善される可能性がある。また、セグメンテーションのワークフローの態様に深層学習モデルと人工ニューラルネットワーク操作を使用することは、画像のセグメンテーションに対する機械学習アプローチや深層学習の排他的な使用に依存してきたアプローチよりも利点がある。以下の実施例で説明するように、深層学習モデルから生成または予測されたセグメンテーションデータは、アトラスベースの自動セグメンテーション方法の様々な段階に統合されてもよく、深層学習とアトラスベースの画像登録（および、適用可能な場合には、機械学習による分類）の長所を強調するセグメンテーションのためのハイブリッドアプローチを提示する。
［００６６］
画像のセグメンテーションオペレーションのために生成される例示的な深層学習モデルは、畳み込みニューラルネットワーク（ＣＮＮ）で構成される。ＣＮＮは、教師付き学習によって訓練できる機械学習アルゴリズムの一種である。教師付き学習は、訓練データのセットが与えられた予測モデルを推論する機械学習の一分野である。訓練データの個々のサンプルは、それぞれ、データセット（例えば、画像）および所望の出力値またはデータセットを含むペアである。教師付き学習アルゴリズムは、訓練データを分析して予測関数を生成する。予測関数は、一旦訓練によって導出されると、有効な入力に対する正しい出力値またはデータセットを合理的に予測または推定することができる。予測関数は、様々な機械学習モデル、アルゴリズム、および／またはプロセスに基づいて定式化することができる。
画像のセグメンテーションオペレーションのために生成される例示的な深層学習モデルは、畳み込みニューラルネットワーク（ＣＮＮ）で構成される。ＣＮＮは、教師付き学習によって訓練できる機械学習アルゴリズムの一種である。教師付き学習は、訓練データのセットが与えられた予測モデルを推論する機械学習の一分野である。訓練データの個々のサンプルは、それぞれ、データセット（例えば、画像）および所望の出力値またはデータセットを含むペアである。教師付き学習アルゴリズムは、訓練データを分析して予測関数を生成する。予測関数は、一旦訓練によって導出されると、有効な入力に対する正しい出力値またはデータセットを合理的に予測または推定することができる。予測関数は、様々な機械学習モデル、アルゴリズム、および／またはプロセスに基づいて定式化することができる。
［００６７］
ＣＮＮモデルのアーキテクチャは、入力を出力に変換する別個のレイヤのスタックを含む。異なるレイヤの例は、１つまたはそれ以上のコンボリューション層、非線形演算子層（整流化線形単位（ＲｅＬｕ）関数、シグモイド関数、または双曲正接関数など）、プーリング層またはサブサンプリング層、完全接続層、および／または最終損失層を含むことができる。各層（レイヤ）は、１つの上流層と１つの下流層とを接続することができる。入力は入力層とみなし、出力は最終的な出力層とみなしてもよい。
ＣＮＮモデルのアーキテクチャは、入力を出力に変換する別個のレイヤのスタックを含む。異なるレイヤの例は、１つまたはそれ以上のコンボリューション層、非線形演算子層（整流化線形単位（ＲｅＬｕ）関数、シグモイド関数、または双曲正接関数など）、プーリング層またはサブサンプリング層、完全接続層、および／または最終損失層を含むことができる。各層（レイヤ）は、１つの上流層と１つの下流層とを接続することができる。入力は入力層とみなし、出力は最終的な出力層とみなしてもよい。
［００６８］
ＣＮＮモデルの性能と学習能力を高めるために、異なる層の数を選択的に増やすことができる。入力層から出力層までの中間層の数が非常に多くなると，ＣＮＮモデルのアーキテクチャの複雑さが増す．中間層の数が多いＣＮＮモデルをディープＣＮＮモデルと呼ぶ。例えば、いくつかの深層ＣＮＮモデルは、２０から３０層以上の層（レイヤ）を含んでもよく、他の深層ＣＮＮモデルは、数百層以上の層（レイヤ）を含んでもよい。深層ＣＮＮモデルの例としては，ＡｌｅｘＮｅｔ，ＶＧＧＮｅｔ，ＧｏｏｇＬｅＮｅｔ，ＲｅｓＮｅｔなどがある。
ＣＮＮモデルの性能と学習能力を高めるために、異なる層の数を選択的に増やすことができる。入力層から出力層までの中間層の数が非常に多くなると，ＣＮＮモデルのアーキテクチャの複雑さが増す．中間層の数が多いＣＮＮモデルをディープＣＮＮモデルと呼ぶ。例えば、いくつかの深層ＣＮＮモデルは、２０から３０層以上の層（レイヤ）を含んでもよく、他の深層ＣＮＮモデルは、数百層以上の層（レイヤ）を含んでもよい。深層ＣＮＮモデルの例としては，ＡｌｅｘＮｅｔ，ＶＧＧＮｅｔ，ＧｏｏｇＬｅＮｅｔ，ＲｅｓＮｅｔなどがある。
［００６９］
本開示は、セグメンテーションおよび特徴ラベル付けワークフローに関連して、医用画像の解剖学的構造をセグメンテーションするために、ＣＮＮモデル、特に深層ＣＮＮモデルの強力な学習能力を採用する。開示された実施例によれば、医用画像のセグメンテーションは、入力３次元画像の各ボクセル、または入力２次元画像の各ピクセルを解剖学的構造でラベル付けまたは分類するために、訓練されたＣＮＮモデルを使用して実行することができる。有利なことは、本開示の実施形態における画像セグメンテーションのためのＣＮＮモデルの使用は、（従来の機械学習法でしばしば必要とされるような）手動での特徴抽出を必要とせずに、大規模な訓練実例のセットから解剖学的構造物の自動セグメンテーションを可能にする。更に、図５から図９を参照して説明されているように、ＣＮＮモデルからのデータの使用は、アトラスベースのセグメンテーションの画像登録およびラベリングの態様の両方について、アトラスベースのセグメンテーションおよびラベリングオペレーションに大きな利点を提供することができる。
本開示は、セグメンテーションおよび特徴ラベル付けワークフローに関連して、医用画像の解剖学的構造をセグメンテーションするために、ＣＮＮモデル、特に深層ＣＮＮモデルの強力な学習能力を採用する。開示された実施例によれば、医用画像のセグメンテーションは、入力３次元画像の各ボクセル、または入力２次元画像の各ピクセルを解剖学的構造でラベル付けまたは分類するために、訓練されたＣＮＮモデルを使用して実行することができる。有利なことは、本開示の実施形態における画像セグメンテーションのためのＣＮＮモデルの使用は、（従来の機械学習法でしばしば必要とされるような）手動での特徴抽出を必要とせずに、大規模な訓練実例のセットから解剖学的構造物の自動セグメンテーションを可能にする。更に、図５から図９を参照して説明されているように、ＣＮＮモデルからのデータの使用は、アトラスベースのセグメンテーションの画像登録およびラベリングの態様の両方について、アトラスベースのセグメンテーションおよびラベリングオペレーションに大きな利点を提供することができる。
［００７０］
本明細書で使用されるように、開示されたセグメンテーション方法およびワークフローによって使用される深層学習モデルは、畳み込みニューラルネットワークのフレームワークに基づいて定式化され、適応され、または修正された任意のニューラルネットワークモデルを指し示すことができる。例えば、本開示の実施形態においてセグメンテーションに使用される深層学習モデルは、入力層と出力層との間の中間層、例えば、１つまたはそれ以上のデコンボリューション層、アップサンプリング層またはアッププーリング層、ピクセル単位の予測層、および／またはコピー層およびクロップ演算子層を選択的に含む。
本明細書で使用されるように、開示されたセグメンテーション方法およびワークフローによって使用される深層学習モデルは、畳み込みニューラルネットワークのフレームワークに基づいて定式化され、適応され、または修正された任意のニューラルネットワークモデルを指し示すことができる。例えば、本開示の実施形態においてセグメンテーションに使用される深層学習モデルは、入力層と出力層との間の中間層、例えば、１つまたはそれ以上のデコンボリューション層、アップサンプリング層またはアッププーリング層、ピクセル単位の予測層、および／またはコピー層およびクロップ演算子層を選択的に含む。
［００７１］
図４は、画像セグメンテーションのためのＣＮＮモデルに実装された深層学習モデルの簡略化された一実施例を示す。図４に示すように、画像セグメンテーションのためのＣＮＮモデル４１０は、隣接する２次元画像のスタックを入力として受け取り、画像の１つ（例えば、スタックの中央にある画像）の予測された２次元ラベルマップを出力する。ＣＮＮモデルから生成された２次元ラベルマップは、特徴抽出およびラベリングに基づいて、スタック内の１枚、２枚またはそれ以上の画像の構造ラベルを提供する。
図４は、画像セグメンテーションのためのＣＮＮモデルに実装された深層学習モデルの簡略化された一実施例を示す。図４に示すように、画像セグメンテーションのためのＣＮＮモデル４１０は、隣接する２次元画像のスタックを入力として受け取り、画像の１つ（例えば、スタックの中央にある画像）の予測された２次元ラベルマップを出力する。ＣＮＮモデルから生成された２次元ラベルマップは、特徴抽出およびラベリングに基づいて、スタック内の１枚、２枚またはそれ以上の画像の構造ラベルを提供する。
［００７２］
図４に示すように、ＣＮＮモデル４１０は、一般に、第１の特徴抽出部４２０と第２のピクセル単位ラベリング部４３０の２つの部分を含む。特徴抽出部４２０は、例えば、隣接する２次元画像の入力スタック４２２の１つまたはそれ以上の特徴を抽出する。以下の実施例では、３次元データの集合を構成する２次元画像のスタックから解剖学的特徴のセグメンテーションを行う。しかし、ＣＮＮモデル４１０の以下のセグメンテーションの実施例および設計は、個々の２次元画像または他のフォームの医用画像データのセグメンテーションまたは分類を実行するためにも適用することができる。
図４に示すように、ＣＮＮモデル４１０は、一般に、第１の特徴抽出部４２０と第２のピクセル単位ラベリング部４３０の２つの部分を含む。特徴抽出部４２０は、例えば、隣接する２次元画像の入力スタック４２２の１つまたはそれ以上の特徴を抽出する。以下の実施例では、３次元データの集合を構成する２次元画像のスタックから解剖学的特徴のセグメンテーションを行う。しかし、ＣＮＮモデル４１０の以下のセグメンテーションの実施例および設計は、個々の２次元画像または他のフォームの医用画像データのセグメンテーションまたは分類を実行するためにも適用することができる。
［００７３］
一実施例では、特徴抽出部４２０は、畳み込みニューラルネットワーク４２４を使用して、隣接する２次元画像の入力スタック４２２を受信し、入力スタックの特徴を表す少なくとも１つの特徴ベクトルまたは行列を出力する。ピクセル単位ラベリング部４３０は、特徴抽出部４２０の出力を用いて、隣接する２次元画像の入力スタック４２２の中間画像４２６の２次元ラベルマップ４３２を予測する。ピクセル単位ラベリング部４３０は、パッチベースのアプローチや完全にマッピングされたアプローチのような任意の適切なアプローチを使用して実行することができる。例えば、訓練のためとＣＮＮモデル４１０の入力としての両方の依存構造情報（dependent structure information）を含む隣接する２次元画像のスタックを使用することにより、ＣＮＮモデル４１０による出力の２次元ラベルマップ４３２の予測の精度が向上する。これにより、３次元画像の各画像スライスに対して予測された２次元ラベルマップから構築された３次元画像の予測３次元ラベルマップの精度がさらに向上する。
一実施例では、特徴抽出部４２０は、畳み込みニューラルネットワーク４２４を使用して、隣接する２次元画像の入力スタック４２２を受信し、入力スタックの特徴を表す少なくとも１つの特徴ベクトルまたは行列を出力する。ピクセル単位ラベリング部４３０は、特徴抽出部４２０の出力を用いて、隣接する２次元画像の入力スタック４２２の中間画像４２６の２次元ラベルマップ４３２を予測する。ピクセル単位ラベリング部４３０は、パッチベースのアプローチや完全にマッピングされたアプローチのような任意の適切なアプローチを使用して実行することができる。例えば、訓練のためとＣＮＮモデル４１０の入力としての両方の依存構造情報（dependent structure information）を含む隣接する２次元画像のスタックを使用することにより、ＣＮＮモデル４１０による出力の２次元ラベルマップ４３２の予測の精度が向上する。これにより、３次元画像の各画像スライスに対して予測された２次元ラベルマップから構築された３次元画像の予測３次元ラベルマップの精度がさらに向上する。
［００７４］
一実施例では、２次元画像の解剖学的平面に直交する軸に沿った隣接する２次元画像のスタックに示された解剖学的構造の間の空間的に依存する関係に基づいてＣＮＮにおける特徴を識別することができる。非限定的な実施例として、スタックの第１の画像の第１のセットのピクセルによって表される解剖学的構造の形状および種類は、第１の画像に隣接する第２の画像の第２のセットのピクセルによっても表すことができる。これは、解剖学的平面に直交する軸に沿った第１の画像および第２の画像の空間的隣接が、これらの画像に示された解剖学的構造の何らかの依存性または連続性をもたらすからである。したがって、ある画像における解剖学的構造の形状、大きさ、またはタイプは、同じ平面に沿った別の隣接する画像における解剖学的構造の形状、大きさ、またはタイプの情報を提供する。
一実施例では、２次元画像の解剖学的平面に直交する軸に沿った隣接する２次元画像のスタックに示された解剖学的構造の間の空間的に依存する関係に基づいてＣＮＮにおける特徴を識別することができる。非限定的な実施例として、スタックの第１の画像の第１のセットのピクセルによって表される解剖学的構造の形状および種類は、第１の画像に隣接する第２の画像の第２のセットのピクセルによっても表すことができる。これは、解剖学的平面に直交する軸に沿った第１の画像および第２の画像の空間的隣接が、これらの画像に示された解剖学的構造の何らかの依存性または連続性をもたらすからである。したがって、ある画像における解剖学的構造の形状、大きさ、またはタイプは、同じ平面に沿った別の隣接する画像における解剖学的構造の形状、大きさ、またはタイプの情報を提供する。
［００７５］
別の非限定的な実施例として、隣接する２次元画像のスタックが３つの連続した画像、例えば、連続して積層された第１の画像スライスと第２の画像スライスと第３の画像スライスを含む場合、解剖学的構造が、スタックの第１の画像スライスの第１のセットのピクセルとスタックの第３の画像スライスの第３のセットのピクセルの両方には示されるが、第１の画像スライスと第３の画像スライスの間にある第２の画像スライスの対応する第２のセットのピクセル（例えば、第１のセットのピクセルおよび／または第３のセットのピクセルと同様の空間的位置を有するピクセル）には示されないことがある。そのような場合、第２の画像スライス内の対応するピクセルが誤ってラベル付けされる可能性がある。隣接する３つの２次元画像スライスのスタックにおける解剖学的構造のこのような非続性は、ＣＮＮモデル４１０を学習するための依存構造情報として使用することができる。
別の非限定的な実施例として、隣接する２次元画像のスタックが３つの連続した画像、例えば、連続して積層された第１の画像スライスと第２の画像スライスと第３の画像スライスを含む場合、解剖学的構造が、スタックの第１の画像スライスの第１のセットのピクセルとスタックの第３の画像スライスの第３のセットのピクセルの両方には示されるが、第１の画像スライスと第３の画像スライスの間にある第２の画像スライスの対応する第２のセットのピクセル（例えば、第１のセットのピクセルおよび／または第３のセットのピクセルと同様の空間的位置を有するピクセル）には示されないことがある。そのような場合、第２の画像スライス内の対応するピクセルが誤ってラベル付けされる可能性がある。隣接する３つの２次元画像スライスのスタックにおける解剖学的構造のこのような非続性は、ＣＮＮモデル４１０を学習するための依存構造情報として使用することができる。
［００７６］
別の非限定的な実施例として、３つの隣接する２次元画像、例えば、順番に積層された第１の画像スライスと第２の画像スライスと第３の画像スライスのスタックにおいて、スタックの第１の画像スライスの第１のピクセルのセットと第３の画像スライスの第３のピクセルのセットの両方が背景を示すが、第１の画像スライスと第３の画像スライスの間で隣接する第２の画像スライスの対応する第２のピクセルのセットが解剖学的構造を示すことがある。第２の画像スライスの対応するピクセルが、偽陽性信号を発生させるノイズを受けることがある。また、このような隣接する３つの２次元画像スライスのスタックにおける背景の不連続性は、ＣＮＮモデル４１０を学習するための依存構造情報として用いることができる。
別の非限定的な実施例として、３つの隣接する２次元画像、例えば、順番に積層された第１の画像スライスと第２の画像スライスと第３の画像スライスのスタックにおいて、スタックの第１の画像スライスの第１のピクセルのセットと第３の画像スライスの第３のピクセルのセットの両方が背景を示すが、第１の画像スライスと第３の画像スライスの間で隣接する第２の画像スライスの対応する第２のピクセルのセットが解剖学的構造を示すことがある。第２の画像スライスの対応するピクセルが、偽陽性信号を発生させるノイズを受けることがある。また、このような隣接する３つの２次元画像スライスのスタックにおける背景の不連続性は、ＣＮＮモデル４１０を学習するための依存構造情報として用いることができる。
［００７７］
異なるタイプの依存構造情報は、スタック内の隣接する画像の数、セグメンテーションされる解剖学的構造のタイプ、形状、サイズ、位置、および／または数、および／または画像を取得するために使用される撮像モダリティのような様々な要因に基づいて選択的に使用される。このような、３次元画像から得られる隣接する２次元画像のスタックの依存構造情報を用いることで、３次元画像をセグメンテーションしたり、３次元ラベルマップを生成したりする際の精度を向上させることができる。
異なるタイプの依存構造情報は、スタック内の隣接する画像の数、セグメンテーションされる解剖学的構造のタイプ、形状、サイズ、位置、および／または数、および／または画像を取得するために使用される撮像モダリティのような様々な要因に基づいて選択的に使用される。このような、３次元画像から得られる隣接する２次元画像のスタックの依存構造情報を用いることで、３次元画像をセグメンテーションしたり、３次元ラベルマップを生成したりする際の精度を向上させることができる。
［００７８］
いくつかの実施例では、ＣＮＮモデル４１０の畳み込みニューラルネットワーク４２４は、入力層、例えば、隣接２次元画像のスタック４２２を含む。隣接２次元画像のスタックが入力として使用されるので、入力層は、２次元画像の幅と高さによって空間的な寸法が決定され、スタック内の画像の数によって深さが決定されるボリュームを有する。本明細書に記載されているように、ＣＮＮモデル４１０の入力層の深さは、望ましくは、入力する隣接２次元画像のスタック４２２内の画像の数と一致するように調整される。
いくつかの実施例では、ＣＮＮモデル４１０の畳み込みニューラルネットワーク４２４は、入力層、例えば、隣接２次元画像のスタック４２２を含む。隣接２次元画像のスタックが入力として使用されるので、入力層は、２次元画像の幅と高さによって空間的な寸法が決定され、スタック内の画像の数によって深さが決定されるボリュームを有する。本明細書に記載されているように、ＣＮＮモデル４１０の入力層の深さは、望ましくは、入力する隣接２次元画像のスタック４２２内の画像の数と一致するように調整される。
［００７９］
いくつかの実施形態では、ＣＮＮモデル４１０の畳み込みニューラルネットワーク４２４は、１つまたはそれ以上のコンボリューション層４２８を含む。各コンボリューション層４２８は、複数のパラメータ、例えば、上位入力層（例えば、コンボリューション層４２８の入力サイズ）によって決定される幅（「Ｗ」）および高さ（「Ｈ」）と、その層内のフィルタまたはカーネルの数（「Ｎ」）およびそれらのサイズとを有している。なお、フィルタの数は、コンボリューション層の深さを指す。したがって、各コンボリューション層４２８は、３次元ボリュームの観点から記述されている。各コンボリューション層４２８の入力は、その幅および高さにわたって１つのフィルタで畳み込まれ、そのフィルタに対応する２次元活性化マップまたは特徴マップを生成する。畳み込み（コンボリューション）は、各コンボリューション層のすべてのフィルタに対して実行され、結果として得られた活性化マップまたは特徴マップは、深度次元に沿って積層され、３次元出力を生成する。先行するコンボリューション層の出力は、次のコンボリューション層への入力として使用することができる。
いくつかの実施形態では、ＣＮＮモデル４１０の畳み込みニューラルネットワーク４２４は、１つまたはそれ以上のコンボリューション層４２８を含む。各コンボリューション層４２８は、複数のパラメータ、例えば、上位入力層（例えば、コンボリューション層４２８の入力サイズ）によって決定される幅（「Ｗ」）および高さ（「Ｈ」）と、その層内のフィルタまたはカーネルの数（「Ｎ」）およびそれらのサイズとを有している。なお、フィルタの数は、コンボリューション層の深さを指す。したがって、各コンボリューション層４２８は、３次元ボリュームの観点から記述されている。各コンボリューション層４２８の入力は、その幅および高さにわたって１つのフィルタで畳み込まれ、そのフィルタに対応する２次元活性化マップまたは特徴マップを生成する。畳み込み（コンボリューション）は、各コンボリューション層のすべてのフィルタに対して実行され、結果として得られた活性化マップまたは特徴マップは、深度次元に沿って積層され、３次元出力を生成する。先行するコンボリューション層の出力は、次のコンボリューション層への入力として使用することができる。
［００８０］
いくつかの実施形態では、ＣＮＮモデル４１０の畳み込みニューラルネットワーク４２４は、１つまたはそれ以上のプーリング層（図示せず）を含む。ＣＮＮモデル４１０において、２つの連続するコンボリューション層４２８の間にプーリング層を追加することができる。プーリング層は、入力（例えば、前のコンボリューション層からの活性化マップまたは特徴マップ）の各深度スライス上で独立して動作し、非線形ダウンサンプリングの形式を実行することにより、その空間次元を縮小する。さらに、非隣接レイヤからの情報は、介在するレイヤを「スキップ」することができ、他の入力と共にプーリング層で集約することができる。一実施例では、プーリング層の機能は、ネットワーク内のパラメータおよび計算量を減らして、オーバーフィットを制御するために、抽出された活性化マップまたは特徴マップの空間次元を漸進的に減少させることを含む。プーリング層の数および配置は、畳み込みネットワークアーキテクチャの設計、入力のサイズ、コンボリューション層４２８のサイズ、またはＣＮＮモデル４１０の適用などの様々な要因に基づいて決定される。
いくつかの実施形態では、ＣＮＮモデル４１０の畳み込みニューラルネットワーク４２４は、１つまたはそれ以上のプーリング層（図示せず）を含む。ＣＮＮモデル４１０において、２つの連続するコンボリューション層４２８の間にプーリング層を追加することができる。プーリング層は、入力（例えば、前のコンボリューション層からの活性化マップまたは特徴マップ）の各深度スライス上で独立して動作し、非線形ダウンサンプリングの形式を実行することにより、その空間次元を縮小する。さらに、非隣接レイヤからの情報は、介在するレイヤを「スキップ」することができ、他の入力と共にプーリング層で集約することができる。一実施例では、プーリング層の機能は、ネットワーク内のパラメータおよび計算量を減らして、オーバーフィットを制御するために、抽出された活性化マップまたは特徴マップの空間次元を漸進的に減少させることを含む。プーリング層の数および配置は、畳み込みネットワークアーキテクチャの設計、入力のサイズ、コンボリューション層４２８のサイズ、またはＣＮＮモデル４１０の適用などの様々な要因に基づいて決定される。
［００８１］
プーリング層の実装には、様々な非線形関数を用いることができる。例えば、最大プーリング（max pooling）を使用することができる。最大プーリングは、入力の画像スライスを、所定のストライドを有するオーバーラップまたは非オーバーラップのサブ領域のセットに分割してもよい。各サブ領域に対して、最大プーリングは、パーティション内の対応するサブ領域の中で最大値を出力する。これにより、奥行き寸法は変更されずに、幅と高さの両方に沿って入力の各スライスを効果的にダウンサンプリングする。平均プーリング（average pooling）、あるいはＬ２ノルムプーリング（L2-norm pooling）のようなプーリング層を実装するために他の適切な関数を使用することができる。
プーリング層の実装には、様々な非線形関数を用いることができる。例えば、最大プーリング（max pooling）を使用することができる。最大プーリングは、入力の画像スライスを、所定のストライドを有するオーバーラップまたは非オーバーラップのサブ領域のセットに分割してもよい。各サブ領域に対して、最大プーリングは、パーティション内の対応するサブ領域の中で最大値を出力する。これにより、奥行き寸法は変更されずに、幅と高さの両方に沿って入力の各スライスを効果的にダウンサンプリングする。平均プーリング（average pooling）、あるいはＬ２ノルムプーリング（L2-norm pooling）のようなプーリング層を実装するために他の適切な関数を使用することができる。
［００８２］
様々な実施形態では、ＣＮＮモデル４１０は、その畳み込みニューラルネットワーク４２４内に１つまたはそれ以上の追加の層を選択的に含むことができる。非限定的な実施例として、正規化線形ユニット層（Rectfied Linear Unit (ReLu) layer）（図示せず）またはパラメトリック正規化ユニット（Parametric ReLU (PReLU) （図示せず）は、が、中間活性化マップまたは特徴マップを生成するために、コンボリューション層の後に選択的に追加される可能性がある。例えば、ＲｅＬｕ層は、コンボリューション層４２８のそれぞれの寸法に影響を与えることなく、予測関数の非線形特性およびＣＮＮモデル４１０の全体的な特性を増加させる可能性が。さらに、ＲｅＬｕ層は、バックプロパゲーションのトレーニングプロセス中に飽和を減少させるか、または回避してもよい。
様々な実施形態では、ＣＮＮモデル４１０は、その畳み込みニューラルネットワーク４２４内に１つまたはそれ以上の追加の層を選択的に含むことができる。非限定的な実施例として、正規化線形ユニット層（Rectfied Linear Unit (ReLu) layer）（図示せず）またはパラメトリック正規化ユニット（Parametric ReLU (PReLU) （図示せず）は、が、中間活性化マップまたは特徴マップを生成するために、コンボリューション層の後に選択的に追加される可能性がある。例えば、ＲｅＬｕ層は、コンボリューション層４２８のそれぞれの寸法に影響を与えることなく、予測関数の非線形特性およびＣＮＮモデル４１０の全体的な特性を増加させる可能性が。さらに、ＲｅＬｕ層は、バックプロパゲーションのトレーニングプロセス中に飽和を減少させるか、または回避してもよい。
［００８３］
他の非限定的な実施例として、１つまたはそれ以上の完全接続層４２９が、コンボリューション層および／またはプーリング層の後に追加することができる。完全接続層は、前の層のすべての活性化マップまたは特徴マップとの完全接続を有する。例えば、完全接続層は、最後のコンボリューション層または最後のプーリング層の出力をベクトル形式で入力として受け取り、高水準決定（high-level determination）を行い、深度次元に沿って配置された特徴ベクトルを出力することができる。なお、出力ベクトルを出力層と呼んでもよい。ベクトルは、ＣＮＮモデル４１０の入力の画像のスタック４２２の解剖学的構造の情報を含むことができる。更に、２ＤＣＮＮモデルまたは「２．５Ｄ」ＣＮＮモデルに従った２次元撮像スライスから抽出された出力層からの情報は、３次元撮像イメージングデータのサブ領域を特定するために使用することができる。ＣＮＮモデル４１０からのそのような出力データは、サブ領域に適用される３次元ＣＮＮと協調して使用することもできる。
他の非限定的な実施例として、１つまたはそれ以上の完全接続層４２９が、コンボリューション層および／またはプーリング層の後に追加することができる。完全接続層は、前の層のすべての活性化マップまたは特徴マップとの完全接続を有する。例えば、完全接続層は、最後のコンボリューション層または最後のプーリング層の出力をベクトル形式で入力として受け取り、高水準決定（high-level determination）を行い、深度次元に沿って配置された特徴ベクトルを出力することができる。なお、出力ベクトルを出力層と呼んでもよい。ベクトルは、ＣＮＮモデル４１０の入力の画像のスタック４２２の解剖学的構造の情報を含むことができる。更に、２ＤＣＮＮモデルまたは「２．５Ｄ」ＣＮＮモデルに従った２次元撮像スライスから抽出された出力層からの情報は、３次元撮像イメージングデータのサブ領域を特定するために使用することができる。ＣＮＮモデル４１０からのそのような出力データは、サブ領域に適用される３次元ＣＮＮと協調して使用することもできる。
［００８４］
ＣＮＮモデル４１０の第２の部分では、ピクセル単位のラベリングは、畳み込みニューラルネットワーク４２４によって抽出された１つまたはそれ以上の特徴を入力として使用して実行され、予測された２次元ラベルマップ４３２を生成する。２次元ラベルマップは、隣接する２次元画像のスタックの中間画像の構造ラベルを提供する。一実施例では、２次元ラベルマップは、第２の３次元ＣＮＮモデルが（例えば、カスケードまたはリンクされた方法で）適用される３次元撮像のサブ領域を自動的に決定するために使用される。隣接する２次元画像の入力スタック４２２の中間画像４２６の２次元ラベルマップ４３２を予測するために、パッチベースのアプローチを使用することができる。隣接する２次元画像のスタック内の各画像は、同様に、それぞれが中心ピクセルを有する、重なり合うまたは重なり合わない矩形パッチに分割される。これにより、隣接する２次元画像パッチのスタックが生成される。２次元画像パッチのスタックは、ＣＮＮモデル４１０の訓練データおよび入力の両方として使用することができる。パッチは、パッチの中心ピクセルが実質的に一緒に全体の２次元画像を構成するように設計することができる。ＣＮＮモデル４１０は、各スタックの中央パッチの中央ピクセルを分類してもよく、例えば、中央ピクセルによって表される解剖学的構造を予測してもよい。例えば、ＣＮＮモデル４１０は、スタック内の中央パッチの中央ピクセルの特徴ベクトルを予測してもよく、それによって中央ピクセルの解剖学的構造を分類することができる。このような分類は、隣接する２次元画像のすべてのスタックの中間パッチのすべての中央ピクセルが分類またはラベル付けされるまで繰り返し実行され、それにより、隣接する２次元画像のスタックの中間画像のセグメンテーションが行われる。例えば、パッチベースのアプローチでは、隣接する２次元画像の入力スタック４２２の中間画像４２６のピクセル単位のラベリングは、中間画像４２６全体を構成する全ての中央ピクセルが分類された場合に実行されてもよい。
ＣＮＮモデル４１０の第２の部分では、ピクセル単位のラベリングは、畳み込みニューラルネットワーク４２４によって抽出された１つまたはそれ以上の特徴を入力として使用して実行され、予測された２次元ラベルマップ４３２を生成する。２次元ラベルマップは、隣接する２次元画像のスタックの中間画像の構造ラベルを提供する。一実施例では、２次元ラベルマップは、第２の３次元ＣＮＮモデルが（例えば、カスケードまたはリンクされた方法で）適用される３次元撮像のサブ領域を自動的に決定するために使用される。隣接する２次元画像の入力スタック４２２の中間画像４２６の２次元ラベルマップ４３２を予測するために、パッチベースのアプローチを使用することができる。隣接する２次元画像のスタック内の各画像は、同様に、それぞれが中心ピクセルを有する、重なり合うまたは重なり合わない矩形パッチに分割される。これにより、隣接する２次元画像パッチのスタックが生成される。２次元画像パッチのスタックは、ＣＮＮモデル４１０の訓練データおよび入力の両方として使用することができる。パッチは、パッチの中心ピクセルが実質的に一緒に全体の２次元画像を構成するように設計することができる。ＣＮＮモデル４１０は、各スタックの中央パッチの中央ピクセルを分類してもよく、例えば、中央ピクセルによって表される解剖学的構造を予測してもよい。例えば、ＣＮＮモデル４１０は、スタック内の中央パッチの中央ピクセルの特徴ベクトルを予測してもよく、それによって中央ピクセルの解剖学的構造を分類することができる。このような分類は、隣接する２次元画像のすべてのスタックの中間パッチのすべての中央ピクセルが分類またはラベル付けされるまで繰り返し実行され、それにより、隣接する２次元画像のスタックの中間画像のセグメンテーションが行われる。例えば、パッチベースのアプローチでは、隣接する２次元画像の入力スタック４２２の中間画像４２６のピクセル単位のラベリングは、中間画像４２６全体を構成する全ての中央ピクセルが分類された場合に実行されてもよい。
［００８５］
上述したパッチベースのアプローチでは、隣接する２次元画像の入力スタック４２２の中間画像４２６のピクセル毎のラベリングは、中間画像４２６全体を構成する中央ピクセルが全て分類されたときに行われる。
上述したパッチベースのアプローチでは、隣接する２次元画像の入力スタック４２２の中間画像４２６のピクセル毎のラベリングは、中間画像４２６全体を構成する中央ピクセルが全て分類されたときに行われる。
［００８６］
別の実施例では、隣接する２次元画像の入力スタック４２２の中間画像４２６の２次元ラベルマップ４３２を予測するために、完全マッピングアプローチが使用される。そのような実施例では、中間画像４２６の２次元ラベルマップ４３２は、隣接する２次元画像の入力スタック４２２に基づいてＣＮＮモデル４１０の出力として生成される。ＣＮＮモデル４１０における畳み込みニューラルネットワーク４２４は、活性化マップまたは特徴マップを出力として抽出するために使用され、これは、１つまたはそれ以上のオペレーション層を含むピクセル単位のラベリング構造によって受信され、２次元ラベルマップを予測する。そのような場合、畳み込みニューラルネットワーク４２４の最終層は、活性化マップまたは特徴マップを出力するコンボリューション層であり得る。
別の実施例では、隣接する２次元画像の入力スタック４２２の中間画像４２６の２次元ラベルマップ４３２を予測するために、完全マッピングアプローチが使用される。そのような実施例では、中間画像４２６の２次元ラベルマップ４３２は、隣接する２次元画像の入力スタック４２２に基づいてＣＮＮモデル４１０の出力として生成される。ＣＮＮモデル４１０における畳み込みニューラルネットワーク４２４は、活性化マップまたは特徴マップを出力として抽出するために使用され、これは、１つまたはそれ以上のオペレーション層を含むピクセル単位のラベリング構造によって受信され、２次元ラベルマップを予測する。そのような場合、畳み込みニューラルネットワーク４２４の最終層は、活性化マップまたは特徴マップを出力するコンボリューション層であり得る。
［００８７］
非限定的な実施例として、ピクセル単位のラベリングを実行するために、ピクセル単位の予測層（図示せず）をＣＮＮモデル４１０に追加してもよい。ピクセル単位の予測層は、畳み込みニューラルネットワーク４２４の粗い出力特徴マップ（例えば、特徴ベクトル）を、隣接する２次元画像の入力スタック４２２の中間画像４２６の（例えば、各ピクセルのより多くの情報を提供する）密な予測されたピクセル単位の２次元ラベルマップ４３２に変換する。様々な関数を、後方へのアップサンプリングまたはアンプーリング（例えば、バイリニアまたはノンリニア補間）、および、後方へのコンボリューション（デコンボリューション）のように、ピクセル単位の予測層を実装するために使用することができる。
非限定的な実施例として、ピクセル単位のラベリングを実行するために、ピクセル単位の予測層（図示せず）をＣＮＮモデル４１０に追加してもよい。ピクセル単位の予測層は、畳み込みニューラルネットワーク４２４の粗い出力特徴マップ（例えば、特徴ベクトル）を、隣接する２次元画像の入力スタック４２２の中間画像４２６の（例えば、各ピクセルのより多くの情報を提供する）密な予測されたピクセル単位の２次元ラベルマップ４３２に変換する。様々な関数を、後方へのアップサンプリングまたはアンプーリング（例えば、バイリニアまたはノンリニア補間）、および、後方へのコンボリューション（デコンボリューション）のように、ピクセル単位の予測層を実装するために使用することができる。
［００８８］
別の非限定的な実施例として、デコンボリューションネットワーク４３４をＣＮＮモデル４１０の一部として使用して、ピクセル単位のラベリングを実行することができる。デコンボリューションネットワーク４３４は、ＣＮＮモデル４１０の畳み込みニューラルネットワーク４２４のミラーバージョンである。抽出された活性化マップまたは特徴マップの空間次元を漸進的に縮小する畳み込みニューラルネットワーク４２４とは対照的に、デコンボリューションネットワーク４３４は、デコンボリューション層４３６および／またはアンプール層（図示せず）の選択を使用して、中間的な活性化マップまたは特徴マップを拡大する。アンプール層（例えば、アップサンプリング層）は、特徴マップ内のピクセルをそれらの以前のプール位置または元のプール位置に戻すために使用することができ、それによって、拡大された、しかし疎な活性化マップまたは特徴マップを生成することができる。デコンボリューション層は、入力活性化マップまたは特徴マップの単一ピクセルを複数の出力ピクセルに関連付けるために使用することができ、それにより、活性化マップまたは特徴マップの密度を拡大し、増加させることができる。デコンボリューションネットワーク４３４は、畳み込みニューラルネットワーク４２４と共に訓練されて使用され、２次元ラベルマップを予測することができる。
別の非限定的な実施例として、デコンボリューションネットワーク４３４をＣＮＮモデル４１０の一部として使用して、ピクセル単位のラベリングを実行することができる。デコンボリューションネットワーク４３４は、ＣＮＮモデル４１０の畳み込みニューラルネットワーク４２４のミラーバージョンである。抽出された活性化マップまたは特徴マップの空間次元を漸進的に縮小する畳み込みニューラルネットワーク４２４とは対照的に、デコンボリューションネットワーク４３４は、デコンボリューション層４３６および／またはアンプール層（図示せず）の選択を使用して、中間的な活性化マップまたは特徴マップを拡大する。アンプール層（例えば、アップサンプリング層）は、特徴マップ内のピクセルをそれらの以前のプール位置または元のプール位置に戻すために使用することができ、それによって、拡大された、しかし疎な活性化マップまたは特徴マップを生成することができる。デコンボリューション層は、入力活性化マップまたは特徴マップの単一ピクセルを複数の出力ピクセルに関連付けるために使用することができ、それにより、活性化マップまたは特徴マップの密度を拡大し、増加させることができる。デコンボリューションネットワーク４３４は、畳み込みニューラルネットワーク４２４と共に訓練されて使用され、２次元ラベルマップを予測することができる。
［００８９］
更なる非限定的な実施例として、損失層（図示せず）がＣＮＮモデル４１０に含ませることができる。損失層は、畳み込みニューラルネットワーク４３４またはＣＮＮモデル４１０の最後の層となり得る。ＣＮＮモデル４１０の訓練中に、損失層が、ネットワーク訓練が、予測された２次元ラベルマップと２次元グラウンドトゥルースラベルマップとの間の偏差にどのようにペナルティを与えるかを決定する。損失層は、様々な好適な損失関数によって実装することができる。例えば、クロスエントロピー損失関数を、ＣＮＮモデル４１０の最終損失層として使用することができる。
更なる非限定的な実施例として、損失層（図示せず）がＣＮＮモデル４１０に含ませることができる。損失層は、畳み込みニューラルネットワーク４３４またはＣＮＮモデル４１０の最後の層となり得る。ＣＮＮモデル４１０の訓練中に、損失層が、ネットワーク訓練が、予測された２次元ラベルマップと２次元グラウンドトゥルースラベルマップとの間の偏差にどのようにペナルティを与えるかを決定する。損失層は、様々な好適な損失関数によって実装することができる。例えば、クロスエントロピー損失関数を、ＣＮＮモデル４１０の最終損失層として使用することができる。
［００９０］
本開示の実施形態によれば、上述のＣＮＮモデルに基づく画像セグメンテーション方法、システム、装置、および／またはプロセスは、２つのステージ、すなわち、各ボクセルに対して異なる解剖学的構造をラベル付けした画像を含むトレーニングデータセットを使用してＣＮＮモデルを「訓練」または「学習」する訓練ステージと、訓練されたＣＮＮモデルを使用して、入力３Ｄ画像（または入力２Ｄ画像のピクセル）の各ボクセルの解剖学的構造を予測する、または入力３Ｄ医用画像（または入力２Ｄ画像のピクセル）の各ボクセルを解剖学的構造にラベル付けするためのセグメンテーションステージを含む。図４に示す畳み込みニューラルネットワークの一般的な構造は、２Ｄ画像のスタックよりはむしろ３Ｄ画像のグループが提供される３Ｄモデルにも適用可能である。これらのＣＮＮモデルおよび他のタイプの深層学習モデルをアトラスベースのセグメンテーションワークフローに統合する画像セグメンテーション方法、システム、装置、および／またはプロセスを以下に詳細に説明する。深層学習モデルの種類に対する他のバリエーションや、他のニューラルネットワーク処理アプローチも、本技術を用いて実施することができる。
本開示の実施形態によれば、上述のＣＮＮモデルに基づく画像セグメンテーション方法、システム、装置、および／またはプロセスは、２つのステージ、すなわち、各ボクセルに対して異なる解剖学的構造をラベル付けした画像を含むトレーニングデータセットを使用してＣＮＮモデルを「訓練」または「学習」する訓練ステージと、訓練されたＣＮＮモデルを使用して、入力３Ｄ画像（または入力２Ｄ画像のピクセル）の各ボクセルの解剖学的構造を予測する、または入力３Ｄ医用画像（または入力２Ｄ画像のピクセル）の各ボクセルを解剖学的構造にラベル付けするためのセグメンテーションステージを含む。図４に示す畳み込みニューラルネットワークの一般的な構造は、２Ｄ画像のスタックよりはむしろ３Ｄ画像のグループが提供される３Ｄモデルにも適用可能である。これらのＣＮＮモデルおよび他のタイプの深層学習モデルをアトラスベースのセグメンテーションワークフローに統合する画像セグメンテーション方法、システム、装置、および／またはプロセスを以下に詳細に説明する。深層学習モデルの種類に対する他のバリエーションや、他のニューラルネットワーク処理アプローチも、本技術を用いて実施することができる。
［００９１］
図５は、深層学習セグメンテーションデータと共に使用するのに適応したアトラス登録プロセスにおける例示的なデータフロー５００を示す。データフローに示すように、アトラス登録処理は、複数のアトラス５２１、５２２、５２３（アトラス１、２、．．．Ｎ）および関連するアトラスメタデータとともに使用され、対象画像５１５上で自動セグメンテーション処理の態様を実施する。具体的には、データフロー５００は、１からＮ個のマップ化されたアトラス（アトラス５６１、５６２、５６３）に基づいて、対象画像５１５の様々なピクセルまたはボクセルの構造ラベリングを生成し（操作５７０）；そのような構造ラベリングは、対象画像の構造ラベリングマップに生成される（結果５８０）。後述するように、データフロー５００は、深層学習モデルのデータ結果を統合するように修正されたアトラスベースの自動セグメンテーションプロセスと考えられる。
図５は、深層学習セグメンテーションデータと共に使用するのに適応したアトラス登録プロセスにおける例示的なデータフロー５００を示す。データフローに示すように、アトラス登録処理は、複数のアトラス５２１、５２２、５２３（アトラス１、２、．．．Ｎ）および関連するアトラスメタデータとともに使用され、対象画像５１５上で自動セグメンテーション処理の態様を実施する。具体的には、データフロー５００は、１からＮ個のマップ化されたアトラス（アトラス５６１、５６２、５６３）に基づいて、対象画像５１５の様々なピクセルまたはボクセルの構造ラベリングを生成し（操作５７０）；そのような構造ラベリングは、対象画像の構造ラベリングマップに生成される（結果５８０）。後述するように、データフロー５００は、深層学習モデルのデータ結果を統合するように修正されたアトラスベースの自動セグメンテーションプロセスと考えられる。
［００９２］
一実施例では、アトラスベースの自動セグメンテーション処理は、１つまたはそれ以上の既にセグメンテーションされた画像（例えば、以前に治療された患者からの画像）を使用して、対象画像のセグメンテーションを実行するために使用される。これらの既にセグメンテーションされた画像は、それらのアノテーション（例えば、構造ラベルマップ、構造表面、または他の境界を示すメタデータ）付きで、アトラスと呼ばれる。画像マッチングにより新しい対象画像をアトラス画像に合わせた後、画像登録と呼ばれる手順において、アトラス上に定義された構造ラベルが、計算された画像変換を用いて新しい対象画像にマッピングされ、それが対象画像の構造ラベルとセグメンテーション結果として生成されます。複数のアトラスを使用することで、アトラスベースの自動セグメンテーション処理の精度を向上させることができる。例えば、アトラスのセグメンテーションは、放射線治療が異なるセッションまたは時間に行われると、端数単位で更新されることが多く、これらの異なるセッションまたは時間から作成された複数のアトラスを組み合わせることで、特定の患者に対してアトラスの全体的なセットを非常に正確に作成することができる。さらに、新たな対象画像への複数のアトラスの適用および組み合わせは、非常に迅速に実行できるが、対象画像に大きなばらつきがある場合には、精度および精度を犠牲にして発生することが多い。
一実施例では、アトラスベースの自動セグメンテーション処理は、１つまたはそれ以上の既にセグメンテーションされた画像（例えば、以前に治療された患者からの画像）を使用して、対象画像のセグメンテーションを実行するために使用される。これらの既にセグメンテーションされた画像は、それらのアノテーション（例えば、構造ラベルマップ、構造表面、または他の境界を示すメタデータ）付きで、アトラスと呼ばれる。画像マッチングにより新しい対象画像をアトラス画像に合わせた後、画像登録と呼ばれる手順において、アトラス上に定義された構造ラベルが、計算された画像変換を用いて新しい対象画像にマッピングされ、それが対象画像の構造ラベルとセグメンテーション結果として生成されます。複数のアトラスを使用することで、アトラスベースの自動セグメンテーション処理の精度を向上させることができる。例えば、アトラスのセグメンテーションは、放射線治療が異なるセッションまたは時間に行われると、端数単位で更新されることが多く、これらの異なるセッションまたは時間から作成された複数のアトラスを組み合わせることで、特定の患者に対してアトラスの全体的なセットを非常に正確に作成することができる。さらに、新たな対象画像への複数のアトラスの適用および組み合わせは、非常に迅速に実行できるが、対象画像に大きなばらつきがある場合には、精度および精度を犠牲にして発生することが多い。
［００９３］
アトラスベースの自動セグメンテーション処理の精度は、アトラスの登録精度に大きく依存する。しかし、対象画像へのアトラス登録は、画像情報が類似または重複する強度分布を持つ異なる構造を示す曖昧な画像情報である場合があるため、画像データを考慮した場合には困難な問題となることがある。以下の実施例における深層学習の結果の統合は、アトラス登録におけるアトラスの適用に精度と精度を向上させるための追加の方法を提供する。例えば、大規模な訓練データセットで訓練された深層学習モデルは、アトラス登録時に対処されるのと同じ構造のいくつかについて、非常に正確なセグメンテーション結果を提供することができる。このように、データフロー５００において、セグメンテーションデータ５４４または深層学習モデルを適用した他の結果（操作５３４）は、構造拘束された非剛体レジストレーション（deformable registration）または同様のレジストレーション技術を介して、（画像レジストレーション操作５５１、５５２、５５３において）それぞれのアトラス画像への画像レジストレーションを導くために使用される。
アトラスベースの自動セグメンテーション処理の精度は、アトラスの登録精度に大きく依存する。しかし、対象画像へのアトラス登録は、画像情報が類似または重複する強度分布を持つ異なる構造を示す曖昧な画像情報である場合があるため、画像データを考慮した場合には困難な問題となることがある。以下の実施例における深層学習の結果の統合は、アトラス登録におけるアトラスの適用に精度と精度を向上させるための追加の方法を提供する。例えば、大規模な訓練データセットで訓練された深層学習モデルは、アトラス登録時に対処されるのと同じ構造のいくつかについて、非常に正確なセグメンテーション結果を提供することができる。このように、データフロー５００において、セグメンテーションデータ５４４または深層学習モデルを適用した他の結果（操作５３４）は、構造拘束された非剛体レジストレーション（deformable registration）または同様のレジストレーション技術を介して、（画像レジストレーション操作５５１、５５２、５５３において）それぞれのアトラス画像への画像レジストレーションを導くために使用される。
［００９４］
図５のデータフローは、具体的には、複数のアトラス画像とメタデータアノテーション５２１、５２２、５２３と対象画像５１５に対応する対象画像とアトラスの受け取り（操作５１０）を示している。データフロー５００の１つの分岐では、解剖学的構造または特徴を識別するために訓練された深層学習モデルを適用して（操作５３４）、セグメンテーションデータ（結果５４４）を生成することができる。一実施例では、深層学習モデルは、図３および図４に関して参照される深層学習アプローチを参照して議論されるように、２Ｄ医用画像または３Ｄ医用画像データのセグメンテーションを実行するために訓練されたモデルを構成することができる。
図５のデータフローは、具体的には、複数のアトラス画像とメタデータアノテーション５２１、５２２、５２３と対象画像５１５に対応する対象画像とアトラスの受け取り（操作５１０）を示している。データフロー５００の１つの分岐では、解剖学的構造または特徴を識別するために訓練された深層学習モデルを適用して（操作５３４）、セグメンテーションデータ（結果５４４）を生成することができる。一実施例では、深層学習モデルは、図３および図４に関して参照される深層学習アプローチを参照して議論されるように、２Ｄ医用画像または３Ｄ医用画像データのセグメンテーションを実行するために訓練されたモデルを構成することができる。
［００９５］
図示されているように、深層学習モデルのセグメンテーション結果（予測値または出力値）は、（操作５５１、５５２、５５３において）アトラス画像登録の態様に統合される。アトラス画像登録は、従来のアトラスワークフローと同様に、アトラス画像データと関連するアトラスメタデータに基づいて（例えば、アトラス５２１、５２２、５２３から）アトラス画像登録を実行するように構成されている。しかしながら、データフロー５００では、対象画像上で使用された深層学習セグメンテーションモデルの結果（結果５４４）（および、いくつかの実施例では、アトラス画像上で深層学習モデルを使用した結果）が、（画像登録操作５５１、５５２、５５３において）アトラス画像の登録を支援するために使用される。
図示されているように、深層学習モデルのセグメンテーション結果（予測値または出力値）は、（操作５５１、５５２、５５３において）アトラス画像登録の態様に統合される。アトラス画像登録は、従来のアトラスワークフローと同様に、アトラス画像データと関連するアトラスメタデータに基づいて（例えば、アトラス５２１、５２２、５２３から）アトラス画像登録を実行するように構成されている。しかしながら、データフロー５００では、対象画像上で使用された深層学習セグメンテーションモデルの結果（結果５４４）（および、いくつかの実施例では、アトラス画像上で深層学習モデルを使用した結果）が、（画像登録操作５５１、５５２、５５３において）アトラス画像の登録を支援するために使用される。
［００９６］
深層学習セグメンテーションモデルの適用は、対象画像５１５の解剖学的構造または特徴のサブセットを識別するセグメンテーションデータ５４４を生成することができる。このような識別された構造または特徴は、アトラス画像で実行されるレジストレーションを対象画像に「シード」または「ガイド」するために使用される。一実施例では、対象画像５１５に対して画像登録が行われ、深層学習で識別された特徴量は、１からＮ個のアトラスのそれぞれに対する画像登録操作の適用に影響を与える（操作５５１、５５２、５５３）。例えば、深層学習で識別された特徴は、特定のアトラス画像またはアトラスアノテーションの対象画像に対する初期登録位置、制約、またはマッピングを生成することができる。
深層学習セグメンテーションモデルの適用は、対象画像５１５の解剖学的構造または特徴のサブセットを識別するセグメンテーションデータ５４４を生成することができる。このような識別された構造または特徴は、アトラス画像で実行されるレジストレーションを対象画像に「シード」または「ガイド」するために使用される。一実施例では、対象画像５１５に対して画像登録が行われ、深層学習で識別された特徴量は、１からＮ個のアトラスのそれぞれに対する画像登録操作の適用に影響を与える（操作５５１、５５２、５５３）。例えば、深層学習で識別された特徴は、特定のアトラス画像またはアトラスアノテーションの対象画像に対する初期登録位置、制約、またはマッピングを生成することができる。
［００９７］
更なる（任意の）実施例では、深層学習セグメンテーションデータは、各アトラス画像（データ５２１、５２２、５２３）から生成され、画像登録に先立って、ワークフローの別のブランチで分析するようにしてもよい。例えば、各アトラス画像の画像データ（データ５２１、５２２、５２３）を深層学習モデルのそれぞれの用途に適用して（操作５３１、５３２、５３３）、セグメンテーションデータ（結果５４１、５４２、５４３）を生成してもよい。このセグメンテーションデータは、画像登録および対象画像に対する構造物の分類またはマッピングをさらに支援するために使用されてもよい。
更なる（任意の）実施例では、深層学習セグメンテーションデータは、各アトラス画像（データ５２１、５２２、５２３）から生成され、画像登録に先立って、ワークフローの別のブランチで分析するようにしてもよい。例えば、各アトラス画像の画像データ（データ５２１、５２２、５２３）を深層学習モデルのそれぞれの用途に適用して（操作５３１、５３２、５３３）、セグメンテーションデータ（結果５４１、５４２、５４３）を生成してもよい。このセグメンテーションデータは、画像登録および対象画像に対する構造物の分類またはマッピングをさらに支援するために使用されてもよい。
［００９８］
複数のアトラス画像および画像登録を使用することは、１からＮ個のアトラス間のマッピングのバリエーションを可能にすることによって、アトラスベースの自動セグメンテーションプロセスを支援することができる。このように、一実施例では、画像登録（操作５５１、５５２、５５３）から複数のマッピングされたアトラス（結果５６１、５６２、５６３）が生成される。マッピングされたアトラスからのデータは、画像のそれぞれの領域および部分に構造ラベリングを生成するために結合することができる（操作５７０）。その後、複数のマッピングされたアトラスから生成された構造ラベリングは、対象画像のための構造ラベリングマップに生成されることができる（結果５８０）。例えば、構造ラベルマップは、関心のある構造に分類されているか否かの様々な２Ｄピクセルまたは３Ｄボクセル領域の表示を提供することができる。他の実施例では、データフロー５００は、単一のアトラスで使用するために変更されてもよいし、深層学習モデルを使用して複数の対象画像を評価するために変更されてもよい。
複数のアトラス画像および画像登録を使用することは、１からＮ個のアトラス間のマッピングのバリエーションを可能にすることによって、アトラスベースの自動セグメンテーションプロセスを支援することができる。このように、一実施例では、画像登録（操作５５１、５５２、５５３）から複数のマッピングされたアトラス（結果５６１、５６２、５６３）が生成される。マッピングされたアトラスからのデータは、画像のそれぞれの領域および部分に構造ラベリングを生成するために結合することができる（操作５７０）。その後、複数のマッピングされたアトラスから生成された構造ラベリングは、対象画像のための構造ラベリングマップに生成されることができる（結果５８０）。例えば、構造ラベルマップは、関心のある構造に分類されているか否かの様々な２Ｄピクセルまたは３Ｄボクセル領域の表示を提供することができる。他の実施例では、データフロー５００は、単一のアトラスで使用するために変更されてもよいし、深層学習モデルを使用して複数の対象画像を評価するために変更されてもよい。
［００９９］
例示的なシナリオとして、深層学習のセグメンテーション結果は、初期レジストレーションソリューション（例えば、線形レジストレーション）を計算するために直接的に使用され、様々な解剖学的器官または構造のための最終的なアトラス−対象画像レジストレーションを計算するための改善された出発点を提供することができる。例えば、前立腺の輪郭を特定するために、大量のデータセット上で訓練された深層学習セグメンテーションモデルである場合のシナリオを考える。この深層学習セグメンテーションモデルは、アトラス画像と新しい対象画像の両方から前立腺を自動セグメンテーションするために使用される。例えば、深層学習モデルによる前立腺のセグメンテーション結果を用いて、アトラスの前立腺を被験者の前立腺に整列させる線形変換を計算することができる。このように、深層学習モデルは、非線形または変形可能な登録を有するアトラスの最終的な画像登録結果の精度を向上させるために使用される出発点を提供する。
例示的なシナリオとして、深層学習のセグメンテーション結果は、初期レジストレーションソリューション（例えば、線形レジストレーション）を計算するために直接的に使用され、様々な解剖学的器官または構造のための最終的なアトラス−対象画像レジストレーションを計算するための改善された出発点を提供することができる。例えば、前立腺の輪郭を特定するために、大量のデータセット上で訓練された深層学習セグメンテーションモデルである場合のシナリオを考える。この深層学習セグメンテーションモデルは、アトラス画像と新しい対象画像の両方から前立腺を自動セグメンテーションするために使用される。例えば、深層学習モデルによる前立腺のセグメンテーション結果を用いて、アトラスの前立腺を被験者の前立腺に整列させる線形変換を計算することができる。このように、深層学習モデルは、非線形または変形可能な登録を有するアトラスの最終的な画像登録結果の精度を向上させるために使用される出発点を提供する。
［０１００］
このように、データフロー５００において、（操作５３４において、または任意の操作５３１、５３２、５３３において適用される）深層学習モデルは、アトラス登録ステップでの影響を介して、最終的なアトラスベースの自動セグメンテーション結果にのみ影響を与える。これは、最終的なセグメンテーション結果を得るために深層学習や他の機械学習モデルのみを使用する場合の２つの重大な制限に対応している。第１に、深層学習モデルは、新しい画像に必要なすべての構造を持っていない可能性があり、特に、深層学習モデルは、通常、大規模な訓練データのセットを使用して、以前の時点で事前に訓練されているためである。トレーニングデータは、構造物のサブセット、例えば、前立腺／膀胱／直腸についてモデルを事前に訓練するために利用可能であるかもしれないが、新規のユーザまたは医療施設では、神経血管束のような追加の構造物をセグメンテーションする必要があるかもしれない。本発明の技術では、特定の器官または器官のサブセットの非常に正確なセグメンテーションを提供するために深層学習モデルを使用してもよく、一方、残りの構造をセグメンテーションまたは推定するためにアトラスを使用してもよい。第２に、深層学習モデルは、輪郭形成プロトコルがセグメンテーションされるべき新しい画像データとは異なる別の診療所からのデータを用いて訓練されてもよい。本技術では、アトラスと新たな対象画像の両方について、モデル内の構造のセグメンテーションを行うために、深層学習モデルを適用して、これらの構造のセグメンテーション結果がアトラスと被写体の間で一貫していることを確認する。
このように、データフロー５００において、（操作５３４において、または任意の操作５３１、５３２、５３３において適用される）深層学習モデルは、アトラス登録ステップでの影響を介して、最終的なアトラスベースの自動セグメンテーション結果にのみ影響を与える。これは、最終的なセグメンテーション結果を得るために深層学習や他の機械学習モデルのみを使用する場合の２つの重大な制限に対応している。第１に、深層学習モデルは、新しい画像に必要なすべての構造を持っていない可能性があり、特に、深層学習モデルは、通常、大規模な訓練データのセットを使用して、以前の時点で事前に訓練されているためである。トレーニングデータは、構造物のサブセット、例えば、前立腺／膀胱／直腸についてモデルを事前に訓練するために利用可能であるかもしれないが、新規のユーザまたは医療施設では、神経血管束のような追加の構造物をセグメンテーションする必要があるかもしれない。本発明の技術では、特定の器官または器官のサブセットの非常に正確なセグメンテーションを提供するために深層学習モデルを使用してもよく、一方、残りの構造をセグメンテーションまたは推定するためにアトラスを使用してもよい。第２に、深層学習モデルは、輪郭形成プロトコルがセグメンテーションされるべき新しい画像データとは異なる別の診療所からのデータを用いて訓練されてもよい。本技術では、アトラスと新たな対象画像の両方について、モデル内の構造のセグメンテーションを行うために、深層学習モデルを適用して、これらの構造のセグメンテーション結果がアトラスと被写体の間で一貫していることを確認する。
［０１０１］
したがって、深層学習によるセグメンテーション結果は、アトラスベースの自動セグメンテーションデータフロー５００またはアトラスベースの他のバリエーションにおけるアトラス登録を改善するために使用することができる。しかし、対象画像内の構造物の最終的なセグメンテーション結果は、アトラスベースのセグメンテーションのために定義された従来のアトラス−構造ワープおよびラベル融合／精製手順を経て得られることに変わりはない。再度説明すると、深層学習支援の画像登録の結果は、新しい対象画像にアトラス構造を「ワープ」させたり、適応させたりすると考えることができる。アトラスベースの自動セグメンテーションデータフローにおけるこのようなアトラスは、典型的にはユーザまたは医療施設に固有のものであるため、所望の輪郭形成プロトコルおよびアトラスの他の固有の特性は、新しいセグメンテーションタスクとの整合性を保ちつつ、使用を継続することができる。
したがって、深層学習によるセグメンテーション結果は、アトラスベースの自動セグメンテーションデータフロー５００またはアトラスベースの他のバリエーションにおけるアトラス登録を改善するために使用することができる。しかし、対象画像内の構造物の最終的なセグメンテーション結果は、アトラスベースのセグメンテーションのために定義された従来のアトラス−構造ワープおよびラベル融合／精製手順を経て得られることに変わりはない。再度説明すると、深層学習支援の画像登録の結果は、新しい対象画像にアトラス構造を「ワープ」させたり、適応させたりすると考えることができる。アトラスベースの自動セグメンテーションデータフローにおけるこのようなアトラスは、典型的にはユーザまたは医療施設に固有のものであるため、所望の輪郭形成プロトコルおよびアトラスの他の固有の特性は、新しいセグメンテーションタスクとの整合性を保ちつつ、使用を継続することができる。
［０１０２］
図６は、深層学習支援のアトラスベースのセグメンテーションを実行するための例示的な操作の処理フロー６００を示す。処理フロー６００は、アトラスベースの自動セグメンテーション手順に統合された深層学習の結果を使用してデータを受信して処理する画像処理システムの観点から図示されている。しかし、対応する動作は、他の装置またはシステムによって行われてもよい。
図６は、深層学習支援のアトラスベースのセグメンテーションを実行するための例示的な操作の処理フロー６００を示す。処理フロー６００は、アトラスベースの自動セグメンテーション手順に統合された深層学習の結果を使用してデータを受信して処理する画像処理システムの観点から図示されている。しかし、対応する動作は、他の装置またはシステムによって行われてもよい。
［０１０３］
処理フロー６００は、深層学習支援のアトラスベースセグメンテーションワークフローのためのオプショナルな前提条件を示しており、これは、別の実在物（entity）、ユーザ、または医療施設によって、または別の設定で、より早い時期に実行されてもよい。これらの前提条件は、訓練データセットを使用して、深層学習構造セグメンテーションモデルの選択および訓練（操作６１０）と、構造セグメンテーションのための１つまたはそれ以上のアトラスモデルの定義および選択（操作６２０）とを含むように示されている。例えば、深層学習構造セグメンテーションモデルは、図３および図４において上記で参照した深層学習およびＣＮＮの態様に基づいて訓練されてもよいし、構造化されてもよい。アトラスモデルは、手動または自動でセグメンテーションされた画像およびそのようなセグメンテーション画像上のアノテーション（例えば、構造ラベルマップまたは構造表面）に基づいて設計または構造化されてもよく、いくつかの例では、アトラスモデルは、放射線治療の治療ワークフローに関連して作成されてもよい。
処理フロー６００は、深層学習支援のアトラスベースセグメンテーションワークフローのためのオプショナルな前提条件を示しており、これは、別の実在物（entity）、ユーザ、または医療施設によって、または別の設定で、より早い時期に実行されてもよい。これらの前提条件は、訓練データセットを使用して、深層学習構造セグメンテーションモデルの選択および訓練（操作６１０）と、構造セグメンテーションのための１つまたはそれ以上のアトラスモデルの定義および選択（操作６２０）とを含むように示されている。例えば、深層学習構造セグメンテーションモデルは、図３および図４において上記で参照した深層学習およびＣＮＮの態様に基づいて訓練されてもよいし、構造化されてもよい。アトラスモデルは、手動または自動でセグメンテーションされた画像およびそのようなセグメンテーション画像上のアノテーション（例えば、構造ラベルマップまたは構造表面）に基づいて設計または構造化されてもよく、いくつかの例では、アトラスモデルは、放射線治療の治療ワークフローに関連して作成されてもよい。
［０１０４］
処理フロー６００は、深層学習モデルの適用により、被験者の医用画像に対して実行されるセグメンテーション操作を継続する。これらの操作は、セグメンテーション処理のための対象画像を獲得すること（操作６３０）と、深層学習セグメンテーションモデルを用いて対象画像内の１つまたはそれ以上の構造を識別するためのセグメンテーションワークフローの分岐を実行すること（操作６４０）とを含む。例えば、深層学習セグメンテーションモデルは、ピクセルまたはボクセル、ピクセル領域またはボクセル領域、または画像部分のような分類、構造、特徴、または他の識別を生成することができる。
処理フロー６００は、深層学習モデルの適用により、被験者の医用画像に対して実行されるセグメンテーション操作を継続する。これらの操作は、セグメンテーション処理のための対象画像を獲得すること（操作６３０）と、深層学習セグメンテーションモデルを用いて対象画像内の１つまたはそれ以上の構造を識別するためのセグメンテーションワークフローの分岐を実行すること（操作６４０）とを含む。例えば、深層学習セグメンテーションモデルは、ピクセルまたはボクセル、ピクセル領域またはボクセル領域、または画像部分のような分類、構造、特徴、または他の識別を生成することができる。
［０１０５］
処理フロー６００は、深層学習型の強化アトラス登録技術を用いて被験者の医用画像に対して実行されるセグメンテーション操作を継続する。これらの操作は、アトラス画像およびアトラスデータ（例えば、アノテーションまたは他のメタデータ）をアトラスモデルから獲得する（操作６５０）と、深層学習モデルから対象画像のセグメンテーションデータを適用して、アトラス画像−対象画像登録を実行または支援すること（操作６７０）とを含む。このようなアトラス登録は、対象に対してアトラス画像を適応させるかまたはワープさせるかして、対象画像上にセグメンテーション結果（例えば、構造ラベルマップまたは構造輪郭／曲面）を生成することを含み得る。更なる（任意の）例では、画像登録に使用される追加のセグメンテーションデータは、深層学習セグメンテーションモデルを使用してアトラス画像内の１つまたはそれ以上の構造または特徴を識別することから生成される（操作６６０）。処理フロー６００内のいくつかの要素内には１つのアトラスのみが描かれているが、並列または逐次的な操作が、複数のアトラス上でセグメンテーションワークフローを実行すること（操作６５０、６６０、６７０が１つまたはそれ以上のアトラスに適用される）が可能であることが理解されるであろう。
処理フロー６００は、深層学習型の強化アトラス登録技術を用いて被験者の医用画像に対して実行されるセグメンテーション操作を継続する。これらの操作は、アトラス画像およびアトラスデータ（例えば、アノテーションまたは他のメタデータ）をアトラスモデルから獲得する（操作６５０）と、深層学習モデルから対象画像のセグメンテーションデータを適用して、アトラス画像−対象画像登録を実行または支援すること（操作６７０）とを含む。このようなアトラス登録は、対象に対してアトラス画像を適応させるかまたはワープさせるかして、対象画像上にセグメンテーション結果（例えば、構造ラベルマップまたは構造輪郭／曲面）を生成することを含み得る。更なる（任意の）例では、画像登録に使用される追加のセグメンテーションデータは、深層学習セグメンテーションモデルを使用してアトラス画像内の１つまたはそれ以上の構造または特徴を識別することから生成される（操作６６０）。処理フロー６００内のいくつかの要素内には１つのアトラスのみが描かれているが、並列または逐次的な操作が、複数のアトラス上でセグメンテーションワークフローを実行すること（操作６５０、６６０、６７０が１つまたはそれ以上のアトラスに適用される）が可能であることが理解されるであろう。
［０１０６］
処理フロー６００は、対象画像にラベリング（ラベル融合および精製を含む）を行うための操作を継続する（操作６８０）。このラベリングは、複数のアトラスからの登録画像の取り込み、追加の人工知能（例えば、機械学習）アルゴリズムからのセグメンテーションおよびラベリング特徴の取り込み、などを含んでもよい。ラベル融合は、ワープされたアトラスセグメンテーション（構造ラベルマップまたは構造輪郭／表面）を組み合わせて、対象画像の構造セグメンテーションを生成してもよい。訓練された機械学習モデルによって生成されたデータを用いたラベルの融合および精製のさらなる実施例は、図７から図９を参照して以下で議論される。最後に、処理フロー６００は、対象画像の分割結果を提供して終了する。この提供は、メタデータまたは画像データアノテーションの生成、グラフィカルユーザーインターフェースでの結果の出力、関心のある１つ以上の解剖学的構造物の分類の定義または関連付け、ラベルマップまたは構造物ラベル推定値の生成、各構造物のための輪郭または表面の生成、セグメンテーションの指示の保存または伝達、治療計画の修正、治療または治療からの除外領域の定義付け（ＯＡＲの定義付けを含む）、などのような形態であってもよい。
処理フロー６００は、対象画像にラベリング（ラベル融合および精製を含む）を行うための操作を継続する（操作６８０）。このラベリングは、複数のアトラスからの登録画像の取り込み、追加の人工知能（例えば、機械学習）アルゴリズムからのセグメンテーションおよびラベリング特徴の取り込み、などを含んでもよい。ラベル融合は、ワープされたアトラスセグメンテーション（構造ラベルマップまたは構造輪郭／表面）を組み合わせて、対象画像の構造セグメンテーションを生成してもよい。訓練された機械学習モデルによって生成されたデータを用いたラベルの融合および精製のさらなる実施例は、図７から図９を参照して以下で議論される。最後に、処理フロー６００は、対象画像の分割結果を提供して終了する。この提供は、メタデータまたは画像データアノテーションの生成、グラフィカルユーザーインターフェースでの結果の出力、関心のある１つ以上の解剖学的構造物の分類の定義または関連付け、ラベルマップまたは構造物ラベル推定値の生成、各構造物のための輪郭または表面の生成、セグメンテーションの指示の保存または伝達、治療計画の修正、治療または治療からの除外領域の定義付け（ＯＡＲの定義付けを含む）、などのような形態であってもよい。
［０１０７］
更なる実施例では、アトラスベースの自動セグメンテーションのラベリング方法は、深層学習によって強化された機械学習方法の使用を含み得る。例えば、ランダムフォレスト（random forests：ＲＦ）、サポートベクターマシン（ support vector machine：ＳＶＭ）、ブーステッドツリー（Boosted Tree：ＢＴ）、または同様の分類器モデルは、アトラスベースの自動セグメンテーションのセグメンテーション精度を向上させることができるピクセルまたはボクセルベースの構造分類器を訓練するために使用することができる。しかし、以前のアトラスベースの自動セグメンテーションのラベリング方法で機械学習法を使用する場合、多くの場合、各画像ピクセルまたはボクセルの構造ラベルを予測するための機械学習モデルへの入力として、手動で指定された画像特徴を使用する必要があります。以下の非限定的な実施例では、深層学習モデルの結果は、機械学習分類器の適用可能な画像特徴を訓練または精錬するための追加入力として提供することができる。このような深層学習モデルの結果は、深層学習セグメンテーション結果（例えば、深層学習モデルを適用した場合の最終結果）を含むことができるし、追加的に、深層学習モデルの操作から生成される中間結果を含むことができる。
更なる実施例では、アトラスベースの自動セグメンテーションのラベリング方法は、深層学習によって強化された機械学習方法の使用を含み得る。例えば、ランダムフォレスト（random forests：ＲＦ）、サポートベクターマシン（ support vector machine：ＳＶＭ）、ブーステッドツリー（Boosted Tree：ＢＴ）、または同様の分類器モデルは、アトラスベースの自動セグメンテーションのセグメンテーション精度を向上させることができるピクセルまたはボクセルベースの構造分類器を訓練するために使用することができる。しかし、以前のアトラスベースの自動セグメンテーションのラベリング方法で機械学習法を使用する場合、多くの場合、各画像ピクセルまたはボクセルの構造ラベルを予測するための機械学習モデルへの入力として、手動で指定された画像特徴を使用する必要があります。以下の非限定的な実施例では、深層学習モデルの結果は、機械学習分類器の適用可能な画像特徴を訓練または精錬するための追加入力として提供することができる。このような深層学習モデルの結果は、深層学習セグメンテーション結果（例えば、深層学習モデルを適用した場合の最終結果）を含むことができるし、追加的に、深層学習モデルの操作から生成される中間結果を含むことができる。
［０１０８］
一実施例では、ＣＮＮを利用した深層学習セグメンテーションモデルは、訓練画像から画像特徴の階層を自動的に学習する機能を有する。その結果、ＣＮＮモデルを新しい対象画像に適用してセグメンテーション結果を計算する場合、このモデルでは、まず画像の特徴を抽出し、その特徴をセグメンテーションマップまたはセグメンテーション確率に変換する必要がある。ＣＮＮモデルの各コンボリューション層の出力は、しばしば「特徴マップ」と呼ばれる。一実施例では、ＣＮＮまたは他の深層学習モデル内の層からのこれらの特徴マップまたは同様の出力は、画像のラベリングに使用される機械学習分類器を訓練するための特徴として抽出することができる。例えば、図４に示すように、深層学習モデルは、対象画像を解析する際に、ＣＮＮモデルの中間層から多くの即時出力（特徴マップ）を生成することができる。各特徴マップは、機械学習モデルを訓練するための追加入力として使用できるマルチチャンネル画像である。
一実施例では、ＣＮＮを利用した深層学習セグメンテーションモデルは、訓練画像から画像特徴の階層を自動的に学習する機能を有する。その結果、ＣＮＮモデルを新しい対象画像に適用してセグメンテーション結果を計算する場合、このモデルでは、まず画像の特徴を抽出し、その特徴をセグメンテーションマップまたはセグメンテーション確率に変換する必要がある。ＣＮＮモデルの各コンボリューション層の出力は、しばしば「特徴マップ」と呼ばれる。一実施例では、ＣＮＮまたは他の深層学習モデル内の層からのこれらの特徴マップまたは同様の出力は、画像のラベリングに使用される機械学習分類器を訓練するための特徴として抽出することができる。例えば、図４に示すように、深層学習モデルは、対象画像を解析する際に、ＣＮＮモデルの中間層から多くの即時出力（特徴マップ）を生成することができる。各特徴マップは、機械学習モデルを訓練するための追加入力として使用できるマルチチャンネル画像である。
［０１０９］
したがって、例示的な実施形態では、深層学習モデルのセグメンテーション結果は、アトラスベースの自動セグメンテーションワークフロー（例えば、データフロー５００または処理フロー６００）を支援または補完するために、オンラインまたはオフラインの機械学習モデル（例えば、ＢＴ、ＲＦ、またはＳＶＭ、または他の機械学習分類器）への追加入力として使用することができる。例えば、深層学習セグメンテーションラベルマップは、元の画像データに関して追加のチャネルとして使用され、マルチチャネル画像のピクセルまたはボクセル分類モデル（例えば、ＢＴ、ＲＦ、またはＳＶＭ、または他の機械学習分類器）を訓練するために使用することができる。
したがって、例示的な実施形態では、深層学習モデルのセグメンテーション結果は、アトラスベースの自動セグメンテーションワークフロー（例えば、データフロー５００または処理フロー６００）を支援または補完するために、オンラインまたはオフラインの機械学習モデル（例えば、ＢＴ、ＲＦ、またはＳＶＭ、または他の機械学習分類器）への追加入力として使用することができる。例えば、深層学習セグメンテーションラベルマップは、元の画像データに関して追加のチャネルとして使用され、マルチチャネル画像のピクセルまたはボクセル分類モデル（例えば、ＢＴ、ＲＦ、またはＳＶＭ、または他の機械学習分類器）を訓練するために使用することができる。
［０１１０］
更なる実施例では、深層学習セグメンテーションラベルマップの変換が計算され、機械学習分類器モデルのための特徴を抽出するための別の入力チャネルとして使用することができる。例えば、セグメンテーションマップの距離変換は、そのような特徴を使用して計算されてもよく、多くの設定では、特定の構造からの距離は、貴重な情報を提供することができる（例えば、前立腺領域からの距離は、ボクセルが膀胱に属するかどうかの判断に役立ち得る）。
更なる実施例では、深層学習セグメンテーションラベルマップの変換が計算され、機械学習分類器モデルのための特徴を抽出するための別の入力チャネルとして使用することができる。例えば、セグメンテーションマップの距離変換は、そのような特徴を使用して計算されてもよく、多くの設定では、特定の構造からの距離は、貴重な情報を提供することができる（例えば、前立腺領域からの距離は、ボクセルが膀胱に属するかどうかの判断に役立ち得る）。
［０１１１］
図７は、深層学習セグメンテーション特徴データで使用するために適合された機械学習モデル訓練プロセスにおける例示的なデータフロー７００を示す。データフロー７００は、対象画像７１５および１からＮ個のアトラス７２１，７２２，７２３を受け取ること（操作７１０）と、およびマッピングされたアトラス７６１，７６２，７６３を生成するために１からＮ個のアトラス７２１，７２２，７２３上でアトラス登録（操作７３１，７３２，７３３）を実行することを含む、データフロー５００で実行される操作の一部を簡略化した表現を提供する。しかしながら、アトラス登録操作は任意であり、機械学習モデルは、元のアトラスデータ７２１、７２２、７２３と、後述するように、深層学習モデルを各アトラス画像に適用した出力のみに基づいて学習することができる。更に、図示されていないが、アトラス登録（操作７３１、７３２、７３３）は、（例えば、図５に図示されているような）深層学習セグメンテーションモデルの適用によって支援することができる。
図７は、深層学習セグメンテーション特徴データで使用するために適合された機械学習モデル訓練プロセスにおける例示的なデータフロー７００を示す。データフロー７００は、対象画像７１５および１からＮ個のアトラス７２１，７２２，７２３を受け取ること（操作７１０）と、およびマッピングされたアトラス７６１，７６２，７６３を生成するために１からＮ個のアトラス７２１，７２２，７２３上でアトラス登録（操作７３１，７３２，７３３）を実行することを含む、データフロー５００で実行される操作の一部を簡略化した表現を提供する。しかしながら、アトラス登録操作は任意であり、機械学習モデルは、元のアトラスデータ７２１、７２２、７２３と、後述するように、深層学習モデルを各アトラス画像に適用した出力のみに基づいて学習することができる。更に、図示されていないが、アトラス登録（操作７３１、７３２、７３３）は、（例えば、図５に図示されているような）深層学習セグメンテーションモデルの適用によって支援することができる。
［０１１２］
しかしながら、データフロー７００は、より具体的には、アトラス画像データを用いて機械学習構造分類器を訓練し（操作７８０）、セグメンテーションラベリングおよび特徴表現において使用可能な訓練された機械学習モデル７９０を生成した結果を示す。（この訓練された機械学習モデルのセグメンテーションプロセスへの統合は、図８のデータフローにおいてより詳細に描かれている。）データフロー７００では、機械学習モデル７９０は、アトラス画像を分析する深層学習モデルによって生成されたアトラス画像セグメンテーション結果７５０から訓練されるものとして示され、機械学習モデル７９０は、マッピングされたアトラス特徴データ７６５またはアトラス画像セグメンテーション特徴データ７７０から追加的に訓練されるものとして任意の実施例で示されている。
しかしながら、データフロー７００は、より具体的には、アトラス画像データを用いて機械学習構造分類器を訓練し（操作７８０）、セグメンテーションラベリングおよび特徴表現において使用可能な訓練された機械学習モデル７９０を生成した結果を示す。（この訓練された機械学習モデルのセグメンテーションプロセスへの統合は、図８のデータフローにおいてより詳細に描かれている。）データフロー７００では、機械学習モデル７９０は、アトラス画像を分析する深層学習モデルによって生成されたアトラス画像セグメンテーション結果７５０から訓練されるものとして示され、機械学習モデル７９０は、マッピングされたアトラス特徴データ７６５またはアトラス画像セグメンテーション特徴データ７７０から追加的に訓練されるものとして任意の実施例で示されている。
［０１１３］
具体的には、各アトラス画像７２１，７２２，７２３は、深層学習モデル７４０によって解析され、深層学習モデルの各層から、アトラス画像のセグメンテーション特徴（データ７７０）のシーケンスに加えて、セグメンテーション結果（データ７５０）が抽出される。セグメンテーションデータ７５０，７７０は、機械学習モデル分類器への訓練入力として提供され、訓練フェーズ（操作７８０）で使用される。あらゆるオリジナルのアトラス画像について、アトラスデータ自体からグラウンドトゥルースを決定することができ、それにより、オリジナルのアトラス画像やマッピングされたアトラス画像の特徴情報は、分類を生成する機械学習分類器を訓練するために使用することができる。このように、機械学習分類器が勾配、ライン、テクスチャなどの手動の特徴の定義から訓練される従来の技術とは対照的に、深層学習モデルを適用した出力データは、分類すべき解剖学的構造に関連する特徴のセットを自動的に提供する。
具体的には、各アトラス画像７２１，７２２，７２３は、深層学習モデル７４０によって解析され、深層学習モデルの各層から、アトラス画像のセグメンテーション特徴（データ７７０）のシーケンスに加えて、セグメンテーション結果（データ７５０）が抽出される。セグメンテーションデータ７５０，７７０は、機械学習モデル分類器への訓練入力として提供され、訓練フェーズ（操作７８０）で使用される。あらゆるオリジナルのアトラス画像について、アトラスデータ自体からグラウンドトゥルースを決定することができ、それにより、オリジナルのアトラス画像やマッピングされたアトラス画像の特徴情報は、分類を生成する機械学習分類器を訓練するために使用することができる。このように、機械学習分類器が勾配、ライン、テクスチャなどの手動の特徴の定義から訓練される従来の技術とは対照的に、深層学習モデルを適用した出力データは、分類すべき解剖学的構造に関連する特徴のセットを自動的に提供する。
［０１１４］
機械学習訓練において（例えば、従前の機械学習支援アトラスベースのセグメンテーションプロセスにおいて）使用される訓練データの他の態様は、任意に統合されてもよいし、機械学習モデル分類器への訓練入力として使用されてもよい。例えば、対象画像７１５への画像登録から生成された様々なマッピングアトラス７６１，７６２，７６３から提供される特徴データ（データ７６５）は、学習フェーズ（操作７８０）で構造分類器を訓練する特徴と組み合わせたり、補完したり、置き換えたりすることができる。同様の方法では、オリジナルのアトラス７２１、７２２、７２３から提供されるメタデータまたは他の特徴データは、訓練フェーズ（操作７８０）で構造分類器を訓練する特徴と組み合わせたり、補足したり、置き換えたりすることができる。
機械学習訓練において（例えば、従前の機械学習支援アトラスベースのセグメンテーションプロセスにおいて）使用される訓練データの他の態様は、任意に統合されてもよいし、機械学習モデル分類器への訓練入力として使用されてもよい。例えば、対象画像７１５への画像登録から生成された様々なマッピングアトラス７６１，７６２，７６３から提供される特徴データ（データ７６５）は、学習フェーズ（操作７８０）で構造分類器を訓練する特徴と組み合わせたり、補完したり、置き換えたりすることができる。同様の方法では、オリジナルのアトラス７２１、７２２、７２３から提供されるメタデータまたは他の特徴データは、訓練フェーズ（操作７８０）で構造分類器を訓練する特徴と組み合わせたり、補足したり、置き換えたりすることができる。
［０１１５］
図８は、深層学習セグメンテーション特徴データとの使用に適応した機械学習モデル分類プロセスにおける例示的なデータフロー８００を示す。 データフロー８００は、アトラスまたは深層学習セグメンテーション特徴データから訓練された機械学習モデル８５０の使用を具体的に示す。例えば、機械学習モデル８５０は、図７に図示されているように、機械学習モデル７９０と同様の方法で訓練することができる。
図８は、深層学習セグメンテーション特徴データとの使用に適応した機械学習モデル分類プロセスにおける例示的なデータフロー８００を示す。 データフロー８００は、アトラスまたは深層学習セグメンテーション特徴データから訓練された機械学習モデル８５０の使用を具体的に示す。例えば、機械学習モデル８５０は、図７に図示されているように、機械学習モデル７９０と同様の方法で訓練することができる。
［０１１６］
データフロー８００は、また、データフロー５００で実行される操作のいくつかを簡略化した表現を提供し、対象画像８１５と複数のアトラス８２０を受け取ることと、アトラスベースの構造ラベル８４０を生成するために、複数のアトラス８２０と対象画像８１５上でアトラス登録を実行すること（操作８３０）を含む。図示されていないが、アトラス登録（操作８３０）は、（例えば、図５に描かれているような）深層学習セグメンテーションモデルの適用によって支援され得る。
データフロー８００は、また、データフロー５００で実行される操作のいくつかを簡略化した表現を提供し、対象画像８１５と複数のアトラス８２０を受け取ることと、アトラスベースの構造ラベル８４０を生成するために、複数のアトラス８２０と対象画像８１５上でアトラス登録を実行すること（操作８３０）を含む。図示されていないが、アトラス登録（操作８３０）は、（例えば、図５に描かれているような）深層学習セグメンテーションモデルの適用によって支援され得る。
［０１１７］
データフロー８００は、対象画像８１５に対するアトラスベースのセグメンテーション操作から生成された構造ラベル（例えば、ラベル８４０）と、機械学習モデル８５０の対象画像８１５への適用から生成された構造ラベルとの統合（例えば、融合）をさらに例示する。具体的には、データフロー８００の分岐は、訓練された構造分類器（操作８６０）を対象画像８１５に適用して、対象画像に対して分類器ベースの構造ラベル推定８６５を生成することを示す。任意の実施例では、分類器訓練された構造分類器を適用すること（操作８６０）は、また、アトラスベースのセグメンテーション操作またはアトラスベースの構造ラベルから生成されたラベルデータ８４５を利用することができる。
データフロー８００は、対象画像８１５に対するアトラスベースのセグメンテーション操作から生成された構造ラベル（例えば、ラベル８４０）と、機械学習モデル８５０の対象画像８１５への適用から生成された構造ラベルとの統合（例えば、融合）をさらに例示する。具体的には、データフロー８００の分岐は、訓練された構造分類器（操作８６０）を対象画像８１５に適用して、対象画像に対して分類器ベースの構造ラベル推定８６５を生成することを示す。任意の実施例では、分類器訓練された構造分類器を適用すること（操作８６０）は、また、アトラスベースのセグメンテーション操作またはアトラスベースの構造ラベルから生成されたラベルデータ８４５を利用することができる。
［０１１８］
機械学習構造分類器から生成された分類器構造ラベルの推定８６５は、アトラスベースの構造ラベル８４０と結合され（操作８７０）、対象画像の構造ラベルマップ８８０を生成するために使用することができる。セグメンテーションラベルの結果を結合するために、任意の数のラベル融合または組み合わせ技術を使用することができる。したがって、図５のデータフロー５００から生成された構造ラベルマップ５８０は、機械学習によって強化された構造ラベルマップ８８０に置き換えられてもよい。
機械学習構造分類器から生成された分類器構造ラベルの推定８６５は、アトラスベースの構造ラベル８４０と結合され（操作８７０）、対象画像の構造ラベルマップ８８０を生成するために使用することができる。セグメンテーションラベルの結果を結合するために、任意の数のラベル融合または組み合わせ技術を使用することができる。したがって、図５のデータフロー５００から生成された構造ラベルマップ５８０は、機械学習によって強化された構造ラベルマップ８８０に置き換えられてもよい。
［０１１９］
図９は、機械学習分類器を使用して深層学習支援アトラスベースのセグメンテーションを実行するための例示的な操作の処理フロー９００を示す。処理フロー９００は、また、アトラスベースの自動セグメンテーション手順に統合されたような深層学習の結果を使用して、機械学習の構造分類器を訓練して利用する画像処理システムの観点から図示されている。しかし、対応する操作は、（アトラスベースのセグメンテーションワークフロー以外のオフラインのトレーニング設定での実行を含む）他のデバイスまたはシステムによって実行することができる。
図９は、機械学習分類器を使用して深層学習支援アトラスベースのセグメンテーションを実行するための例示的な操作の処理フロー９００を示す。処理フロー９００は、また、アトラスベースの自動セグメンテーション手順に統合されたような深層学習の結果を使用して、機械学習の構造分類器を訓練して利用する画像処理システムの観点から図示されている。しかし、対応する操作は、（アトラスベースのセグメンテーションワークフロー以外のオフラインのトレーニング設定での実行を含む）他のデバイスまたはシステムによって実行することができる。
［０１２０］
処理フロー９００は、深層学習セグメンテーションモデルを用いて、アトラス画像のセグメンテーション特徴データを生成する処理（操作９１０）を描写する。このようなセグメンテーション特徴データは、ＣＮＮモデル、および／またはＣＮＮモデルから生成された最終的なＣＮＮセグメンテーションマップまたはセグメンテーション確率を用いて抽出された画像特徴のシーケンスを含むことができる。このセグメンテーションデータは、深層学習セグメンテーション特徴データ（例えば、特徴マップ）に基づく訓練（操作９２０）や、深層学習セグメンテーション結果データに基づく訓練（操作９３０）のように、機械学習構造分類器を訓練するために用いられ、上述した機械学習分類器モデル（例えば、ＲＦ、ＳＶＭ、ＢＴ）を生成する。
処理フロー９００は、深層学習セグメンテーションモデルを用いて、アトラス画像のセグメンテーション特徴データを生成する処理（操作９１０）を描写する。このようなセグメンテーション特徴データは、ＣＮＮモデル、および／またはＣＮＮモデルから生成された最終的なＣＮＮセグメンテーションマップまたはセグメンテーション確率を用いて抽出された画像特徴のシーケンスを含むことができる。このセグメンテーションデータは、深層学習セグメンテーション特徴データ（例えば、特徴マップ）に基づく訓練（操作９２０）や、深層学習セグメンテーション結果データに基づく訓練（操作９３０）のように、機械学習構造分類器を訓練するために用いられ、上述した機械学習分類器モデル（例えば、ＲＦ、ＳＶＭ、ＢＴ）を生成する。
［０１２１］
訓練された構造分類器は、対象画像に適用され（操作９４０）、構造分類器を用いて構造ラベルの推定値を生成する（操作９５０）ために使用される。機械学習モデルからの出力は、分類ラベル、確率、または、構造、特徴、または、対象画像（または、対象画像のセット）のそれぞれのピクセル、ボクセル、または領域の他の指示を示す、他の形態の分類データを含むことができる。機械学習モデルから生成される構造ラベル情報は、図５および図６を参照して議論されるような深層学習支援のアトラスベースの自動セグメンテーションプロセスを含むアトラスベースの自動セグメンテーションプロセス（操作９６０）からの構造ラベル情報と結合（例えば、融合、統合、結合）することができる。（他の実施例では、構造ラベル情報は、深層学習を伴わない従来のアトラスベースのセグメンテーションプロセスからの情報と組み合わせることができる。）最後に、処理の流れは、対象画像のラベルマップを生成して（操作９７０）終了する。ラベルマップの出力は、セグメンテーションされた結果の出力を参照して上述したように提供する（例えば、操作６９０で）ことができる。
訓練された構造分類器は、対象画像に適用され（操作９４０）、構造分類器を用いて構造ラベルの推定値を生成する（操作９５０）ために使用される。機械学習モデルからの出力は、分類ラベル、確率、または、構造、特徴、または、対象画像（または、対象画像のセット）のそれぞれのピクセル、ボクセル、または領域の他の指示を示す、他の形態の分類データを含むことができる。機械学習モデルから生成される構造ラベル情報は、図５および図６を参照して議論されるような深層学習支援のアトラスベースの自動セグメンテーションプロセスを含むアトラスベースの自動セグメンテーションプロセス（操作９６０）からの構造ラベル情報と結合（例えば、融合、統合、結合）することができる。（他の実施例では、構造ラベル情報は、深層学習を伴わない従来のアトラスベースのセグメンテーションプロセスからの情報と組み合わせることができる。）最後に、処理の流れは、対象画像のラベルマップを生成して（操作９７０）終了する。ラベルマップの出力は、セグメンテーションされた結果の出力を参照して上述したように提供する（例えば、操作６９０で）ことができる。
［０１２２］
先に述べたように、それぞれの電子計算システムまたは装置は、本明細書で論じたような方法または機能的操作のうちの１つまたはそれ以上を実装することができる。１つまたはそれ以上の実施形態では、画像処理計算システム１１０は、画像誘導された放射線治療装置２０２を制御または操作する、深層学習訓練または予測操作３０８、３１２を実行または実施する、ＣＮＮモデル４１０を操作する、データフロー５００、７００、８００を実行または実施する、フローチャート６００、９００の操作を実行または実施する、または、本明細書で論じられている任意の１つまたはそれ以上の他の方法論を（例えば、セグメンテーション処理ロジック１２０およびセグメンテーションワークフロー１３０の一部として）実行するために、構成され、適合され、または使用され得る。様々な実施形態では、そのような電子計算システムまたは装置は、スタンドアロンデバイスとして動作するか、または他の機械に（例えば、ネットワーク化されて）接続されて動作することができる。例えば、そのような計算システムまたはデバイスは、サーバー−クライアントネットワーク環境におけるサーバーまたはクライアントマシンの能力で、または、ピアツーピア（または分散）ネットワーク環境ではピアマシンとして動作することができる。計算システムまたはデバイス１１０の特徴は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、ウェブアプライアンス、または、その機械によって実行されるべきアクションを指定する命令（シーケンシャルまたは他の方法）を実行することが可能な任意のマシンによって実現することができる。
先に述べたように、それぞれの電子計算システムまたは装置は、本明細書で論じたような方法または機能的操作のうちの１つまたはそれ以上を実装することができる。１つまたはそれ以上の実施形態では、画像処理計算システム１１０は、画像誘導された放射線治療装置２０２を制御または操作する、深層学習訓練または予測操作３０８、３１２を実行または実施する、ＣＮＮモデル４１０を操作する、データフロー５００、７００、８００を実行または実施する、フローチャート６００、９００の操作を実行または実施する、または、本明細書で論じられている任意の１つまたはそれ以上の他の方法論を（例えば、セグメンテーション処理ロジック１２０およびセグメンテーションワークフロー１３０の一部として）実行するために、構成され、適合され、または使用され得る。様々な実施形態では、そのような電子計算システムまたは装置は、スタンドアロンデバイスとして動作するか、または他の機械に（例えば、ネットワーク化されて）接続されて動作することができる。例えば、そのような計算システムまたはデバイスは、サーバー−クライアントネットワーク環境におけるサーバーまたはクライアントマシンの能力で、または、ピアツーピア（または分散）ネットワーク環境ではピアマシンとして動作することができる。計算システムまたはデバイス１１０の特徴は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、ウェブアプライアンス、または、その機械によって実行されるべきアクションを指定する命令（シーケンシャルまたは他の方法）を実行することが可能な任意のマシンによって実現することができる。
［０１２３］
また、上述したように、上述した機能は、命令、論理、または機械可読媒体上の他の情報の記憶によって実装することができる。機械可読媒体は、単一の媒体を用いて様々な実施例で説明されてきたが、用語「機械可読媒体」は、１つまたはそれ以上の命令またはデータ構造を格納する単一の媒体または複数の媒体（例えば、集中型または分散型のデータベース、および／または関連するキャッシュおよびサーバー）を含むことができる。用語「機械可読媒体」は、また、機械によって実行されるための命令を格納、符号化、または運搬することが可能であり、機械に本発明の方法論のいずれか１つまたはそれ以上を実行させる、または、そのような命令によって利用されるか、またはそのような命令に関連付けられたデータ構造を格納、符号化、または運搬することが可能である、任意の有形的媒体を含むものとみなされる。
また、上述したように、上述した機能は、命令、論理、または機械可読媒体上の他の情報の記憶によって実装することができる。機械可読媒体は、単一の媒体を用いて様々な実施例で説明されてきたが、用語「機械可読媒体」は、１つまたはそれ以上の命令またはデータ構造を格納する単一の媒体または複数の媒体（例えば、集中型または分散型のデータベース、および／または関連するキャッシュおよびサーバー）を含むことができる。用語「機械可読媒体」は、また、機械によって実行されるための命令を格納、符号化、または運搬することが可能であり、機械に本発明の方法論のいずれか１つまたはそれ以上を実行させる、または、そのような命令によって利用されるか、またはそのような命令に関連付けられたデータ構造を格納、符号化、または運搬することが可能である、任意の有形的媒体を含むものとみなされる。
追加の注意事項
［０１２４］
上記の詳細な説明は、詳細な説明の一部を形成する添付の図面への参照を含む。図面は、本発明を実施することができる特定の実施形態を、限定ではなく例示として示すものである。これらの実施形態は、本明細書では「実施例」とも呼ばれる。そのような実施例は、図示または記載されたものに追加した要素を含むことができる。しかし、本願発明者らは、また、図示または記載されている要素のみが提供されている実施例を考慮している。さらに、本願発明者らは、また、特定の実施例（またはその１つまたは複数の態様）に関して、あるいは他の実施例（またはその１つまたは複数の態様）に関して示された、または説明された要素の任意の組合せまたは置換を用いる実施例を考慮している。
［０１２４］
上記の詳細な説明は、詳細な説明の一部を形成する添付の図面への参照を含む。図面は、本発明を実施することができる特定の実施形態を、限定ではなく例示として示すものである。これらの実施形態は、本明細書では「実施例」とも呼ばれる。そのような実施例は、図示または記載されたものに追加した要素を含むことができる。しかし、本願発明者らは、また、図示または記載されている要素のみが提供されている実施例を考慮している。さらに、本願発明者らは、また、特定の実施例（またはその１つまたは複数の態様）に関して、あるいは他の実施例（またはその１つまたは複数の態様）に関して示された、または説明された要素の任意の組合せまたは置換を用いる実施例を考慮している。
［０１２５］
本明細書で参照される、すべての出版物、特許、および特許文書は、個々が参照により組み込まれているが、参照によりその全体が本明細書に組み込まれる。本明細書と、参照により組み込まれた文書との間に一貫性のない用法がある場合、参照により組み込まれた文書での用法は、本明細書の用法を補足するものと見なされ、矛盾する用法については、本明細書の用法が支配する。
本明細書で参照される、すべての出版物、特許、および特許文書は、個々が参照により組み込まれているが、参照によりその全体が本明細書に組み込まれる。本明細書と、参照により組み込まれた文書との間に一貫性のない用法がある場合、参照により組み込まれた文書での用法は、本明細書の用法を補足するものと見なされ、矛盾する用法については、本明細書の用法が支配する。
［０１２６］
本明細書では、用語「ａ」、「ａｎ」、「ｔｈｅ」、「ｓａｉｄ」は、特許文書で一般的であるように、本発明の態様の要素を導入するときに使用され、「少なくとも１つの」または「１つまたはそれ以上の」のいかなる他の例または使用法とは無関係に、１つまたはそれ以上の要素よりも１つまたはそれ以上を含む。本明細書では、用語「または（ｏｒ）」は、「ＡまたはＢ（Ａ ｏｒ Ｂ」が、そうでないと示されない限り、「Ａを含むがＢを含まない（Ａ ｂｕｔ ｎｏｔ Ｂ）」、「Ｂを含むがＡを含まない（Ｂ ｂｕｔ ｎｏｔ Ａ）」、「ＡおよびＢ（Ａ ａｎｄ Ｂ）」を含むように、非排他的であることを指すために使用される。
本明細書では、用語「ａ」、「ａｎ」、「ｔｈｅ」、「ｓａｉｄ」は、特許文書で一般的であるように、本発明の態様の要素を導入するときに使用され、「少なくとも１つの」または「１つまたはそれ以上の」のいかなる他の例または使用法とは無関係に、１つまたはそれ以上の要素よりも１つまたはそれ以上を含む。本明細書では、用語「または（ｏｒ）」は、「ＡまたはＢ（Ａ ｏｒ Ｂ」が、そうでないと示されない限り、「Ａを含むがＢを含まない（Ａ ｂｕｔ ｎｏｔ Ｂ）」、「Ｂを含むがＡを含まない（Ｂ ｂｕｔ ｎｏｔ Ａ）」、「ＡおよびＢ（Ａ ａｎｄ Ｂ）」を含むように、非排他的であることを指すために使用される。
［０１２７］
添付の特許請求の範囲において、用語「ｉｎｃｌｕｄｉｎｇ（含む）」および「ｉｎ ｗｈｉｃｈ（その中で）」は、それぞれの用語「ｃｏｍｐｒｉｓｉｎｇ（含む）」および「ｗｈｅｒｅｉｎ（ここで）」の平易な英語の等価物として使用される。また、以下の特許請求の範囲において、用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｈａｖｉｎｇ）」、は、オープンエンドであることを意図し、請求項のそのような用語（例えば、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｈａｖｉｎｇ）」）の後に列挙されている要素に追加した要素を含むものが、依然としてその請求項の範囲内にあるとみなされる。さらに、以下の特許請求の範囲では、「第１の」、「第２の」、および「第３の」などの用語は、単なるラベルとして使用されており、それらの対象に数値要件を課すことを意図していない。
添付の特許請求の範囲において、用語「ｉｎｃｌｕｄｉｎｇ（含む）」および「ｉｎ ｗｈｉｃｈ（その中で）」は、それぞれの用語「ｃｏｍｐｒｉｓｉｎｇ（含む）」および「ｗｈｅｒｅｉｎ（ここで）」の平易な英語の等価物として使用される。また、以下の特許請求の範囲において、用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｈａｖｉｎｇ）」、は、オープンエンドであることを意図し、請求項のそのような用語（例えば、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｈａｖｉｎｇ）」）の後に列挙されている要素に追加した要素を含むものが、依然としてその請求項の範囲内にあるとみなされる。さらに、以下の特許請求の範囲では、「第１の」、「第２の」、および「第３の」などの用語は、単なるラベルとして使用されており、それらの対象に数値要件を課すことを意図していない。
［０１２８］
本発明はまた、本明細書の操作を実行するために適合され、構成され、または操作されるコンピューティングシステムに関する。このシステムは、必要な目的のために特別に構成することも、コンピュータに格納されたコンピュータプログラムによって選択的にアクティブ化または再構成された汎用コンピュータを含むこともできる。本明細書において図示および説明される本発明の実施形態における動作の実行または実行の順序は、特に指定されない限り、必須ではない。すなわち、特に明記しない限り、操作は任意の順序で実行でき、本発明の実施形態は、本明細書に開示されているものよりも多いまたは少ない操作を含むことができる。例えば、別の操作の前、同時、または後に特定の操作を実行または実行することは、本発明の態様の範囲内であると考えられる。
本発明はまた、本明細書の操作を実行するために適合され、構成され、または操作されるコンピューティングシステムに関する。このシステムは、必要な目的のために特別に構成することも、コンピュータに格納されたコンピュータプログラムによって選択的にアクティブ化または再構成された汎用コンピュータを含むこともできる。本明細書において図示および説明される本発明の実施形態における動作の実行または実行の順序は、特に指定されない限り、必須ではない。すなわち、特に明記しない限り、操作は任意の順序で実行でき、本発明の実施形態は、本明細書に開示されているものよりも多いまたは少ない操作を含むことができる。例えば、別の操作の前、同時、または後に特定の操作を実行または実行することは、本発明の態様の範囲内であると考えられる。
［０１２９］
上記記載を考慮すれば、本発明のいくつかの目的が達成され、他の有利な結果が得られることが分かるであろう。本発明の態様を詳細に説明したが、添付の特許請求の範囲で定義される本発明の態様の範囲から逸脱することなく、修正および変更が可能であることは明らかであろう。本発明の態様の範囲から逸脱することなく、上記の構造、製品、および方法に様々な変更を加えることができるので、上記の説明に含まれ、添付の図面に示されるすべての事項は、例示として、かつ、限定的な意味ではないと、解釈されるべきである。
上記記載を考慮すれば、本発明のいくつかの目的が達成され、他の有利な結果が得られることが分かるであろう。本発明の態様を詳細に説明したが、添付の特許請求の範囲で定義される本発明の態様の範囲から逸脱することなく、修正および変更が可能であることは明らかであろう。本発明の態様の範囲から逸脱することなく、上記の構造、製品、および方法に様々な変更を加えることができるので、上記の説明に含まれ、添付の図面に示されるすべての事項は、例示として、かつ、限定的な意味ではないと、解釈されるべきである。
［０１３０］
上記の説明は、例示を意図したものであり、限定を意図したものではない。例えば、上述の実施例（または１つまたはそれ以上の態様）は、互いに組み合わせて使用することができる。さらに、本発明の範囲から逸脱することなく、特定の状況または材料を本発明の教示に適合させるために、多くの修正を行うことができる。本明細書に記載された寸法、材料の種類、および例示的なパラメータ、機能、および実施形態は、本発明のパラメータを定義することを意図しているが、それらは決して限定的なものではなく、例示的な実施形態である。上記の説明を検討すれば、他の多くの実施形態が当業者には明らかであろう。したがって、本発明の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる等価物の全範囲とともに決定されるべきである。
上記の説明は、例示を意図したものであり、限定を意図したものではない。例えば、上述の実施例（または１つまたはそれ以上の態様）は、互いに組み合わせて使用することができる。さらに、本発明の範囲から逸脱することなく、特定の状況または材料を本発明の教示に適合させるために、多くの修正を行うことができる。本明細書に記載された寸法、材料の種類、および例示的なパラメータ、機能、および実施形態は、本発明のパラメータを定義することを意図しているが、それらは決して限定的なものではなく、例示的な実施形態である。上記の説明を検討すれば、他の多くの実施形態が当業者には明らかであろう。したがって、本発明の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる等価物の全範囲とともに決定されるべきである。
［０１３１］
また、上記の詳細な説明では、開示を簡素化するために、さまざまな機能をグループ化することがある。これは、クレームされていない開示された機能がクレームに不可欠であることを意図するものとして解釈されるべきではない。むしろ、発明の主題は、特定の開示された実施形態のすべての特徴より少ない場合がある。したがって、以下の請求項は、これにより詳細な説明に組み込まれ、各請求項は別個の実施形態としてそれ自体で成立する。本発明の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる均等物の全範囲とともに決定されるべきである。
また、上記の詳細な説明では、開示を簡素化するために、さまざまな機能をグループ化することがある。これは、クレームされていない開示された機能がクレームに不可欠であることを意図するものとして解釈されるべきではない。むしろ、発明の主題は、特定の開示された実施形態のすべての特徴より少ない場合がある。したがって、以下の請求項は、これにより詳細な説明に組み込まれ、各請求項は別個の実施形態としてそれ自体で成立する。本発明の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる均等物の全範囲とともに決定されるべきである。
Claims (25)
- 深層学習を用いたアトラスベースセグメンテーションを実行するためのコンピュータ実装方法であって、
前記方法は、
対象画像に深層学習モデルを適用するステップであって、前記深層学習モデルは、前記対象画像の解剖学的特徴を識別する深層学習セグメンテーションデータを生成するように訓練されるステップと、
アトラス画像を前記対象画像に登録するステップであって、前記アトラス画像には、前記アトラス画像の解剖学的特徴を識別するアノテーションデータが関連付けられており、前記登録することは、前記アトラス画像と前記対象画像との間の登録結果を改善するために前記深層学習セグメンテーションデータを使用するステップと、
前記アトラス画像を前記対象画像に登録してマッピングされたアトラスを生成するステップと、
前記マッピングされたアトラスを用いて、前記対象画像の前記解剖学的特徴を識別するステップと
を有する
ことを特徴とするコンピュータ実装方法。 - 請求項１記載の方法において、
前記登録するステップは、前記深層学習セグメンテーションデータを適用することにより前記アトラス画像と前記対象画像との間の登録結果を改善して、前記対象画像で識別された前記解剖学的特徴に基づいて初期の登録推定値または制約値を決定する
ことを特徴とする方法。 - 請求項１記載の方法において、
前記アトラス画像は、複数のアトラス画像のうちの１つであり、前記マッピングされたアトラスは、複数のマッピングされたアトラスのうちの１つであり、
前記方法は、
前記複数のアトラス画像を前記対象画像に登録するステップであって、前記複数のアトラス画像には、前記それぞれのアトラス画像の前記解剖学的特徴を識別するそれぞれのアノテーションデータが関連付けられており、前記登録することは、前記複数のアトラス画像と前記対象画像との間の登録結果を改善するために前記深層学習セグメンテーションデータを使用するステップと、
前記複数のアトラス画像を前記対象画像に登録して前記複数のマッピングされたアトラスを生成するステップであって、前記複数のマッピングされたアトラスは前記対象画像内の前記解剖学的特徴のそれぞれの位置と境界を識別するステップと
を更に有し、
前記対象画像内の前記解剖学的特徴の識別することは、前記複数のマッピングされたアトラスからの結果を組み合わせることを含む
ことを特徴とする方法。 - 請求項３記載の方法において、
前記解剖学的特徴は、複数の解剖学的特徴のうちの１つであり、
前記複数のマッピングされたアトラスから前記対象画像の前記解剖学的特徴を識別するステップは、
前記複数のマッピングされたアトラスに基づいて、前記対象画像内の前記複数の解剖学的特徴の構造ラベリングを実行することと、
前記複数の解剖学的特徴の構造ラベリングに基づいて、前記対象画像の構造ラベルマップを生成することと
を更に有する
ことを特徴とする方法。 - 請求項１記載の方法において、
前記深層学習モデルを前記アトラス画像に適用するステップであって、前記深層学習モデルは、前記アトラス画像内の前記解剖学的特徴を識別する追加の深層学習セグメンテーションデータを生成するように訓練されるステップを更に有し、
前記アトラス画像を前記対象画像に登録するステップは、更に、前記追加の深層学習セグメンテーションデータを使用することを含み、前記追加の深層学習セグメンテーションデータが更に使用され、前記アトラス画像と前記対象画像との間で識別された前記解剖学的特徴の前記登録結果を改善する
ことを特徴とする方法。 - 請求項１記載の方法において、
機械学習モデルを前記対象画像に適用するステップであって、前記機械学習モデルは前記深層学習モデルの層からの特徴データに基づいて学習され、前記機械学習モデルは、解剖学的構造の予測分類を示すための構造分類器を提供するステップと、
前記解剖学的構造の予測分類から前記対象画像の分類器構造ラベルを生成するステップと
を更に有し、
前記解剖学的特徴を識別することは、前記アトラスベースのセグメンテーションからの構造ラベルと前記機械学習モデルからの前記分類器構造ラベルを組み合わせて、前記対象画像の構造ラベルマップを識別することを含む
ことを特徴とする方法。 - 請求項６記載の方法において、
前記機械学習モデルは、ブーストドツリー（ＢＴ）、ランダムフォレスト（ＲＦ）、またはサポートベクターマシン（ＳＶＭ）分類器である
ことを特徴とする方法。 - 請求項６記載の方法において、
前記機械学習モデルは、前記アトラス画像からのアトラス特徴データ、前記アトラス画像のマッピングから生成されたマッピングされたアトラス特徴データ、または、前記深層学習モデルからのセグメンテーションラベルマップの変換のうちの少なくとも１つに基づいて更に訓練される
ことを特徴とする方法。 - 請求項１記載の方法において、
前記深層学習モデルは畳み込みニューラルネットワークであり、前記解剖学的特徴は３次元画像セットからセグメンテーションされており、前記深層学習モデルは、セグメンテーションラベルマップにおける前記解剖学的特徴のそれぞれのボクセルを分類する複数の医用画像に基づいて学習される
ことを特徴とする方法。 - 請求項９記載の方法において、
前記深層学習モデルを訓練するために使用される前記複数の医療画像は、それぞれの医療施設からの画像を含み、前記それぞれの医療施設は、撮像および輪郭形成プロトコルのバリエーションを利用して、前記複数の医用画像における前記解剖学的特徴を識別する
ことを特徴とする方法。 - 深層学習を用いたアトラスベースセグメンテーションプロセスにおいて、訓練された機械学習分類器を操作するためのコンピュータ実装方法であって、
前記方法は、
アトラス画像に深層学習モデルを適用するステップであって、前記深層学習モデルは、前記アトラス画像内の複数の解剖学的構造の分析からデータを生成するために適合されているステップと、
前記深層学習モデルを適用して生成されたデータを使用して機械学習モデル分類器を訓練するステップであって、前記機械学習モデル分類器は、前記アトラス画像内の前記解剖学的構造を分類するために訓練されているステップと、
前記訓練された機械学習モデル分類器を対象画像に適用して、前記対象画像のそれぞれの領域の分類を生成するステップと、
前記対象画像の前記それぞれの領域の分類に基づいて、前記対象画像の前記それぞれの領域の構造ラベルを推定するステップと、
前記推定された構造ラベルを、前記対象画像のアトラスベースのセグメンテーションから生成された構造ラベルと組み合わせることにより、前記対象画像の前記それぞれの領域の構造ラベルを定義するステップと
を有する
ことを特徴とするコンピュータ実装方法。 - 請求項１１記載の方法において、
前記深層学習モデルは、入力画像のセグメンテーションを実行するように訓練された畳み込みニューラルネットワークを含み、前記深層学習モデルを適用して生成されたデータは、前記畳み込みニューラルネットワークの中間畳み込み層において前記入力画像を解析して生成された特徴マップを含む
ことを特徴とする方法。 - 請求項１１記載の方法において、
前記アトラス画像は、複数のアトラス画像のうちの１つであり、
前記方法は、
前記対象画像に前記深層学習モデルを適用して生成されたセグメンテーションデータを使用して、複数のアトラス画像を前記対象画像に登録し、
前記複数のアトラス画像を前記対象画像に登録することに基づいて、前記対象画像上に複数のマッピングされたアトラスを生成し、
前記複数のマッピングされたアトラスから前記対象画像の前記構造ラベルを生成することにより、
前記対象画像に対して前記アトラスベースのセグメンテーションを実行するステップを更に有する
ことを特徴とする方法。 - 請求項１３記載の方法において、
前記複数のマッピングされたアトラスから前記対象画像の前記構造ラベルを生成することは、前記複数のマッピングされたアトラスから示された複数のラベルに対してラベル精製とラベル融合を行うことを含む
ことを特徴とする方法。 - 請求項１１記載の方法において、
前記アトラス画像は、複数のアトラス画像のうちの１つであり、前記機械学習モデル分類器を訓練するステップは、前記複数のアトラス画像に前記深層学習モデルを適用して生成されたセグメンテーション結果を使用して更に実行される
ことを特徴とする方法。 - 請求項１１記載の方法において、
前記アトラス画像は、複数のアトラス画像のうちの１つであり、
前記機械学習モデル分類器を訓練するステップは、前記複数のアトラス画像に前記深層学習モデルを適用して生成されセグメンテーション特徴データを使用して更に実行される
ことを特徴とする方法。 - 請求項１１記載の方法において、
前記対象画像のそれぞれの領域の前記構造ラベルから前記対象画像のラベルマップを生成するステップであって、前記ラベルマップは前記対象画像のそれぞれのセグメントを識別し、前記対象画像の前記それぞれの領域は、複数のボクセルに対応するそれぞれの構造ラベルを含むステップを更に有する
ことを特徴とする方法。 - 処理装置の回路により実行されたときに、前記回路に、請求項１１乃至１７のいずれか１項に記載の方法を実行させる命令を含むことを特徴とする機械可読記憶媒体。
- 深層学習を用いたアトラスベースセグメンテーションを実行するためのシステムであって、
前記システムは、
少なくとも１つのプロセッサを含む処理回路と、
前記少なくとも１つのプロセッサにより実行されたときに、前記プロセッサに、
対象画像を取得するステップと、
前記対象画像に深層学習モデルを適用するステップであって、前記深層学習モデルは、前記対象画像の解剖学的特徴を識別する深層学習セグメンテーションデータを生成するように訓練されているステップと、
前記対象画像にアトラス画像の登録を実行するステップであって、前記アトラス画像は、前記アトラス画像内の解剖学的特徴を識別するアノテーションデータと関連付けられており、前記登録することは、前記アトラス画像と前記対象画像との間の登録結果を改善するために前記深層学習セグメンテーションデータを使用するステップと、
前記アトラス画像の前記対象画像への登録からマッピングされたアトラスを生成するステップと、
前記マッピングされたアトラスを使用して、前記対象画像内の前記解剖学的特徴の識別を実行するステップと
を実行させる命令を含む記憶媒体と
を有する
ことを特徴とするシステム。 - 請求項１９記載のシステムにおいて、
前記登録することは、前記対象画像内で識別された前記解剖学的特徴に基づいて初期登録推定値または制約値を決定するために前記深層学習セグメンテーションデータを適用することにより、前記アトラス画像と前記対象画像との間の登録結果を改善する
ことを特徴とするシステム。 - 請求項１９記載のシステムにおいて、
前記アトラス画像は、複数のアトラス画像のうちの１つであり、前記マッピングされたアトラスは、複数のマッピングされたアトラスのうちの１つであり、
前記命令は、前記プロセッサに、
前記深層学習セグメンテーションデータを使用して、前記複数のアトラス画像を前記対象画像に登録するステップであって、前記複数のアトラス画像は、前記それぞれのアトラス画像内の前記解剖学的特徴を識別するそれぞれのアノテーションデータに関連付けられており、前記登録することは、前記複数のアトラス画像と前記対象画像との間の登録結果を改善するために、前記深層学習セグメンテーションデータを使用するステップと、
前記複数のアトラス画像の前記対象画像への登録から前記複数のマッピングされたアトラスを生成するステップであって、前記複数のマッピングされたアトラスは、前記対象画像内の前記解剖学的特徴のそれぞれの位置および境界を識別し、前記対象画像の前記解剖学的特徴の識別は、前記複数のマッピングされたアトラスからの結果を組み合わせることを含むステップと
を更に実行させる
ことを特徴とするシステム。 - 請求項２１記載のシステムにおいて、
前記解剖学的特徴は、複数の解剖学的特徴のうちの１つであり、
前記複数のマッピングされたアトラスから、前記対象画像内の前記解剖学的特徴を識別することは、前記プロセッサに、
前記複数のマッピングされたアトラスに基づいて、前記対象画像内の前記複数の解剖学的特徴の構造ラベリングを実行するステップと、
前記複数の解剖学的特徴の前記構造ラベリングに基づいて、前記対象画像の構造ラベルマップを生成するステップと
を実行させる
ことを特徴とするシステム。 - 請求項１９記載のシステムにおいて、
前記命令は、前記プロセッサに、
前記深層学習モデルを前記アトラス画像に適用するステップであって、前記深層学習モデルは、前記アトラス画像内の前記解剖学的特徴を識別する追加の深層学習セグメンテーションデータを生成するために訓練されるステップを更に実行させ、
前記アトラス画像を前記対象画像に登録することは、更に、前記追加の深層学習セグメンテーションデータを使用することを含み、前記追加の深層学習セグメンテーションデータは、前記アトラス画像と前記対象画像の間の前記解剖学的特徴の前記登録結果を改善するために追加で使用される
ことを特徴とするシステム。 - 請求項１９記載のシステムにおいて、
前記命令は、前記プロセッサに、
前記対象画像に機械学習モデルを適用するステップであって、前記機械学習モデルは、前記深層学習モデルの層からの特徴データに基づいて訓練され、前記機械学習モデルは、解剖学的構造の予測分類を示すための構造分類器を提供するステップと、
前記解剖学的構造の前記予測分類から前記対象画像の分類器構造ラベルを生成するステップと
を実行させ、
前記解剖学的特徴の識別は、前記アトラスベースのセグメンテーションからの前記構造ラベルと前記機械学習モデルからの分類器の前記構造ラベルとを組み合わせて、前記対象画像の構造ラベルマップを識別することを含み、
前記機械学習モデルは、ブーストドツリー（ＢＴ）、ランダムフォレスト（ＲＦ）、またはサポートベクターマシン（ＳＶＭ）分類器である
ことを特徴とするシステム。 - 請求項１９記載のシステムにおいて、
前記深層学習モデルは、畳み込みニューラルネットワークであり、前記深層学習モデルは、セグメンテーションラベルマップにおける前記解剖学的特徴のそれぞれのボクセルを分類する複数の医用画像に基づいて訓練され、前記深層学習モデルを訓練するために使用される前記複数の医用画像は、それぞれの医療施設からの画像を含み、前記それぞれの医療施設は、撮像および輪郭形成プロトコルのバリエーションを利用して、前記複数の医用画像における前記解剖学的特徴を識別する
ことを特徴とするシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021073090A JP7181963B2 (ja) | 2018-02-14 | 2021-04-23 | 深層学習を用いたアトラスベースセグメンテーション |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/896,895 | 2018-02-14 | ||
| US15/896,895 US10878576B2 (en) | 2018-02-14 | 2018-02-14 | Atlas-based segmentation using deep-learning |
| PCT/US2019/017626 WO2019160850A1 (en) | 2018-02-14 | 2019-02-12 | Atlas-based segmentation using deep-learning |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021073090A Division JP7181963B2 (ja) | 2018-02-14 | 2021-04-23 | 深層学習を用いたアトラスベースセグメンテーション |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021508572A true JP2021508572A (ja) | 2021-03-11 |
| JP6876204B2 JP6876204B2 (ja) | 2021-05-26 |
Family
ID=65686932
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020543487A Active JP6876204B2 (ja) | 2018-02-14 | 2019-02-12 | 深層学習を用いたアトラスベースセグメンテーション |
| JP2021073090A Active JP7181963B2 (ja) | 2018-02-14 | 2021-04-23 | 深層学習を用いたアトラスベースセグメンテーション |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021073090A Active JP7181963B2 (ja) | 2018-02-14 | 2021-04-23 | 深層学習を用いたアトラスベースセグメンテーション |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US10878576B2 (ja) |
| EP (1) | EP3752981B1 (ja) |
| JP (2) | JP6876204B2 (ja) |
| CN (2) | CN114037726A (ja) |
| AU (1) | AU2019222619B2 (ja) |
| WO (1) | WO2019160850A1 (ja) |
Families Citing this family (72)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201617507D0 (en) | 2016-10-14 | 2016-11-30 | Axial3D Limited | Axial3D UK |
| US11138790B2 (en) | 2016-10-14 | 2021-10-05 | Axial Medical Printing Limited | Method for generating a 3D physical model of a patient specific anatomic feature from 2D medical images |
| US10699412B2 (en) * | 2017-03-23 | 2020-06-30 | Petuum Inc. | Structure correcting adversarial network for chest X-rays organ segmentation |
| CN107273357B (zh) * | 2017-06-14 | 2020-11-10 | 北京百度网讯科技有限公司 | 基于人工智能的分词模型的修正方法、装置、设备和介质 |
| US10878576B2 (en) | 2018-02-14 | 2020-12-29 | Elekta, Inc. | Atlas-based segmentation using deep-learning |
| US10910099B2 (en) * | 2018-02-20 | 2021-02-02 | Siemens Healthcare Gmbh | Segmentation, landmark detection and view classification using multi-task learning |
| US10885630B2 (en) | 2018-03-01 | 2021-01-05 | Intuitive Surgical Operations, Inc | Systems and methods for segmentation of anatomical structures for image-guided surgery |
| US10706503B2 (en) * | 2018-03-13 | 2020-07-07 | Disney Enterprises, Inc. | Image processing using a convolutional neural network |
| US10555779B2 (en) | 2018-04-27 | 2020-02-11 | Medtronic Navigation, Inc. | System and method for a tracked procedure |
| US10736699B2 (en) * | 2018-04-27 | 2020-08-11 | Medtronic Navigation, Inc. | System and method for a tracked procedure |
| US11972567B2 (en) * | 2018-05-29 | 2024-04-30 | The General Hospital Corporation | System and method for analyzing medical images to detect and classify a medical condition using machine-learning and a case pertinent radiology atlas |
| CN108986891A (zh) * | 2018-07-24 | 2018-12-11 | 北京市商汤科技开发有限公司 | 医疗影像处理方法及装置、电子设备及存储介质 |
| US11651584B2 (en) * | 2018-10-16 | 2023-05-16 | General Electric Company | System and method for memory augmented domain adaptation |
| EP3648013A1 (en) * | 2018-11-02 | 2020-05-06 | Tata Consultancy Services Limited | Method and system for partitioning of deep convolution network for executing on computationally constraint devices |
| EP3706128A4 (en) | 2018-11-09 | 2021-05-12 | Lunit Inc. | ANNOTATION WORK MANAGEMENT PROCESS AND APPARATUS AND SYSTEM SUPPORTING IT |
| US10929708B2 (en) | 2018-12-10 | 2021-02-23 | International Business Machines Corporation | Deep learning network for salient region identification in images |
| US11995854B2 (en) * | 2018-12-19 | 2024-05-28 | Nvidia Corporation | Mesh reconstruction using data-driven priors |
| GB201900437D0 (en) | 2019-01-11 | 2019-02-27 | Axial Medical Printing Ltd | Axial3d big book 2 |
| US11062459B2 (en) * | 2019-02-07 | 2021-07-13 | Vysioneer INC. | Method and apparatus for automated target and tissue segmentation using multi-modal imaging and ensemble machine learning models |
| CN111666960B (zh) * | 2019-03-06 | 2024-01-19 | 南京地平线机器人技术有限公司 | 图像识别方法、装置、电子设备及可读存储介质 |
| JP2020170408A (ja) * | 2019-04-04 | 2020-10-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
| US11410766B2 (en) * | 2019-06-06 | 2022-08-09 | Varian Medical Systems International Ag | Methods and systems for radiotherapy treatment planning based on continuous deep learning |
| CN112288672B (zh) * | 2019-07-10 | 2023-12-08 | 富泰华工业（深圳）有限公司 | 肿瘤检测方法及肿瘤检测装置 |
| US11830192B2 (en) * | 2019-07-31 | 2023-11-28 | The Joan and Irwin Jacobs Technion-Cornell Institute | System and method for region detection in tissue sections using image registration |
| WO2021024242A1 (en) * | 2019-08-04 | 2021-02-11 | Brainlab Ag | Atlas-based location determination of an anatomical region of interest |
| US10937158B1 (en) * | 2019-08-13 | 2021-03-02 | Hong Kong Applied Science and Technology Research Institute Company Limited | Medical image segmentation based on mixed context CNN model |
| CN112825619A (zh) * | 2019-09-20 | 2021-05-21 | 博医来股份公司 | 使用数字重建放射影像训练机器学习算法 |
| CN110675488B (zh) * | 2019-09-24 | 2023-02-28 | 电子科技大学 | 基于深度学习的创意三维体素模型的建模系统的构建方法 |
| JP7406758B2 (ja) * | 2019-09-26 | 2023-12-28 | ルニット・インコーポレイテッド | 人工知能モデルを使用機関に特化させる学習方法、これを行う装置 |
| CN110826560B (zh) * | 2019-11-06 | 2023-10-27 | 山东省计算中心（国家超级计算济南中心） | 一种食管癌病理图像标注方法 |
| CN111191500A (zh) * | 2019-11-12 | 2020-05-22 | 广东融合通信股份有限公司 | 一种基于深度学习图像分割的光伏屋顶资源识别方法 |
| CN112802028A (zh) * | 2019-11-13 | 2021-05-14 | 北京深睿博联科技有限责任公司 | 用于纵膈器官分割的图像处理方法及装置 |
| CN110853043B (zh) * | 2019-11-21 | 2020-09-29 | 北京推想科技有限公司 | 影像分割方法、装置、可读存储介质及电子设备 |
| US11842498B2 (en) | 2019-12-16 | 2023-12-12 | Siemens Healthineers International Ag | Systems and methods for automatic segmentation in medical imaging with multiple anatomical structure segmentation models |
| WO2021121600A1 (en) * | 2019-12-19 | 2021-06-24 | Brainlab Ag | Medical image analysis using machine learning and an anatomical vector |
| CN111091575B (zh) * | 2019-12-31 | 2022-10-18 | 电子科技大学 | 一种基于强化学习方法的医学图像分割方法 |
| CN111402260A (zh) * | 2020-02-17 | 2020-07-10 | 北京深睿博联科技有限责任公司 | 一种基于深度学习的医学影像分割方法、系统、终端及存储介质 |
| US20210255638A1 (en) * | 2020-02-19 | 2021-08-19 | Positec Power Tools (Suzhou) Co., Ltd. | Area Division and Path Forming Method and Apparatus for Self-Moving Device and Automatic Working System |
| CN111369568B (zh) * | 2020-02-20 | 2022-12-23 | 苏州浪潮智能科技有限公司 | 一种图像分割的方法、系统、设备及可读存储介质 |
| TWI783219B (zh) * | 2020-04-01 | 2022-11-11 | 緯創資通股份有限公司 | 醫學影像辨識方法及醫學影像辨識裝置 |
| CN111524184B (zh) * | 2020-04-21 | 2024-01-16 | 湖南视普瑞智能科技有限公司 | 一种基于3d视觉的智能拆垛方法及拆垛系统 |
| CN111652308B (zh) * | 2020-05-13 | 2024-02-23 | 三峡大学 | 基于超轻量级全卷积神经网络的花卉识别方法 |
| TWI733487B (zh) * | 2020-06-09 | 2021-07-11 | 廣達電腦股份有限公司 | 脊椎壓迫性骨折偵測方法與系統 |
| CN111862255A (zh) * | 2020-07-17 | 2020-10-30 | 上海联影医疗科技有限公司 | 正则化图像重建方法、系统、可读存储介质和设备 |
| US10885387B1 (en) * | 2020-08-04 | 2021-01-05 | SUPERB Al CO., LTD. | Methods for training auto-labeling device and performing auto-labeling by using hybrid classification and devices using the same |
| US10902291B1 (en) * | 2020-08-04 | 2021-01-26 | Superb Ai Co., Ltd. | Methods for training auto labeling device and performing auto labeling related to segmentation while performing automatic verification by using uncertainty scores and devices using the same |
| US11651499B2 (en) * | 2020-09-17 | 2023-05-16 | International Business Machines Corporation | Reducing structural redundancy in automatic image segmentation |
| US11747468B2 (en) | 2020-09-24 | 2023-09-05 | Eagle Technology, Llc | System using a priori terrain height data for interferometric synthetic aperture radar (IFSAR) phase disambiguation and related methods |
| US11238307B1 (en) | 2020-09-24 | 2022-02-01 | Eagle Technology, Llc | System for performing change detection within a 3D geospatial model based upon semantic change detection using deep learning and related methods |
| US11587249B2 (en) | 2020-09-24 | 2023-02-21 | Eagle Technology, Llc | Artificial intelligence (AI) system and methods for generating estimated height maps from electro-optic imagery |
| US11302071B1 (en) | 2020-09-24 | 2022-04-12 | Eagle Technology, Llc | Artificial intelligence (AI) system using height seed initialization for extraction of digital elevation models (DEMs) and related methods |
| EP3975037A1 (en) * | 2020-09-28 | 2022-03-30 | Siemens Healthcare GmbH | Providing a classification explanation and a generative function |
| US20220114389A1 (en) * | 2020-10-09 | 2022-04-14 | GE Precision Healthcare LLC | Systems and methods of automatic medical image labeling |
| KR102667231B1 (ko) | 2020-12-21 | 2024-05-20 | 주식회사 인피니트헬스케어 | 딥 러닝 알고리듬과 해부학적 특성에 기반한 의료 영상 셋의 컨투어링 시스템 및 방법 |
| WO2022140990A1 (zh) * | 2020-12-28 | 2022-07-07 | 西安大医集团股份有限公司 | 医学图像轮廓勾画方法、装置及系统 |
| US11636649B2 (en) | 2021-01-06 | 2023-04-25 | Eagle Technology, Llc | Geospatial modeling system providing 3D geospatial model update based upon predictively registered image and related methods |
| US11816793B2 (en) | 2021-01-06 | 2023-11-14 | Eagle Technology, Llc | Geospatial modeling system providing 3D geospatial model update based upon iterative predictive image registration and related methods |
| US12008403B2 (en) | 2021-01-22 | 2024-06-11 | Bank Of America Corporation | System for electronic identification of attributes for performing maintenance, monitoring, and distribution of designated resources |
| GB202101908D0 (en) | 2021-02-11 | 2021-03-31 | Axial Medical Printing Ltd | Axial3D pathology |
| CN112598669B (zh) * | 2021-03-04 | 2021-06-01 | 之江实验室 | 一种基于数字人技术的肺叶分割方法 |
| US12020428B2 (en) * | 2021-06-11 | 2024-06-25 | GE Precision Healthcare LLC | System and methods for medical image quality assessment using deep neural networks |
| CN113536373B (zh) * | 2021-07-07 | 2023-04-18 | 河南大学 | 一种脱敏气象数据的生成方法 |
| US20230049430A1 (en) * | 2021-08-10 | 2023-02-16 | GE Precision Healthcare LLC | System and method for cohesive multi-regional functional-anatomical medical image registration |
| US20230097224A1 (en) * | 2021-09-28 | 2023-03-30 | Varian Medical Systems, Inc. | Ai-based atlas mapping slice localizer for deep learning autosegmentation |
| CN113963148B (zh) * | 2021-10-29 | 2023-08-08 | 北京百度网讯科技有限公司 | 对象检测方法、对象检测模型的训练方法及装置 |
| WO2023152530A2 (en) * | 2021-12-10 | 2023-08-17 | Mofaip, Llp | Multidimensional anatomic mapping, descriptions, visualizations, and translations |
| CN114400099A (zh) * | 2021-12-31 | 2022-04-26 | 北京华彬立成科技有限公司 | 疾病信息挖掘和检索方法、装置、电子设备和存储介质 |
| WO2023223904A1 (ja) * | 2022-05-17 | 2023-11-23 | 株式会社アナリティックウェア | データ収集装置、学習装置、およびデータ収集方法 |
| JP2023176256A (ja) * | 2022-05-31 | 2023-12-13 | 楽天グループ株式会社 | 画像からデータを予測する方法、コンピュータシステム、及びコンピュータ可読媒体 |
| WO2024089423A1 (en) * | 2022-10-25 | 2024-05-02 | Through Leaves Limited | System and method for three-dimensional imaging |
| CN116052137B (zh) * | 2023-01-30 | 2024-01-30 | 北京化工大学 | 一种基于深度学习的古典家具文化属性识别方法及系统 |
| CN117857762B (zh) * | 2024-03-08 | 2024-05-14 | 深圳市东陆科技有限公司 | 显示模组的图像处理方法、装置、芯片及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030228042A1 (en) * | 2002-06-06 | 2003-12-11 | Usha Sinha | Method and system for preparation of customized imaging atlas and registration with patient images |
| WO2012058217A2 (en) * | 2010-10-29 | 2012-05-03 | The Johns Hopkins University | Image search engine |
| WO2014133756A2 (en) * | 2013-03-01 | 2014-09-04 | Impac Medical Systems, Inc. | Method and apparatus for learning-enhanced altas-based auto-segmentation |
| CN107123137A (zh) * | 2017-04-28 | 2017-09-01 | 上海联影医疗科技有限公司 | 医学图像处理方法及设备 |
| WO2017191248A1 (en) * | 2016-05-04 | 2017-11-09 | Koninklijke Philips N.V. | Medical atlas registration |
Family Cites Families (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6708184B2 (en) | 1997-04-11 | 2004-03-16 | Medtronic/Surgical Navigation Technologies | Method and apparatus for producing and accessing composite data using a device having a distributed communication controller interface |
| US6549646B1 (en) | 2000-02-15 | 2003-04-15 | Deus Technologies, Llc | Divide-and-conquer method and system for the detection of lung nodule in radiological images |
| US8543519B2 (en) | 2000-08-07 | 2013-09-24 | Health Discovery Corporation | System and method for remote melanoma screening |
| JP2002330951A (ja) | 2001-05-11 | 2002-11-19 | Canon Inc | 画像符号化装置及び復号装置及び方法及びコンピュータプログラム及び記憶媒体 |
| US6901277B2 (en) | 2001-07-17 | 2005-05-31 | Accuimage Diagnostics Corp. | Methods for generating a lung report |
| US7158692B2 (en) | 2001-10-15 | 2007-01-02 | Insightful Corporation | System and method for mining quantitive information from medical images |
| US20080292194A1 (en) | 2005-04-27 | 2008-11-27 | Mark Schmidt | Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images |
| JPWO2007029467A1 (ja) | 2005-09-05 | 2009-03-19 | コニカミノルタエムジー株式会社 | 画像処理方法及び画像処理装置 |
| WO2008035276A2 (en) | 2006-09-22 | 2008-03-27 | Koninklijke Philips Electronics N.V. | Methods for feature selection using classifier ensemble based genetic algorithms |
| BRPI0908886A2 (pt) | 2008-02-15 | 2015-09-15 | Koninkl Philips Electronics Nv | aparelho, método e programa de computador pra segmentar um objeto, e, modelo de objeto |
| JP2011512999A (ja) | 2008-03-04 | 2011-04-28 | トモセラピー・インコーポレーテッド | 改良された画像セグメンテーションの方法およびシステム |
| GB0811671D0 (en) | 2008-06-25 | 2008-07-30 | Imp Innovations Ltd | Morphological analysis |
| EP2189942A3 (en) | 2008-11-25 | 2010-12-15 | Algotec Systems Ltd. | Method and system for registering a medical image |
| EP2194486A1 (en) | 2008-12-04 | 2010-06-09 | Koninklijke Philips Electronics N.V. | A method, apparatus, and computer program product for acquiring medical image data |
| US8073220B2 (en) | 2009-04-20 | 2011-12-06 | Siemens Aktiengesellschaft | Methods and systems for fully automatic segmentation of medical images |
| GB0917154D0 (en) | 2009-09-30 | 2009-11-11 | Imp Innovations Ltd | Method and apparatus for processing medical images |
| US8160357B2 (en) | 2010-07-30 | 2012-04-17 | Kabushiki Kaisha Toshiba | Image segmentation |
| WO2012014146A2 (en) | 2010-07-30 | 2012-02-02 | Koninklijke Philips Electronics N.V. | Organ-specific enhancement filter for robust segmentation of medical images |
| KR101883258B1 (ko) | 2010-08-13 | 2018-07-31 | 스미스 앤드 네퓨, 인크. | 해부학적 계측점의 검출 방법 |
| US9710730B2 (en) | 2011-02-11 | 2017-07-18 | Microsoft Technology Licensing, Llc | Image registration |
| CN102737379A (zh) | 2012-06-07 | 2012-10-17 | 中山大学 | 一种基于自适应学习的ct图像分割方法 |
| US9349186B2 (en) * | 2013-02-11 | 2016-05-24 | General Electric Company | Systems and methods for image segmentation using target image intensity |
| WO2015003748A1 (en) * | 2013-07-11 | 2015-01-15 | Brainlab Ag | Generation of a patient-specific anatomical atlas |
| US9235781B2 (en) | 2013-08-09 | 2016-01-12 | Kabushiki Kaisha Toshiba | Method of, and apparatus for, landmark location |
| US9655563B2 (en) | 2013-09-25 | 2017-05-23 | Siemens Healthcare Gmbh | Early therapy response assessment of lesions |
| US9406142B2 (en) * | 2013-10-08 | 2016-08-02 | The Trustees Of The University Of Pennsylvania | Fully automatic image segmentation of heart valves using multi-atlas label fusion and deformable medial modeling |
| US9668699B2 (en) | 2013-10-17 | 2017-06-06 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
| EP2881916B1 (en) | 2013-12-06 | 2018-01-31 | Siemens Healthcare GmbH | Query-specific generation and retrieval of medical volume images |
| CN106062782B (zh) | 2014-02-27 | 2020-03-06 | 皇家飞利浦有限公司 | 针对基于图集的配准的无监督的训练 |
| US9092691B1 (en) | 2014-07-18 | 2015-07-28 | Median Technologies | System for computing quantitative biomarkers of texture features in tomographic images |
| KR20160049897A (ko) | 2014-10-28 | 2016-05-10 | 삼성전자주식회사 | 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법 |
| US9767380B2 (en) | 2015-04-13 | 2017-09-19 | Varian Medical Systems International Ag. | Image comparison tool tolerant to deformable image matching |
| US10037603B2 (en) | 2015-05-04 | 2018-07-31 | Siemens Healthcare Gmbh | Method and system for whole body bone removal and vascular visualization in medical image data |
| US9684967B2 (en) | 2015-10-23 | 2017-06-20 | International Business Machines Corporation | Imaging segmentation using multi-scale machine learning approach |
| US10169871B2 (en) | 2016-01-21 | 2019-01-01 | Elekta, Inc. | Systems and methods for segmentation of intra-patient medical images |
| US20170337682A1 (en) | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
| US10695150B2 (en) | 2016-12-16 | 2020-06-30 | Align Technology, Inc. | Augmented reality enhancements for intraoral scanning |
| US10878576B2 (en) | 2018-02-14 | 2020-12-29 | Elekta, Inc. | Atlas-based segmentation using deep-learning |
-
2018
- 2018-02-14 US US15/896,895 patent/US10878576B2/en active Active
-
2019
- 2019-02-12 AU AU2019222619A patent/AU2019222619B2/en active Active
- 2019-02-12 JP JP2020543487A patent/JP6876204B2/ja active Active
- 2019-02-12 WO PCT/US2019/017626 patent/WO2019160850A1/en unknown
- 2019-02-12 CN CN202111210496.1A patent/CN114037726A/zh active Pending
- 2019-02-12 EP EP19709592.0A patent/EP3752981B1/en active Active
- 2019-02-12 CN CN201980013586.6A patent/CN111727458B/zh active Active
-
2020
- 2020-11-19 US US16/949,886 patent/US11710241B2/en active Active
-
2021
- 2021-04-23 JP JP2021073090A patent/JP7181963B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030228042A1 (en) * | 2002-06-06 | 2003-12-11 | Usha Sinha | Method and system for preparation of customized imaging atlas and registration with patient images |
| WO2012058217A2 (en) * | 2010-10-29 | 2012-05-03 | The Johns Hopkins University | Image search engine |
| WO2014133756A2 (en) * | 2013-03-01 | 2014-09-04 | Impac Medical Systems, Inc. | Method and apparatus for learning-enhanced altas-based auto-segmentation |
| WO2017191248A1 (en) * | 2016-05-04 | 2017-11-09 | Koninklijke Philips N.V. | Medical atlas registration |
| CN107123137A (zh) * | 2017-04-28 | 2017-09-01 | 上海联影医疗科技有限公司 | 医学图像处理方法及设备 |
Non-Patent Citations (2)
| Title |
|---|
| IGNACIO ROCCO ET AL.: ""Convolutional neural network architecture for geometric matching"", [ONLINE], vol. [令和２年１２月１７日検索], JPN6020050110, 13 April 2017 (2017-04-13), pages 1703 - 05593, ISSN: 0004414962 * |
| SNEHASHIS ROY ET AL.: ""Subject-Specific Sparse Dictionary Learning for Atlas-Based Brain MRI Segmentation"", IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, vol. VOL. 19, NO. 5,, JPN6020050112, September 2015 (2015-09-01), pages 1598 - 1609, ISSN: 0004414963 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190251694A1 (en) | 2019-08-15 |
| CN111727458B (zh) | 2021-11-05 |
| US11710241B2 (en) | 2023-07-25 |
| JP2021131872A (ja) | 2021-09-09 |
| JP7181963B2 (ja) | 2022-12-01 |
| CN114037726A (zh) | 2022-02-11 |
| JP6876204B2 (ja) | 2021-05-26 |
| WO2019160850A1 (en) | 2019-08-22 |
| CN111727458A (zh) | 2020-09-29 |
| EP3752981A1 (en) | 2020-12-23 |
| EP3752981B1 (en) | 2024-05-01 |
| US20210090265A1 (en) | 2021-03-25 |
| AU2019222619A1 (en) | 2020-09-24 |
| AU2019222619B2 (en) | 2020-11-19 |
| US10878576B2 (en) | 2020-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6876204B2 (ja) | 深層学習を用いたアトラスベースセグメンテーション | |
| AU2019262835B2 (en) | Radiotherapy treatment plan modeling using generative adversarial networks | |
| JP6960509B2 (ja) | 合成医療画像を生成するためのニューラルネットワーク | |
| US11491348B2 (en) | Real-time patient motion monitoring using a magnetic resonance linear accelerator (MRLINAC) | |
| JP7039153B2 (ja) | 敵対的生成ネットワークを使用した画像強調 | |
| US10751548B2 (en) | Automated image segmentation using DCNN such as for radiation therapy | |
| US11083913B2 (en) | Machine learning approach to real-time patient motion monitoring | |
| JP7245364B2 (ja) | 変形可能な層を有するＣｙｃｌｅＧＡＮを用いたｓＣＴ画像生成 | |
| JP2021521534A (ja) | 敵対的ネットワークを使用した画像合成 | |
| US11996178B2 (en) | Parameter search in radiotherapy treatment plan optimization | |
| AU2020312643B2 (en) | Radiotherapy treatment plan optimization using machine learning | |
| JP2022542021A (ja) | 放射線治療計画の最適化問題の圧縮 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201009 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200928 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201009 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210312 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210423 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6876204 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE Ref document number: 6876204 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |