JP2021511138A - 試験組織試料における転移を予測するための医療解析方法 - Google Patents

試験組織試料における転移を予測するための医療解析方法 Download PDF

Info

Publication number
JP2021511138A
JP2021511138A JP2020539691A JP2020539691A JP2021511138A JP 2021511138 A JP2021511138 A JP 2021511138A JP 2020539691 A JP2020539691 A JP 2020539691A JP 2020539691 A JP2020539691 A JP 2020539691A JP 2021511138 A JP2021511138 A JP 2021511138A
Authority
JP
Japan
Prior art keywords
image data
tumor
tissue sample
machine learning
metastasis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020539691A
Other languages
English (en)
Other versions
JP7304866B2 (ja
JPWO2019141748A5 (ja
Inventor
ウーリッヒ キャッシャー
ウーリッヒ キャッシャー
カルステン ソマー
カルステン ソマー
アクセル サールバチ
アクセル サールバチ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2021511138A publication Critical patent/JP2021511138A/ja
Publication of JPWO2019141748A5 publication Critical patent/JPWO2019141748A5/ja
Application granted granted Critical
Publication of JP7304866B2 publication Critical patent/JP7304866B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本開示は、試験組織試料における転移300を予測するために、コンピュータにより実施される医療解析方法に関する。方法は、入力及び出力を有する第1の機械学習モデル154を提供することと、腫瘍304の記述と、解剖学的領域306の試験組織試料の第1の画像データ148とを受信することであって、試験組織試料には転移がないことと、第1の画像データ148及び腫瘍の記述401を第1の機械学習モデル154の入力に提供することと、提供することに応答して、第1の機械学習モデル154の出力から、試験組織試料内の腫瘍304から生じる転移300の発生の予測を受信することと、予測を提供することとを有する。

Description

本発明は、試験組織試料における転移を予測するための医療解析方法、試験組織試料における転移を予測するための医療解析システム、MRIシステム及びコンピュータプログラムプロダクトに関する。
多くの腫瘍型が、転移を介して身体中に広がる傾向にある。臨床医は、原発腫瘍が検出された後、潜在的な転移場所を可能な限り早期に特定する方式を模索している。転移場所の正しい特定は、治療的利点をもたらす。例えば、予防照射により転移の発生が低減し、全体生存率が改善する。
対象者の組織をイメージングするための様々なイメージング技術が当該技術分野において知られている。例としては、磁気共鳴イメージング(MRI)、コンピュータ断層撮影(CT)、超音波イメージング(US)、及びポジトロン放出型断層撮影イメージングがある。
磁気共鳴イメージング(MRI)は、先例のない組織コントラストを有する人体のような物体の断面視を可能にする最先端のイメージング技術である。MRIは、核磁気共鳴の原理に基づき、科学者によって、分子に関する化学的及び物理的な微視的情報を得るために分光技術が用いられる。核磁気共鳴及びMRIの双方の基礎となっているのは、非ゼロスピンを有する原子核が、磁気モーメントを有するということである。医用イメージングでは、例えば水素原子の核が研究される。なぜなら、これらは体内で例えば水のように高濃度で存在するためである。素粒子の核スピンは、強力なDC磁場が加えられる場合、共鳴周波数で共鳴することができる。この磁気共鳴(MR)周波数は、DC磁場の磁束のレベルによって決まる。MRIスキャナーにおいて、磁場は、空間内の或る位置においてのみ、選択された共鳴周波数と一致する。この位置においてのみ、これらの粒子の存在を検出することができる。この位置を変動させることによって、画像を測定することができる。
必要とされる強力なDC磁場(B0磁場)は、通常、超伝導磁石によって生成される。この磁場を、1つの位置においてのみ所与の無線周波数に一致するように変動させるために、勾配コイルを用いて磁場勾配が生成される。磁場勾配は、スキャンを達成するように経時的に変動することができる。
核共鳴を励起するために、RFコイルは、核共鳴において高周波数磁場を生成する。磁場は、MRIスキャナーの軸に対し径方向に向かわなくてはならない。全ての方向において径方向の磁場を達成するために、1つの期間中に1つの時点で任意の径方向を指し示す回転磁場が用いられる。これは、例えば、いわゆる「バードケージ」配置を用いて達成される。バードケージの対向するスラブにおける電流は反対方向に流れ、このため、径方向の磁場を生成する。近傍スラブにおける電流は、磁場が回転するように位相シフトを有する。
コイルは、一般的に、人体内部で適切に規定された磁場を生成するように設計された高共鳴アンテナである。
WO2009/084995A1は、患者の骨格の同位体骨スキャン画像のセットからの骨肉腫転移の自動検出のための検出システムに関する。このシステムは、形状識別ユニットと、ホットスポット検出ユニットと、ホットスポット特徴抽出ユニットと、第1の人工ニューラルネットワークユニットと、患者特徴抽出ユニットと、第2の人工ニューラルネットワークユニットとを備える。
US特許出願第2017/0193175号は、デジタル化された着色病理組織画像から非小細胞肺がん(NSCLC)の再発を予測する計算方法を開示している。自動ディープラーニングがNSCLCの(同じ)領域内の再発確率を提供する。すなわち、組織の小さな領域の生検から、生検が取得されたのと同じ臓器におけるがん再発の尤度が予測される。
本発明の実施形態は、試験組織試料における転移を予測するために、コンピュータにより実施される医療解析方法を提供する。この方法は、入力及び出力を有する第1の機械学習モデルを提供するステップと、腫瘍の記述と、解剖学的領域の転移がない試験組織試料の第1の画像データとを受信するステップと、第1の画像データ及び腫瘍の記述を第1の機械学習モデルの入力に提供するステップと、提供するステップに応答して、第1の機械学習モデルの出力から、試験組織試料内の腫瘍が起源の転移の発生の予測を受信するステップと、予測を提供するステップとを有する。
「画像データ」という用語は、画像に変換することができ、コンピュータスクリーンのようなユーザインタフェース上に表示することができるデータに関する。
「解剖学的領域」という用語は、例えば人物又は動物のような対象者の解剖学的構造の任意の予め定義された領域である。領域は、肝臓若しくは脳のような特定の臓器を含むか、又は脊椎領域、膝、肩等のような特定の領域を含む。
「機械学習」という用語は、確率モデル(機械学習モデルと呼ばれる)を構築することによってトレーニングデータセットから有用な情報を自動的に抽出するのに用いられるコンピュータアルゴリズムを指す。機械学習は、分類及び回帰技法(例えば、サポートベクトル法、ツリー、ニューラルネットワーク、…)等の1つ又は複数の学習アルゴリズムを用いて行われる。「モデル」は、例えば、他の既知の値から未測定の値(例えば、どのタグが所与のトークンに対応するか)を予測し、かつ/又は未来の利益を最大にするためのアクションを予測若しくは選択することを可能にする式又は規則のセットである。1つの実施形態によれば、機械学習モデルはディープラーニングモデルである。
本発明の実施形態は、転移の発生が、転移自体が解剖学的領域内に存在する前に予測されるという利点を有する。例えば、対象者内に存在する特定の腫瘍が、未来に転移の発生を引き起こす場合がある。上述した方法は、オプションの経時的な発生予測を含めて、この発生を予測することを目的とする。これにより、更には、転移、すなわち、特定の臓器内の可能性のある場所の厳密な予測(「臓器内」)が可能になる。
このため、実施形態は、転移場所の臓器内予測のために機械学習を適用することを提案し、原発腫瘍の検出後、転移による影響を受ける可能性が最も高い標的臓器が、例えば十分な放射線情報を提供する1つ又は複数の適切なイメージングモダリティを用いてイメージングされる。結果として得られる画像は、適切にトレーニングされた機械学習アルゴリズムに入り、これにより、臓器内の場所の転移が予期される確率に関する情報がもたらされる。すなわち、1つの臓器又は組織領域における原発腫瘍の検出時に、検出された原発腫瘍の記述、及び検出された原発腫瘍から離れた、(依然として)転移のない解剖学的領域の試験組織試料の第1の画像データから、第1の機械学習モデルが、この解剖学的領域において(やがて)転移が発生することを予測することが可能である。特に、第1の機械学習モデルは、患者の身体の他の異なる部分、すなわち、原発腫瘍が検出された臓器又は組織領域以外の臓器又は組織領域における転移の発生を予測する。
本発明の実施形態によれば、方法は、解剖学的領域のトレーニング組織試料のうちの複数の異なるものに対するトレーニングセットを受信することであって、各トレーニングセットは、トレーニング組織試料のそれぞれについて、第2の画像データ及び第3の画像データを含み、第3の画像データは、トレーニング組織試料の起源の対象者における転移の発生後に取得されるデータであり、第2の画像データは転移のないトレーニング組織試料を表し、各トレーニングセットは、トレーニング組織試料の起源の対象者における腫瘍の記述を更に含むことと、第1の機械学習モデルを生成するためにトレーニングセットに対し学習アルゴリズムを実行することとを更に有する。このため、第2の機械学習モデルは、第3の画像データを用いて、患者の身体の他の異なる部分、すなわち、原発腫瘍が検出された臓器又は組織領域以外の臓器又は組織領域における転移の発生を予測する。
これは、転移の発生につながる厳密なプロセスに対する事前知識なしでも、依然として上述した転移予測を行うことができる機械学習モデルを正確に提供することが可能であるという利点を有する。トレーニングセットによって、転移発生の特定の感受性を特定の解剖学的領域に自動的に帰することが可能である。これは更には、第2の画像データにおいて可視の解剖学的領域の特定のタイプの解剖学的成形に依拠する。したがって、例えば、機械学習モデルは、特定の脳領域における脳の特定の脳回を伴う脳の特定の形状が、その領域における脳の異なる脳回を伴うその脳領域の僅かに異なる形状と比較して、転移の発生に対する感受性が高いことを記述する。
第3の画像データは、対象者における転移の発生後に取得されたデータであるが、転移は必ずしも解剖学的領域内に位置しないことに留意しなくてはならない。このため、第3の画像データが転移を有していない場合、これは、学習アルゴリズムにとって、この第3の画像データに対応する組織の、転移の形成に対する感受性がより低いことの指標となる。対照的に、第3の画像データが、転移により影響を受けるトレーニング組織試料を表している場合、これは、学習アルゴリズムにとって、この第3の画像データに対応する組織の、転移の形成に対する感受性がより高いことの指標となる。いずれの場合も、第2の画像データには常に転移がない。
例えば、学習アルゴリズムは、ディープラーニングネットワークを含み、ディープラーニングは、第2の画像データを、後続の取得における転移の出現に関する情報と共に提供することによって、特定の解剖学的領域における転移の確率を予測するように学習する。
実施形態によれば、第2の画像データ及び第3の画像データは、解剖学的領域の3Dボリュームを表す。例えば、画像データは、3Dボリュームを提供するために、2Dマルチスライス取得を用いるか又は3D取得を用いて取得される。
実施形態によれば、腫瘍の記述は、腫瘍を保有する対象者の解剖学的構造に対する腫瘍の空間的場所、腫瘍の分類、腫瘍の画像データのうちの任意のものを含む。腫瘍の場所に応じて、転移の発生は異なる。腫瘍の分類は、例えば腫瘍のWHO/IARC又はTNM分類に従って提供され、これは当該技術分野において知られている。このため、腫瘍分類は、分子病理学を考慮しても、病理組織学的見解の合意に基づく。
例えば、腫瘍の記述は、CT又はMR又はX線画像データを含む。腫瘍のサイズ、形状及び場所に基づいて、学習アルゴリズムは、腫瘍自体を含む領域と異なる特定の解剖学的領域における転移の確率を予測することができる。
実施形態によれば、腫瘍が起源の転移によって、試験組織試料が影響を受けるか否かの指標と、腫瘍が起源の転移によって、解剖学的領域のどの離散した場所が影響を受けるかの指標を有する解剖学的領域にわたる確率マップとのうちの任意のものを含む。
このため、利用可能なトレーニングセットに依拠して、予測は、試験組織試料がいずれかの場所で腫瘍が起源の転移による影響を受けるか否かの、単純なyes/no情報から、組織試料内のどの空間的場所が、腫瘍が起源の転移によりどれほどの確率で影響を受けるかの情報を詳細に提供する全体マップに及ぶ。
例えば、指標は、転移が予期されなくてはならない確率を記述する確率値と、転移が予期されなくてはならないか否かを記述するバイナリ値とのうちの任意のものを含む。確率値は、パーセンテージ(例えば、100%、50%、25%)として、又はバイナリ値(例えば、「1」=「yes、転移が予想される」、「0」=「転移が予想されない」)として与えられる。
このため、解剖学的構造ごとに、転移が発生する確率又はバイナリ記述を予測することが可能である。領域提案は、場所/空間的広がり(及びスコア/バイナリ判定)と共にもたらされる。最終的に、セグメンテーションのような手法の場合、全てのボクセル又はピクセルはバイナリ判定/確率スコアを有する。
実施形態によれば、第1の画像データ、第2の画像データ、第3の画像データ及び腫瘍の画像データは、磁気共鳴画像データ、コンピュータ断層撮影画像データ、超音波画像データ、ポジトロン放出型断層撮影画像データ、X線データのうちの任意のものである。このため、方法は、転移が予測されなくてはならない対象者から入手可能な任意の画像データを自由に用いる。トレーニングセットは、例えば、MRIからの第2及び第3の画像データのセットと、CTからの第2の及び第3の画像データのセットとを含む。この理由は、双方のセットが、異なる情報コンテンツ「コントラスト」を有する解剖学的領域を示すためである。併せて、最も高い情報量が提供される。
このため、トレーニング及び診断フェーズ中に取得される画像は、単一又は複数のイメージングモダリティ、例えば、磁気共鳴(MR)、コンピュータ断層撮影(CT)、超音波(US)又はポジトロン放出型断層撮影(PET)からのものとすることができる。更に、各モダリティを用いて、異なるコントラストを有する複数の画像セット、例えば、T1/T2/拡散強調を有するMR画像、造影剤注入前及び造影剤注入後のMR画像等を取得することが有利であり得る。イメージング労力と予測力との間の適切なトレードオフが見つけられなくてはならない。更に、手法はイメージングデータのみに限定されず、年齢、性別、実験室値又は患者病歴等の情報も組み込み得る。
この理由により、実施形態によれば、方法は、腫瘍を保有する対象者の病歴データを受信することと、病歴データを機械学習モデルの入力に提供することとを更に有しており、トレーニングセットは、腫瘍を保有する対象者の病歴データを更に含む。例えば、ヘビースモーカーは、非喫煙者と比較して例えば肺のような解剖学的構造の特定の領域における転移の発生に対する感受性がより高い。
通常、患者の病歴又は既往症は、診断を策定し、患者に医療を提供する際に有用な情報を取得する目的で、患者又はその人物を知り、適切な情報を与えることができる他の人物に特定の質問を行うことにより医師によって得られる情報である。病歴データの例としては、氏名、年齢、身長、体重のような識別情報及び人口統計;大きな病気、任意の以前の外科処置/手術;家族歴;定期的及び急性の投薬;アレルギー等である。
実施形態によれば、第3の画像データは、時間分解画像データのセットであり、指標は時間分解されている。これは、転移の発生の時間分解された予測が行われるという利点を有する。例えば、転移の発生の可能性が高い2つの場所が予測される場合、それぞれの予防照射治療を、転移の発生が(予測に基づいて)最初に予期されるトレーニング組織について最初に実行することができ、その照射治療が完了した後、転移の発生が(予測に基づいて)後の時点に予期されるトレーニング組織について、更なる予防照射治療を2番目に行うことができる。これにより、予防治療を最も重要な組織領域に集中させ、主腫瘍(すなわち、転移源)の対象者を疲弊させる治療と並行して通常行われる過度に多くの並行予防治療により対象者にストレスをかけることを回避するのに役立つ。
実施形態によれば、方法は、それぞれのトレーニング組織試料における転移の存在について第3の画像データを解析することと、解析の結果に関して第3の画像データに注釈を付けることとを更に有する。例えば、解析は、第2の機械学習モデルを用いて行われる。第2の機械学習モデルは、解剖学的領域のトレーニング組織試料のトレーニングセットの第3の画像データにおける転移を自動的に識別するために提供されるのに対し、第1の機械学習モデルは、転移のない第1の画像データに基づいて転移の発生を予測するために提供される。
実施形態によれば、学習アルゴリズムはディープラーニングアルゴリズムである。好ましくは、ディープラーニングアルゴリズムは畳み込みニューラルネットワーク(CNN)である。CNNは、画像分類目的で開発され、この分野において優れた性能を実証した。CNNは、従来の画像処理パイプラインにおける特徴抽出ステップに類似した相互接続された層(すなわち、畳み込み層、最大プーリング層、...)のシーケンスからなり、その後に1つ又は複数の全結合層が続く。CNNは、通例、自然画像のためのクラスラベル若しくは確率を予測するように、又は医療画像のための診断を提供するようにトレーニングされるが、基礎をなす概念は、記述された転移予測技法に直接変換することができる。CNNは主に画像データを処理するために開発されたが、腫瘍の記述及び/又は対象者の病歴データの記述のような非画像データも、例えば全結合層のレベルにおける追加の入力結合の観点で統合され得ることに留意されたい。
ディープラーニングアルゴリズムの更なる例として、転移場所(それらの確率を含む)の予測のために、領域提案ネットワークを検討することができる。ここで、従来のCNNと対照的に、出力ニューロンはもはや離散したクラスラベルに対応せず、ボクセル場所及び転移確率に対応する。このために、解剖学的領域の画像が正規化された基準フレームにおいて変換されると仮定される。
実施形態によれば、このため、ディープラーニングアルゴリズムは畳み込みニューラルネットワークアーキテクチャに基づき、方法は、全てのトレーニングセットについて第2の画像データ及び第3の画像データを解剖学的領域の共通基準画像フレームに変換することと、第1の機械学習モデルを生成するために、変換された画像データを含むトレーニングセットに対し、学習アルゴリズムの実行を行うこととを更に有する。当然ながら、トレーニング及び予測に用いられる全ての画像データについて、アルゴリズム及びモデルが、画像のどの部分が互いに対応するかを知るように、第1の画像データも共通基準画像フレームに変換されるべきである。
通常、ディープラーニングに基づく技法は、確率マップの生成のために用いられる。原発腫瘍の画像と、標的臓器における注釈を付けられた転移領域(解剖学的領域)とを組み合わせたものを所与として、ボクセルレベルにおける確率が、対応するCNN(対象のボクセルを中心とする)のパッチ単位の解析を用いて推定され得る。代替的に、セマンティック画像セグメンテーションの分野からの、完全畳み込みネットワークのような、より効率的なネットワーク構造が用いられ得る。
別の態様において、本発明は、プロセッサによる実行のためのマシン実行可能命令を含むコンピュータプログラムプロダクトに関し、マシン実行可能命令の実行により、プロセッサは、上述した方法を実行する。
別の態様において、本発明は、試験組織試料における転移を予測するための医療解析システムに関し、医療解析システムは、マシン実行可能命令を含むメモリと、医療解析システムを制御するためのプロセッサとを備え、マシン実行可能命令の実行により、プロセッサは、入力及び出力を有する第1の機械学習モデルを提供し、腫瘍の記述と、解剖学的領域の試験組織試料の第1の画像データとを受信し、試験組織試料には転移がなく、第1の画像データ及び腫瘍の記述を第1の機械学習モデルの入力に提供し、提供するステップに応答して、第1の機械学習モデルの出力から、試験組織試料内の腫瘍から生じる転移の発生の予測を受信し、予測を提供する。
別の態様において、本発明は、記載した医療解析を備えるMRIシステムに関し、MRIシステムは、第1の画像データを取得するために構成される。
本発明の上述の実施形態のうちの1つ又は複数は、組み合わせられた実施形態が相互排他的でない限り、組み合わせられることを理解されたい。
当業者に理解されるように、本開示において論考される例は、装置、方法又はコンピュータプログラムプロダクトとして具現化される。したがって、態様は、全面的にハードウェア実施形態、全面的にソフトウェア実施形態(ファームウェア、常駐ソフトウェア、マイクロコード等を含む)又は本明細書において全て一般的に「回路」、「モジュール」若しくは「システム」と称され得るソフトウェア及びハードウェア態様を組み合わせた実施形態の形態をとり得る。更に、態様は、コンピュータ可読媒体上で具現化されたコンピュータ実行可能コードを有する1つ又は複数のコンピュータ可読媒体において具体化されたコンピュータプログラムプロダクトの形態をとり得る。
1つ又は複数のコンピュータ可読媒体の任意の組み合わせが利用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読ストレージ媒体でもよい。本明細書で使用される「コンピュータ可読ストレージ媒体」は、コンピューティングデバイスのプロセッサによって実行可能な命令を保存することができる任意の有形ストレージ媒体を包含する。コンピュータ可読ストレージ媒体は、コンピュータ可読非一時的ストレージ媒体と称される場合もある。コンピュータ可読ストレージ媒体はまた、有形コンピュータ可読媒体と称される場合もある。一部の実施形態では、コンピュータ可読ストレージ媒体はまた、コンピューティングデバイスのプロセッサによってアクセスされることが可能なデータを保存可能であってもよい。コンピュータ可読ストレージ媒体の例は、フロッピー(登録商標)ディスク、磁気ハードディスクドライブ、半導体ハードディスク、フラッシュメモリ、USBサムドライブ、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、光ディスク、磁気光学ディスク、及びプロセッサのレジスタファイルを含むが、これらに限定されない。光ディスクの例は、例えば、CD−ROM、CD−RW、CD−R、DVD−ROM、DVD−RW、又はDVD−Rディスクといったコンパクトディスク(CD)及びデジタル多用途ディスク(DVD)を含む。コンピュータ可読ストレージ媒体という用語は、ネットワーク又は通信リンクを介してコンピュータデバイスによってアクセスされることが可能な様々な種類の記録媒体も指す。例えば、データは、モデムによって、インターネットによって、又はローカルエリアネットワークによって読み出されてもよい。コンピュータ可読媒体上で具現化されたコンピュータ実行可能コードは、限定されることはないが、無線、有線、光ファイバケーブル、RF等を含む任意の適切な媒体、又は上記の任意の適切な組み合わせを用いて送信されてもよい。
コンピュータ可読信号媒体は、例えばベースバンドにおいて又は搬送波の一部として内部で具体化されたコンピュータ実行可能コードを備えた伝搬データ信号を含んでもよい。このような伝搬信号は、限定されることはないが電磁気、光学的、又はそれらの任意の適切な組み合わせを含む様々な形態のいずれかをとり得る。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではない及び命令実行システム、装置、若しくはデバイスによって又はそれと関連して使用するためのプログラムを通信、伝搬、若しくは輸送できる任意のコンピュータ可読媒体でもよい。
「コンピュータメモリ」又は「メモリ」は、コンピュータ可読ストレージ媒体の一例である。コンピュータメモリは、プロセッサに直接アクセス可能な任意のメモリである。「コンピュータストレージ」又は「ストレージ」は、コンピュータ可読ストレージ媒体の更なる一例である。コンピュータストレージは、任意の揮発性又は不揮発性コンピュータ可読ストレージ媒体である。
本明細書で使用される「プロセッサ」は、プログラム、マシン実行可能命令、又はコンピュータ実行可能コードを実行可能な電子コンポーネントを包含する。「プロセッサ」を含むコンピューティングデバイスへの言及は、場合により、2つ以上のプロセッサ又は処理コアを含むと解釈されるべきである。プロセッサは、例えば、マルチコアプロセッサである。プロセッサは、また、単一のコンピュータシステム内の、又は複数のコンピュータシステムの中へ分配されたプロセッサの集合体も指す。コンピュータデバイスとの用語は、各々が1つ又は複数のプロセッサを有するコンピュータデバイスの集合体又はネットワークを指してもよいと理解されるべきである。コンピュータ実行可能コードは、同一のコンピュータデバイス内の、又は複数のコンピュータデバイス間に分配された複数のプロセッサによって実行される。
コンピュータ実行可能コードは、本発明の態様をプロセッサに行わせるマシン実行可能命令又はプログラムを含んでもよい。本発明の態様に関する動作を実施するためのコンピュータ実行可能コードは、Java(登録商標)、Smalltalk、又はC++等のオブジェクト指向プログラミング言語及びCプログラミング言語又は類似のプログラミング言語等の従来の手続きプログラミング言語を含む1つ又は複数のプログラミング言語の任意の組み合わせで書かれてもよい及びマシン実行可能命令にコンパイルされてもよい。場合によっては、コンピュータ実行可能コードは、高水準言語の形態又は事前コンパイル形態でもよい及び臨機応変にマシン実行可能命令を生成するインタプリタと共に使用されてもよい。
コンピュータ実行可能コードは、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアローンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で及び部分的にリモートコンピュータ上で、又は完全にリモートコンピュータ若しくはサーバ上で実行することができる。後者の場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)若しくは広域ネットワーク(WAN)を含む任意の種類のネットワークを通してユーザのコンピュータに接続されてもよい、又はこの接続は外部コンピュータに対して(例えば、インターネットサービスプロバイダを使用したインターネットを通して)行われてもよい。
態様は、方法、装置(システム)及びコンピュータプログラムプロダクトのフローチャート、ブロック図を参照して説明される。フローチャート、図、及び/又はブロック図の各ブロック又は複数のブロックの一部は、適用できる場合、コンピュータ実行可能コードの形態のコンピュータプログラム命令によって実施され得ることが理解されよう。相互排他的でなければ、異なるフローチャート、図、及び/又はブロック図におけるブロックの組み合わせが組み合わせられてもよいことが更に理解される。これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能データ処理装置のプロセッサを介して実行する命令がフローチャート及び/又はブロック図の1つ又は複数のブロックにおいて指定された機能/行為を実施するための手段を生じさせるようにマシンを作るために、汎用コンピュータ、特定用途コンピュータ、又は他のプログラム可能データ処理装置のプロセッサへと提供されてもよい。
これらのコンピュータプログラム命令はまた、コンピュータ可読媒体に保存された命令がフローチャート及び/又はブロック図の1つ又は複数のブロックにおいて指定された機能/行為を実施する命令を含む製品を作るように、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイスにある特定の方法で機能するように命令することができるコンピュータ可読媒体に保存されてもよい。
コンピュータプログラム命令はまた、コンピュータ又は他のプログラム可能装置上で実行する命令がフローチャート及び/又はブロック図の1つ又は複数のブロックにおいて指定された機能/行為を実施するためのプロセスを提供するように、一連の動作ステップがコンピュータ、他のプログラム可能装置又は他のデバイス上で行われるようにすることにより、コンピュータ実施プロセスを生じさせるために、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上にロードされてもよい。
本明細書で使用される「ユーザインタフェース」は、ユーザ又はオペレータがコンピュータ又はコンピュータシステムとインタラクトすることを可能にするインタフェースである。「ユーザインタフェース」は、「ヒューマンインタフェースデバイス」と称される場合もある。ユーザインタフェースは、情報若しくはデータをオペレータに提供することができる及び/又は情報若しくはデータをオペレータから受信することができる。ユーザインタフェースは、オペレータからの入力がコンピュータによって受信されることを可能にしてもよい及びコンピュータからユーザへ出力を提供してもよい。つまり、ユーザインタフェースはオペレータがコンピュータを制御する又は操作することを可能にしてもよい、及びインタフェースはコンピュータがオペレータの制御又は操作の結果を示すことを可能にしてもよい。ディスプレイ又はグラフィカルユーザインタフェース上のデータ又は情報の表示は、情報をオペレータに提供する一例である。キーボード、マウス、トラックボール、タッチパッド、指示棒、グラフィックタブレット、ジョイスティック、ゲームパッド、ウェブコム、ヘッドセット、ペダル、有線グローブ、リモコン、及び加速度計を介したデータの受信は、オペレータから情報又はデータの受信を可能にするユーザインタフェース要素の全例である。
本明細書で使用される「ハードウェアインタフェース」は、コンピュータシステムのプロセッサが外部コンピューティングデバイス及び/又は装置とインタラクトする及び/又はそれを制御することを可能にするインタフェースを包含する。ハードウェアインタフェースは、プロセッサが外部コンピューティングデバイス及び/又は装置へ制御信号又は命令を送ることを可能にしてもよい。ハードウェアインタフェースはまた、プロセッサが外部コンピューティングデバイス及び/又は装置とデータを交換することを可能にしてもよい。ハードウェアインタフェースの例は、ユニバーサルシリアルバス、IEEE1394ポート、パラレルポート、IEEE1284ポート、シリアルポート、RS−232ポート、IEEE488ポート、ブルートゥース(登録商標)接続、無線LAN接続、TCP/IP接続、イーサネット接続、制御電圧インタフェース、MIDIインタフェース、アナログ入力インタフェース、及びデジタル入力インタフェースを含むが、これらに限定されない。
本明細書で使用される「ディスプレイ」又は「ディスプレイデバイス」は、画像又はデータを表示するために構成された出力デバイス又はユーザインタフェースを包含する。ディスプレイは、視覚、音声、及び/又は触覚データを出力してもよい。ディスプレイの例は、コンピュータモニタ、テレビスクリーン、タッチスクリーン、触覚電子ディスプレイ、点字スクリーン、陰極線管(CRT)、蓄積管、双安定ディスプレイ、電子ペーパー、ベクターディスプレイ、平面パネルディスプレイ、真空蛍光ディスプレイ(VF)、発光ダイオード(LED)ディスプレイ、エレクトロルミネッセントディスプレイ(ELD)、プラズマディスプレイパネル(PDP)、液晶ディスプレイ(LCD)、有機発光ダイオードディスプレイ(OLED)、プロジェクタ、及びヘッドマウントディスプレイを含むが、これらに限定されない。
磁気共鳴(MR)データは、本明細書においては、磁気共鳴イメージングスキャン中に磁気共鳴装置のアンテナによって原子スピンにより発せられた無線周波数信号の記録された測定結果として定義される。磁気共鳴データは、医療イメージングデータの一例である。磁気共鳴(MR)画像は、本明細書においては、磁気共鳴イメージングデータ内に含まれる解剖学的データの再構成された2次元又は3次元視覚化として定義される。
以下において、本発明の好適な実施形態が、単なる例として次の図面を参照して説明される。
磁気共鳴イメージングシステムの一例を示す図である。 医療解析システムの例を示す。 腫瘍と転移との間の関係を示す図である。 機械学習モデルの開発及び使用を示すブロック図である。 機械学習モデルのトレーニング及び使用のフローチャートである。
以下において、図において似通った参照番号を付された要素は、類似した要素であるか、又は等価な機能を実行するかのいずれかである。先に考察された要素は、機能が等価である場合は、後の図においては必ずしも考察されない。
様々な構造、システム及びデバイスが、図面において説明の目的のみで概略的に示され、当業者に知られている詳細で本発明を曖昧にしないようにする。それにもかかわらず、開示される主題の例示的な実例を示し説明するために、添付の図面が含まれる。
図1は、磁石104を備えた磁気共鳴イメージングシステム100の一例を示す。磁石104は、ボア106がそれを貫通する超伝導円筒型磁石である。異なるタイプの磁石の使用も可能である。例えば、分割円筒型磁石及びいわゆる開放型磁石の双方を用いることも可能である。分割円筒型磁石は、クライオスタットが2つの区画に分割され、磁石の等角面へのアクセスを可能にすることを除いて、標準的な円筒型磁石に類似しており、そのような磁石は、例えば、荷電粒子ビーム治療と合わせて用いられる。開放型磁石は2つの磁石区画を有し、一方は、対象者を受けるのに十分大きい空間を挟んで他方の上方にある。2つの区画エリアの配置は、ヘルムホルツコイルの配置に類似している。開放型磁石は対象者の閉じ込めがより少ないので人気がある。円筒磁石のクライオスタットの内部には、超伝導コイルの一群がある。円筒磁石104のボア106内には、磁場が、磁気共鳴イメージングを実行するのに十分強く均一であるイメージングゾーン108がある。関心領域109がイメージングゾーン108内に示される。対象者118、例えば患者は、対象者支持体120、例えば可動台によって支持された状態で示され、対象者118の少なくとも一部分がイメージングゾーン108及び関心領域109内にある。
磁石のボア106内には、磁石104のイメージングゾーン108内で磁気スピンを空間的に符号化するために、磁気共鳴データの取得のために使用される磁場勾配コイル110のセットもある。磁場勾配コイル110は、磁場勾配コイル電源112に接続される。磁場勾配コイル110は代表的なものであることが意図される。一般的に、磁場勾配コイル110は、3つの直交空間方向で空間的に符号化するためのコイルの3つの別個のセットを含む。磁場勾配電源は、電流を磁場勾配コイルに供給する。磁場勾配コイル110に供給される電流は、時間の関数として制御され、ランプ状にされるか又はパルス化される。
イメージングゾーン108に隣接するのは、イメージングゾーン108内の磁気スピンの配向を操作するため及び同じくイメージングゾーン108内のスピンから無線伝送を受信するための無線周波数コイル114「RFアンテナ」である。無線周波数アンテナは、1つ又は複数のコイル素子を含む。無線周波数コイル114は、RF増幅器116に接続される。無線周波数増幅器116は、イメージングゾーン108内の磁気スピンの配向を操作するために、RFコイル114にRF電力を提供している。
増幅器116及び勾配コントローラ112は、コンピュータシステム126のハードウェアインタフェース128に接続されるものとして示される。このため、コンピュータシステム126は、コイル114を用いて取得されるMR信号を受信及び処理するための受信機としての役割も果たす。
コンピュータシステムは更に、ハードウェアシステム128と通信しているプロセッサ130と、メモリ134と、ユーザインタフェース132とを備える。メモリ134は、プロセッサ130にとってアクセス可能であるメモリの任意の組み合わせである。これは、フラッシュRAM、ハードドライブ、又は他のストレージデバイスなど、メインメモリ、キャッシュメモリ、更には不揮発性メモリなどのようなものを含む。幾つかの例では、メモリ134は、非一時的コンピュータ可読媒体であると見なされる。
コンピュータメモリ134は、マシン実行可能命令140を含むものとして示される。マシン実行可能命令は、プロセッサ130が磁気共鳴イメージングシステム100の動作及び機能を制御することを可能にするコマンド又は命令を含む。コンピュータメモリ134は、イメージングスキャンプロトコル142を更に含むものとして示される。各イメージングスキャンプロトコルは、プロセッサ130が磁気共鳴イメージングシステム100を制御して磁気共鳴データを取得することを可能にする命令又は命令に変換されるデータのいずれかである、1つ又は複数のパルスシーケンスのためのパルスシーケンスコマンドを含む。したがって、パルスシーケンスコマンドは、イメージングスキャンプロトコルの一部である。例えば、磁気共鳴データを用いて、磁気共鳴イメージングシステムに、複数のパルス繰り返しを行わせることができ、これにより、磁気共鳴信号144が取得される。各パルスは、RF増幅器116による、コイル114へのRF電力の供給に対応する。
磁気共鳴信号144は、コンピュータメモリ134に記憶されているものとして示される。特定のパルス繰り返しのための磁気共鳴信号144は照合され、磁気共鳴データ146にされる。磁気共鳴データ146を用いて、一連の画像148が生成される。イメージングスキャンプロトコルは、イメージングを用いて取得されたMRデータ146からの画像データ148の再構成に関する命令150を更に含む。
コンピュータメモリ134は、プロセッサ130が機械学習モデル154を用いて画像データにおける転移の予測を提供することを可能にするモジュール152としてマシン実行可能命令を更に含むものとして示される。一般性を何ら制限することなく、以下において、転移の予測を提供するために用いられる画像データは、例えば画像148のデータのようなMR画像データであると仮定される。
モジュール152は、人工知能(AI)コンポーネントとしても記載される。AIコンポーネント152は、転移のロバストで高速な検出のために構成される。AIコンポーネント152は、画像データにおける転移を予測するための1つ又は複数の機械学習モデルを生成するために、トレーニングセットに対し機械学習を行うように構成される。トレーニングプロセスは以下で説明される。
上記の例において、モジュール152がMR画像データを取得するのに用いられるコンピュータシステム126の一部として示されるにもかかわらず、モジュールがシステム126と独立したコンピュータシステムの一部であることが可能である。対応する例が図2に示される。
図2は、プロセッサ200と、メモリ202と、ハードウェアインタフェース206と、ユーザインタフェース204とを備えるコンピュータシステム210を示す。コンピュータシステム210は医療解析システムである。医療解析システム210は図1のMRIシステム100の一部である。ハードウェアインタフェースは、例えばネットワークインタフェースである。メモリ202は、プロセッサ130にとってアクセス可能なメモリの任意の組み合わせである。これは、メインメモリ、キャッシュメモリ、更には、フラッシュRAM、ハードドライブ、又は他のストレージデバイス等の、不揮発性メモリ等のようなものを含む。ここでもまた、幾つかの例では、メモリ202は、非一時的コンピュータ可読媒体であると見なされる。
コンピュータメモリ202は、例えばモジュール152のような、機械実行可能命令を含むものとして示される。命令の別の例は機械学習モデル154である。システム210は、MR画像データ148のような画像データを、システム126からインタフェース128及び206を介して受信し、インタフェース128及び206は、インターネットのようなネットワークを介して互いに通信している。モジュール152は、機械学習モデル154を利用することによって、試験組織試料における転移を予測するように構成される。
これにより、転移場所の臓器内予測のための機械学習を適用することが可能になる。原発腫瘍の検出後、転移による影響を受ける可能性が最も高い標的組織が、十分な放射線情報を提供する1つ又は複数の適切なイメージングモダリティを用いてイメージングされる。次に、結果として得られる画像が、適切にトレーニングされた機械学習アルゴリズム(モジュール154)に入り、この機械学習アルゴリズムは、転移場所の確率に関する情報をもたらす。
ユーザインタフェース204を介して、対象者、例えば人物の腫瘍の記述が受信される。画像データ148は、その人物の解剖学的領域の試験組織試料のものである。試験組織試料には転移がない。画像データ及び腫瘍の記述を機械学習モデル154の入力に入力することによって、モデル154は、試験組織試料内の腫瘍が起源の転移の発生予測を出力することができる。次に、この予測はユーザインタフェース204に提供される。これは全て、命令152によって制御される。
図3に概略的に示す実例において、原発腫瘍304は、任意の適切な手段を用いて検出される。ここで、腫瘍304は肺腫瘍である。特定の期間にわたって、腫瘍は、人物の肺自体、肝臓、脳又は結腸のような特定の臓器又は解剖学的領域において転移の発生を引き起こす。解剖学的構造のこれらの領域の例は、参照符号306によって表される。機械学習モデルが脳についてトレーニングされたと仮定すると、腫瘍の記述、及び依然として正常な解剖学的領域「脳」の1つ又は複数の画像148の入力により、機械学習モデル154が、未来の転移発生の場所300及び確率を予測することが可能になる。それぞれの予測画像302がユーザインタフェース204上に提供される。
高い確率で転移の発生が予測される場所又は領域300は、それぞれの予防照射治療(参照符号308)を受けてもよい。
図4は、機械学習モデル154を取得及び使用するための様々なステップを示すブロック図である。図5におけるフローチャートは対応する方法ステップを示し、左側のブロック500〜506はトレーニング段階を反映し、ブロック508〜516を有する右側は適用又は予測ステージを反映する。
方法は、ブロック500において、解剖学的領域のトレーニング組織試料の複数の異なるもののトレーニングセットの受信から開始する。例えば、腫瘍を有する異なる人物について、異なるトレーニングセットが受信される。腫瘍は、腫瘍型及び場所に関して人物間で変動する場合もしない場合もある。しかしながら、効率的なトレーニングのために、所与の腫瘍型及び場所について多数のトレーニングセットが受信されるべきである。
受信した各トレーニングセットは、解剖学的領域の組織試料のそれぞれのトレーニングのために、画像データ400及び画像データ402を含んでいる。画像データ400には転移がなく、特定の解剖学的領域を示すのに対し、画像データ402は、後の時点に取得され、この解剖学的領域の転移を示す。この転移は、人物の腫瘍304から生じる。特定の解剖学的領域について、画像データ400及び402は、異なるコントラストを与えられ、かつ/又は異なるトレーニングセットとして異なる画像取得技法を用いて取得される。更に、各トレーニングセットは、トレーニング組織試料の起源の人物における腫瘍の記述401を更に含む。記述は、例えば、腫瘍の場所の記述「右肺下葉」を含む。別の例において、記述は、代替的に又は更に、腫瘍が位置する領域の画像データを含む。
オプションのブロック502において、画像データ402は、転移の存在について解析され、それに応じて画像データ402内で転移の場所がマーキングされる。これは、例えばニューラルネットワークのような従来の手段によって行われるか、一般的には、モデル154と異なる他の機械学習モデルにおいて自動的に行われる。手動のマーキングも可能である。
オプションのブロック504は、全てのトレーニングセットについて、画像400及び402を解剖学的領域の共通基準画像フレームに変換するためのものである。これにより、任意のトレーニング及び後に好ましくは任意の適用が、同じ画像ボクセルに対して常に行われることが確実になる。なぜなら、異なるトレーニング画像400及び402並びに異なる画像148は、解剖学的領域の画像区画を異なる形で示す異なる視野角の下で取得されるためである。
最終的に、ブロック506において、画像400及び402並びに記述401に対し学習アルゴリズム404が実行される。この結果、機械学習モデル154が生成される。
上記で説明したステップ500〜506のうちの任意のものが、命令152を用いてシステム210に対し実行されることに留意しなくてはならない。ステップ500〜506は、異なるトレーニングセットを用いて複数回繰り返され、より多くのトレーニングセットが利用可能であるほど、機械学習モデルがより正確になる。
機械学習モデル154の生成後、方法は、ブロック508において、機械学習モデルの提供を継続する。ブロック510において、(依然として)転移のない組織の腫瘍の記述401及び画像データ148が受信される。ここで、腫瘍の記述401は、機械学習モデル154が得られた腫瘍304の型及び位置を記述することが仮定され、モデルがこの腫瘍304に関する特定の予測を行うことができるようになっている。
ここでもまた、オプションのブロック512は、画像データ148を解剖学的領域の共通基準画像フレームに変換するためのものである。ブロック514において、次に、記述401及び(オプションで変換された)画像データ148が機械学習モデル154に入力される。ブロック516において、機械学習モデルは、未来の転移の発現の予測される場所及び/又は確率を出力する。これは、例えば画像302の形態をとり、この画像が次にユーザインタフェース204(図2)に提供される。
このため、調査される原発腫瘍のタイプごとに、原発腫瘍の出現後であるが転移の出現前に取得された、最も可能性の高い標的臓器の画像400でネットワークがトレーニングされる。ネットワークは、例えば、学習アルゴリズムが畳み込みニューラルネットワークアーキテクチャに基づくディープラーニングアルゴリズムであるような畳み込みニューラルネットワークである。
トレーニングのために、画像402が、がんの更なる経過、特に、イメージングされた標的臓器内の転移の厳密な場所(及び範囲)に対し注釈付けされる。このため、診断フェーズにおいて、原発腫瘍の出現後、最も可能性の高い標的臓器の画像400及び402が取得され、ネットワークに供給される。
適用段階においてトレーニングされたネットワークによってその後送達される情報は、異なる詳細度を有することができる:
− 標的臓器が少しでも影響を受けるか否かの大まかな確率(すなわち、位置特定なしのyes/no判定)、
− N番目までの標的臓器内の転移発現の最高確率を有する有限数N≧1の離散した場所(すなわち、xn/yn/zn座標、1...n...N)、
− 特定のボクセルサイズを有するグリッド上で離散化された、標的臓器(解剖学的領域)にわたる確率マップ。上記の項目で説明した離散した場所は、この確率マップにおける局所最大値として出現する。
トレーニング及び診断フェーズ中に取得される画像は、単一又は複数のイメージングモダリティ、例えば、磁気共鳴(MR)、コンピュータ断層撮影(CT)、超音波(US)又はポジトロン放出型断層撮影(PET)からのものとすることができる。更に、各モダリティを用いて、異なるコントラストを有する複数の画像、例えば、T1/T2/拡散強調を有するMR画像、造影剤注入前及び造影剤注入後のMR画像等を取得することが有利であり得る。当然ながら、イメージング労力と予測力との間の適切なトレードオフが見つけられなくてはならない。更に、手法はイメージングデータのみに限定されず、学習アルゴリズム404及び機械学習モデル154への入力として、年齢、性別、実験室値又は患者病歴等の情報も組み込み得る。
転移の臓器内予測のために広範囲の機械学習アルゴリズムが用いられ得るが、ディープラーニング技法が好ましい実施形態と見なされる。ディープラーニングは、上記で概説した3つの異なる使用事例のための統合された解決策を提供する。原発腫瘍の存在下で転移の確率を予測するために、畳み込みニューラルネットワーク(CNN)が用いられる。CNNは、従来の画像処理パイプラインにおける特徴抽出ステップに類似した相互接続された層のシーケンス(すなわち、畳み込み層、最大プーリング層、...)からなり、その後に1つ又は複数の全結合層が続く。CNNは、通例、自然画像のためのクラスラベル若しくは確率を予測するように、又は医療画像のための診断を提供するようにトレーニングされるが、基礎をなす概念は、当業者によって転移予測の分野を記述するように転換することができる。
CNNは、当初は主に画像データの処理のために開発されたが、例えば全結合層のレベルにおける追加の入力結合の観点で、上述した非画像データ(腫瘍の記述、病歴データ)が容易に統合され得ることに留意されたい。
転移場所(それらの確率を含む)の予測のために、領域提案ネットワークが検討される。ここで、従来のCNNと対照的に、出力ニューロンはもはや離散したクラスラベルに対応せず、ボクセル場所及び転移確率に対応する。このために、標的臓器(解剖学的構造の領域)の画像が正規化された基準フレームにおいて変換される場合、有利である。
最後に、ディープラーニングに基づく技法は、確率マップの生成のためにも用いられる。原発腫瘍の画像と、標的臓器における注釈を付けられた転移領域とを組み合わせたものを所与として、ボクセルレベルにおける確率が、対応するCNN(対象のボクセルを中心とする)のパッチ単位の解析を用いて推定され得る。代替的に、セマンティック画像セグメンテーションの分野からの、より効率的なネットワーク構造が用いられ得る。
本発明は、転移の場所を予測するのみでなく、転移出現の時点も予測するように拡張することができる。トレーニングセットが、転移の時間展開を示す複数の画像402を有する場合、この情報は、予測画像302と共に出力され得る。図3の例において、出力は、左の予測画像302が、次の2カ月以内に、示された場所において83%の確率の転移300を有し、中央の予測画像が、次の4カ月以内に、示された場所において72%の確率の転移300を有し、右の予測画像302が、次の6カ月以内に、示された場所において66%の確率の転移300を有することを示す。
上記で説明した原理は、(a)局所化された病変が特定の領域において予期され、(b)予測病変の厳密な場所が予め知られておらず、(c)予測病変の厳密な場所の知識が治療的及び/又は診断的利点を提供する場合に適用されることに留意しなくてはならない。3つ全ての状態が、原発腫瘍から予期される転移によって満たされる。
100 磁気共鳴イメージングシステム
104 磁石
106 磁石のボア
108 イメージングゾーン
109 関心領域
110 磁場勾配コイル
112 磁場勾配コイル電源
114 無線周波数コイル
116 RF増幅器
118 対象者
120 対象者支持体
126 コンピュータシステム
128 ハードウェアインタフェース
130 プロセッサ
132 ユーザインタフェース
134 コンピュータメモリ
140 マシン実行可能命令
142 パルスシーケンスコマンド
144 磁気共鳴信号
146 磁気共鳴データ
148 磁気共鳴画像
150 画像再構築命令
152 転移予測のための命令
154 機械学習モデル
200 プロセッサ
202 メモリ
204 ユーザインタフェース
206 ハードウェアインタフェース
210 医療解析システム
300 転移
302 予測画像
304 原発腫瘍
306 解剖学的構造の領域
308 処置
400 画像
401 腫瘍情報
402 画像
404 機械学習アルゴリズム
500〜506 トレーニング段階
508〜516 適用段階

Claims (15)

  1. 試験組織試料における転移を予測するために、コンピュータにより実施される医療解析方法であって、前記方法は、
    入力及び出力を有する第1の機械学習モデルを提供するステップと、
    腫瘍の記述と、前記腫瘍から離れた解剖学的領域の試験組織試料の第1の画像データとを受信するステップであって、前記試験組織試料には転移がない、ステップと、
    前記第1の画像データ及び前記腫瘍の記述を前記第1の機械学習モデルの入力に提供するステップと、
    前記提供するステップに応答して、前記第1の機械学習モデルの前記出力から、前記試験組織試料内の前記腫瘍が起源の転移の発生の予測を受信するステップと、
    前記予測を提供するステップと、
    を有する、方法。
  2. 前記解剖学的領域のトレーニング組織試料のうちの複数の異なるものに対するトレーニングセットを受信するステップであって、各トレーニングセットは、前記トレーニング組織試料のそれぞれについて、第2の画像データ及び第3の画像データを含み、前記第2の画像データは、転移のない前記トレーニング組織試料を表し、前記第3の画像データは、前記トレーニング組織試料の起源の対象者における転移の発生後に取得されるデータであり、各トレーニングセットは、前記トレーニング組織試料の起源の前記対象者における前記腫瘍の記述を更に含む、ステップと、
    前記第1の機械学習モデルを生成するために前記トレーニングセットに対し学習アルゴリズムを実行するステップと、
    を更に有する、請求項1に記載の方法。
  3. 前記第2の画像データ及び前記第3の画像データは、解剖学的構造の3Dボリュームを表す、請求項2に記載の方法。
  4. 前記腫瘍の記述は、前記腫瘍を保有する前記対象者の前記解剖学的構造に対する前記腫瘍の空間的場所、前記腫瘍の分類、前記腫瘍の画像データのうちの任意のものを含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記転移の発生の予測は、
    前記腫瘍が起源の転移によって、前記試験組織試料が影響を受けるか否かの指標と、
    前記腫瘍が起源の転移によって、前記解剖学的領域のどの離散した場所が影響を受けるかの指標を有する前記解剖学的領域にわたる確率マップと、
    のうちの任意のものを含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記指標は、
    前記転移が予期されなくてはならない確率を記述する確率値と、
    前記転移が予期されなくてはならないか否かを記述するバイナリ値と、
    のうちの任意のものを含む、請求項5に記載の方法。
  7. 前記第1の画像データ、第2の画像データ、第3の画像データ及び前記腫瘍の画像データは、磁気共鳴画像データ、コンピュータ断層撮影画像データ、超音波画像データ、ポジトロン放出型断層撮影画像データ、X線データのうちの任意のものである、請求項1から6のいずれか一項に記載の方法。
  8. 前記腫瘍を保有する対象者の病歴データを受信するステップと、前記病歴データを前記機械学習モデルの前記入力に提供するステップとを更に有し、前記トレーニングセットは、前記腫瘍を保有する前記対象者の前記病歴データを更に含む、請求項1から7のいずれか一項に記載の方法。
  9. 前記第3の画像データは、時間分解画像データのセットであり、指標が時間分解されている、請求項2から8のいずれか一項に記載の方法。
  10. それぞれのトレーニング組織試料における転移の存在について第3の画像データを解析するステップと、前記解析の結果に関して前記第3の画像データに注釈を付けるステップとを更に有する、請求項2から9のいずれか一項に記載の方法。
  11. 学習アルゴリズムがディープラーニングアルゴリズムである、請求項1から10のいずれか一項に記載の方法。
  12. 前記ディープラーニングアルゴリズムは畳み込みニューラルネットワークアーキテクチャに基づき、前記方法は、
    全てのトレーニングセットについて第2の画像データ及び第3の画像データを前記解剖学的領域の共通基準画像フレームに変換するステップと、
    前記第1の機械学習モデルを生成するために、変換された画像データを含む前記トレーニングセットに対し、前記学習アルゴリズムの実行を行うステップと、
    を更に有する、請求項11に記載の方法。
  13. プロセッサによる実行のためのマシン実行可能命令を含むコンピュータプログラムであって、前記マシン実行可能命令の実行により、前記プロセッサに、請求項1から12のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
  14. 試験組織試料における転移を予測するための医療解析システムであって、前記医療解析システムは、マシン実行可能命令を含むメモリと、前記医療解析システムを制御するためのプロセッサとを備え、前記マシン実行可能命令の実行により、前記プロセッサは、
    入力及び出力を有する第1の機械学習モデルを提供し、
    腫瘍の記述と、前記腫瘍から離れた解剖学的領域の試験組織試料の第1の画像データとを受信し、前記試験組織試料には転移がなく、
    前記第1の画像データ及び前記腫瘍の記述を前記第1の機械学習モデルの入力に提供し、
    前記提供することに応答して、前記第1の機械学習モデルの前記出力から、前記試験組織試料内の前記腫瘍から生じる転移の発生の予測を受信し、
    前記予測を提供する、医療解析システム。
  15. 請求項14に記載の医療解析システムを備えるMRIシステムであって、前記MRIシステムは、前記第1の画像データを取得するために構成される、MRIシステム。
JP2020539691A 2018-01-18 2019-01-17 試験組織試料における転移を予測するための医療解析方法 Active JP7304866B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18152265.7A EP3514756A1 (en) 2018-01-18 2018-01-18 Medical analysis method for predicting metastases in a test tissue sample
EP18152265.7 2018-01-18
PCT/EP2019/051087 WO2019141748A1 (en) 2018-01-18 2019-01-17 Medical analysis method for predicting metastases in a test tissue sample

Publications (3)

Publication Number Publication Date
JP2021511138A true JP2021511138A (ja) 2021-05-06
JPWO2019141748A5 JPWO2019141748A5 (ja) 2022-01-21
JP7304866B2 JP7304866B2 (ja) 2023-07-07

Family

ID=61007507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020539691A Active JP7304866B2 (ja) 2018-01-18 2019-01-17 試験組織試料における転移を予測するための医療解析方法

Country Status (5)

Country Link
US (1) US11373304B2 (ja)
EP (2) EP3514756A1 (ja)
JP (1) JP7304866B2 (ja)
CN (1) CN111742375A (ja)
WO (1) WO2019141748A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023016717A (ja) * 2021-07-21 2023-02-02 ジーイー・プレシジョン・ヘルスケア・エルエルシー 高速マンモグラフィ・データ・ハンドリングのためのシステム及び方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10340046B2 (en) 2016-10-27 2019-07-02 Progenics Pharmaceuticals, Inc. Network for medical image analysis, decision support system, and related graphical user interface (GUI) applications
CN113168713A (zh) * 2018-12-14 2021-07-23 富士胶片株式会社 小批量学习装置及其工作程序、工作方法及图像处理装置
JP2022516316A (ja) 2019-01-07 2022-02-25 エクシーニ ディアグノスティクス アーべー プラットホーム非依存の全身画像セグメント化のためのシステムおよび方法
JP7125358B2 (ja) * 2019-01-30 2022-08-24 株式会社日立製作所 計算機システム及び入力データに対する予測結果の根拠に関する情報の提示方法
CA3136127A1 (en) * 2019-04-24 2020-10-29 Progenics Pharmaceuticals, Inc. Systems and methods for automated and interactive analysis of bone scan images for detection of metastases
CN110516759B (zh) * 2019-09-02 2022-09-30 河南师范大学 一种基于机器学习的软组织肉瘤转移风险预测系统
US11900597B2 (en) 2019-09-27 2024-02-13 Progenics Pharmaceuticals, Inc. Systems and methods for artificial intelligence-based image analysis for cancer assessment
US11476004B2 (en) * 2019-10-11 2022-10-18 Hualien Armed Forces General Hospital System capable of establishing model for cardiac ventricular hypertrophy screening
US11798161B2 (en) * 2019-11-26 2023-10-24 Koh Young Technology Inc. Method and apparatus for determining mid-sagittal plane in magnetic resonance images
TWI743693B (zh) * 2020-02-27 2021-10-21 國立陽明交通大學 良性腫瘤發展趨勢評估系統、其伺服計算機裝置及計算機可讀取的儲存媒體
US11478124B2 (en) * 2020-06-09 2022-10-25 DOCBOT, Inc. System and methods for enhanced automated endoscopy procedure workflow
US11100373B1 (en) 2020-11-02 2021-08-24 DOCBOT, Inc. Autonomous and continuously self-improving learning system
WO2022204591A1 (en) * 2021-03-26 2022-09-29 Carnegie Mellon University System and method for direct diagnostic and prognostic semantic segmentation of images
US20230097224A1 (en) * 2021-09-28 2023-03-30 Varian Medical Systems, Inc. Ai-based atlas mapping slice localizer for deep learning autosegmentation
CN114187293B (zh) * 2022-02-15 2022-06-03 四川大学 基于注意力机制和集成配准的口腔腭部软硬组织分割方法
CN115359040B (zh) * 2022-09-26 2023-08-15 至本医疗科技(上海)有限公司 预测待测对象的组织样本属性的方法、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010532223A (ja) * 2007-06-29 2010-10-07 アマグ ファーマシューティカルズ, インコーポレイテッド マクロファージ増強mri(memri)
JP2014009945A (ja) * 2012-06-27 2014-01-20 Fujifilm Ri Pharma Co Ltd 画像処理プログラム、記録媒体、画像処理装置、及び画像処理方法
JP2014050527A (ja) * 2012-09-06 2014-03-20 Toshiba Corp 画像処理装置及び画像処理方法
US20170193175A1 (en) * 2015-12-30 2017-07-06 Case Western Reserve University Prediction of recurrence of non-small cell lung cancer
US20170357844A1 (en) * 2016-06-09 2017-12-14 Siemens Healthcare Gmbh Image-based tumor phenotyping with machine learning from synthetic data

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007314212B2 (en) * 2006-11-01 2014-05-29 The Govt. Of The Usa As Represented By The Secretary Of The Department Of Health And Human Services MicroRNA expression signature for predicting survival and metastases in Hepatocellular carcinoma
USRE47609E1 (en) 2007-12-28 2019-09-17 Exini Diagnostics Ab System for detecting bone cancer metastases
US9858389B2 (en) * 2008-07-25 2018-01-02 Fundação D. Anna De Sommer Champalimaud E Dr. Carlos Montez Champalimaud Method and system for determining the risk of occurrence of prostate cancer
WO2010024926A2 (en) * 2008-08-28 2010-03-04 Aureon Laboratories, Inc. Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
US20120010528A1 (en) * 2010-04-26 2012-01-12 Aureon Biosciences, Inc. Systems and methods for predicting disease progression in patients treated with radiotherapy
WO2012028703A1 (en) * 2010-09-02 2012-03-08 INSERM (Institut National de la Santé et de la Recherche Médicale) Method for the prognosis of the progression of cancer
US9934361B2 (en) * 2011-09-30 2018-04-03 Univfy Inc. Method for generating healthcare-related validated prediction models from multiple sources
WO2016050985A1 (en) * 2014-10-03 2016-04-07 Universität Basel Method for predicting cancer progression by nanomechanical profiling
US9779499B2 (en) * 2015-09-18 2017-10-03 Definiens Ag Grading of glandular tissue cancer by detailed image analysis of stained tissue slices
EP3384269A4 (en) * 2015-12-02 2019-05-01 Clearlight Diagnostics LLC METHOD FOR PREPARING AND ANALYZING TUMOR TISSUE SAMPLES FOR DETECTING AND MONITORING CANCER
US10573003B2 (en) * 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010532223A (ja) * 2007-06-29 2010-10-07 アマグ ファーマシューティカルズ, インコーポレイテッド マクロファージ増強mri(memri)
JP2014009945A (ja) * 2012-06-27 2014-01-20 Fujifilm Ri Pharma Co Ltd 画像処理プログラム、記録媒体、画像処理装置、及び画像処理方法
JP2014050527A (ja) * 2012-09-06 2014-03-20 Toshiba Corp 画像処理装置及び画像処理方法
US20170193175A1 (en) * 2015-12-30 2017-07-06 Case Western Reserve University Prediction of recurrence of non-small cell lung cancer
US20170357844A1 (en) * 2016-06-09 2017-12-14 Siemens Healthcare Gmbh Image-based tumor phenotyping with machine learning from synthetic data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M. FREIMAN ET AL.: "Classification of Suspected Liver Metastases Using fMRI Images: A Machine Learning Approach", MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION - MICCAI 2008. LECTURE NOTES IN COMPUTER, vol. 5241, JPN6022049638, 2008, pages 93 - 100, XP019105006, ISSN: 0004930472 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023016717A (ja) * 2021-07-21 2023-02-02 ジーイー・プレシジョン・ヘルスケア・エルエルシー 高速マンモグラフィ・データ・ハンドリングのためのシステム及び方法
JP7395668B2 (ja) 2021-07-21 2023-12-11 ジーイー・プレシジョン・ヘルスケア・エルエルシー 高速マンモグラフィ・データ・ハンドリングのためのシステム及び方法

Also Published As

Publication number Publication date
JP7304866B2 (ja) 2023-07-07
EP3740933A1 (en) 2020-11-25
CN111742375A (zh) 2020-10-02
EP3514756A1 (en) 2019-07-24
WO2019141748A1 (en) 2019-07-25
US20200410672A1 (en) 2020-12-31
US11373304B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
JP7304866B2 (ja) 試験組織試料における転移を予測するための医療解析方法
US11475559B2 (en) Artificial intelligence-enabled localization of anatomical landmarks
CN103620437B (zh) 使用具有fid和多梯度回波采集的超短回波时间脉冲序列以及水‑脂肪分离处理的骨mri
EP2991546B1 (en) Detection of bone tissue using magnetic resonance imaging
JP7399102B2 (ja) 医用イメージングにおける自動スライス選択
US10823798B2 (en) Virtual CT images from magnetic resonance images
RU2713806C2 (ru) Томография костей в магнитно-резонансной томографии с использованием карты неоднородностей b0
JP2022533165A (ja) 磁気共鳴イメージングのための自動的な視野整列
US10997726B2 (en) Automated tumor partitioning
US20220301687A1 (en) Uncertainty maps for deep learning eletrical properties tomography
EP3726240A1 (en) Automated detection of water-fat swaps in dixon magnetic resonance imaging
CN114080184A (zh) 电学属性断层摄影的深度学习
CN114175111A (zh) 利用机器学习的fMRI任务设置
EP4084009A1 (en) Diagnostic imaging system to support a clinical endpoint
EP3885780A1 (en) Magnetic resonance imaging of breast micro-calcifications
US20220011392A1 (en) Diffusion magnetic resonance imaging using spherical neural networks
WO2023156233A1 (en) Detection of artifical structures in magentic resonance images due to neural networks

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230627

R150 Certificate of patent or registration of utility model

Ref document number: 7304866

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150