JP2023116486A - 高速ニューラルネットワークベースの画像セグメント化および放射性医薬品摂取判定のためのシステムおよび方法 - Google Patents

高速ニューラルネットワークベースの画像セグメント化および放射性医薬品摂取判定のためのシステムおよび方法 Download PDF

Info

Publication number
JP2023116486A
JP2023116486A JP2023083859A JP2023083859A JP2023116486A JP 2023116486 A JP2023116486 A JP 2023116486A JP 2023083859 A JP2023083859 A JP 2023083859A JP 2023083859 A JP2023083859 A JP 2023083859A JP 2023116486 A JP2023116486 A JP 2023116486A
Authority
JP
Japan
Prior art keywords
image
prostate
volume
subject
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023083859A
Other languages
English (en)
Inventor
ヴィルヘルム シェストランド カルル
Vilhelm Sjoestrand Karl
フィリップ アンドレアス リヒター イエンス
Filip Andreas Richter Jens
エルサ マリア ヨンソン シェシュティン
Elsa Maria Johnsson Kerstin
コンラード イェチュソン エリック
Konrad Gjertsson Erik
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Progenics Pharmaceyticals Inc
Exini Diagnostics AB
Original Assignee
Progenics Pharmaceyticals Inc
Exini Diagnostics AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/003,006 external-priority patent/US10973486B2/en
Application filed by Progenics Pharmaceyticals Inc, Exini Diagnostics AB filed Critical Progenics Pharmaceyticals Inc
Publication of JP2023116486A publication Critical patent/JP2023116486A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10084Hybrid tomography; Concurrent acquisition with multiple different tomographic modalities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30081Prostate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Nuclear Medicine (AREA)
  • Image Analysis (AREA)

Abstract

【課題】高速ニューラルネットワークベースの画像セグメント化および放射性医薬品摂取判定のためのシステムおよび方法を提供する。【解決手段】対象に対応する3D画像の内部の3Dボリュームを識別する方法は、解剖学的撮像診断法により得られた前記対象の3D解剖学的画像を受け取り、機能的撮像診断法により得られた前記対象の3D機能的画像を受け取り、第1のモジュールを使用して、前記3D解剖学的画像の内部の初期の目的ボリューム(VOI)を判定し、第2のモジュールを使用して、前記対象の前記前立腺に対応する前記初期のVOIの内部の特定の3Dボリュームを識別し、前記3D機能的画像と、前記3D解剖学的画像の前記初期のVOIの内部で識別された前記3Dボリュームとを使用して、前記1つまたは複数の摂取メトリックを判定する。【選択図】図1

Description

関連出願の相互参照
この出願は、2018年1月8日出願の米国仮出願第62/614,935号、2018年6月7日出願の米国特許出願第16/003,006号、および2018年10月23日出願の米国仮出願第62/749,574号の優先権および利益を主張するものであり、これらの各々の内容の全体が参照によって本明細書に組み込まれる。
本発明は、一般に、医用画像データの自動解析および/または表現のための方法、システム、およびアーキテクチャに関する。より具体的には、本発明は、ある特定の実施形態において、対象の画像の内部の(たとえば特定の器官または組織に対応する)1つまたは複数の特定の目的領域の自動識別と、たとえば前立腺がんといった疾患の、たとえば識別および/または疾患分類のための、そのような領域の内部の放射性医薬品摂取の判定とに関するものである。
標的の画像解析は、疾患の進展中に変化した体内の特定の受容体、酵素およびタンパク質と結合する、放射性標識小分子の使用を包含する。これらの分子は、患者に投与された後、意図された標的を見いだすまで血液の中を循環する。結合された放射性医薬品は疾患の部位に残るが、作用薬の残りは身体から消える。分子の放射性の部分は、単一光子放射型コンピュータ断層撮影法(SPECT)カメラまたは陽電子放射型断層撮影法(PET)カメラとして公知の、世界中のほとんどの病院にある、一般に利用可能な核医学カメラを使用して、疾患のロケーションおよび集積を表す画像を取得するようにビーコンとして働く。そこで、医師は、患者における疾患の存在および程度を判定するためにこの情報を使用することができる。医師は、患者に治療の推奨コースを提供したり、疾患の進行を追跡したりするためにこの情報を使用することができる。
PET画像およびSPECT画像の解析および拡張機能のために利用可能な、放射線技師または医師によって使用され得る種々のソフトウェアベースの解析技法がある。特定の種類のがんの撮像のために利用可能な複数の放射性医薬品もある。たとえば、小分子診断用の1404は、前立腺特異的膜抗原(PSMA)の細胞外ドメイン、前立腺がん細胞の95%超の表面で増殖したタンパク質、ならびに原発性前立腺がんおよび転移性前立腺がんを検知するための確認された標的を標的とするものである。1404は、テクネチウム-99m(比較的低コストで広く利用可能かつ効率的準備が容易な、核医学撮像用途にとって好ましいスペクトル特性を有するガンマ放射性同位体)で標識される。
放射性医薬品の別の例にはPyL(商標)([18F]DCFPyLとしても公知である)があり、これは、臨床疾患での前立腺がんに関するフッ素化されたPSMAを標的とするPET造影剤である。Journal of Molecular Imaging
and Biologyの2015年4月号で発表された概念明示研究は、PyL(商標)を用いるPET撮像が、想定される転移性疾患および原発性腫瘍の部位における高レベルのPyL(商標)摂取を示すことを明示し、前立腺がんの検知における高い感度および特異度の可能性を示唆している。
腫瘍学者は、患者にたとえば前立腺がんといった特定の疾患があるか、疾患の明白なステージは何か、(存在する場合には)治療の推奨コースは何か、外科的介入が指示されているか、可能性の高い予後、といった査定における入力として、患者の標的とされたPET試験またはSPECT試験からの画像を使用し得る。腫瘍学者は、この査定において放射線技師の報告を使用し得る。放射線技師の報告は、撮像試験を要求した医師向けに放射線技師によって準備されたPET画像またはSPECT画像の技術的評価であり、たとえば、実行された試験のタイプ、病歴、画像間の比較、試験を遂行するために使用された技術、放射線技師の観測および所見、ならびに撮像試験の結果に基づいて放射線技師が有し得る全体的な印象および推奨を含む。医師の再検討のための試験を命じた医師に、放射線技師の署名入り報告が送られ、結果および治療のための推奨について医師と患者との間の協議がこれに続く。
したがって、このプロセスは、放射線技師が患者に対する撮像試験を遂行するステップと、得られた画像を解析するステップと、放射線技師の報告を生成するステップと、要求した医師に報告を転送するステップと、医師が査定および治療の推奨を策定するステップと、医師が、結果、推奨、およびリスクを患者に伝えるステップとを包含している。このプロセスは、要領を得ない結果のために撮像試験を繰り返すステップ、または初期の結果に基づいてさらなるテストを命じるステップも包含し得る。
患者に特定の疾患または状態(たとえばがん)があることを撮像試験が示す場合、医師は、手術すること、ならびに、手術なしで何もしないかまたは経過観察もしくは積極的監視手法を採用することのリスクを含む様々な治療の選択肢について検討する。
医師の観点と患者の観点の両方から、このプロセスに関連した制約がある。放射線技師の報告は確かに役立つものであるが、医師は、患者のための査定および推奨を策定するのに、最終的には自分の経験に頼らなければならない。その上、患者は、医師に多大な信頼を寄せなければならない。医師は、患者のPET画像/SPECT画像を示して、様々な治療選択肢に関連した数的リスクまたは特定の予後の可能性を患者に告げ得るが、患者は、この情報の意味を理解しようと非常に苦心するであろう。その上に、特に、がんが診断されても患者が手術を受けないことを選ぶと、患者の家族は恐らく疑問を抱くであろう。患者および/またはその家族は、補足情報を求めてオンライン検索して、診断された状態のリスクについて誤解する可能性がある。困難な試練がさらなる精神的外傷になりかねない。
したがって、医用撮像試験の解析を改善するためのシステムおよび方法と、それらの結果、診断、予後、治療の推奨、および関連するリスクを患者に伝えることとの必要性が残されている。
本明細書で提示されるシステムおよび方法は、特定の器官および/または組織に対応する3D画像の内部の特定の3Dボリュームを自動的に識別するための、対象の3次元(3D)医用画像の自動解析を提供するものである。ある特定の実施形態では、1つまたは複数のそのようなボリュームの正確な識別は、特定の器官および/または組織領域における放射性医薬品の摂取を表す量的メトリックを自動的に判定するために使用される。これらの摂取メトリックは、対象の病状を査定するため、対象の予後を判定するため、および/または治療法の効能を判定するために使用され得る。
本明細書で説明されたシステムおよび方法は、特に、医用画像における3Dボリュームを識別して摂取メトリックを自動的に判定することにより、精度、一貫性、および結果の再現性における改善とともに、合理化された医用画像解析ワークフローに道を開くものである。たとえば、本明細書で説明された画像解析技術の実施形態は、患者のがん状態の、初期の全自動の査定を遂行するために使用され得る。次いで、医師は全自動解析を再検討して、(i)自動の査定を受け入れること、または(ii)画像解析システムの案内の下で、パラメータを半自動で調整することを選択する。この手法により、医師および/または支援技術者は、自動3Dセグメント化も初期の状態査定も遂行しない従来の手法と比較して、最終的な診断のための画像を準備して再検討するのに必要な負担が軽減される。これらの従来の手法では、医師および/または技術者は、代わりに、3D画像をスライスごとに丹念にスクロールして、2次元の目的領域を手動で識別しなければならない。そのような従来の手法は、時間がかかることに加えて、画像評者(たとえば医師および/または技術者)の主観的判断に重度に基づくものであり、したがって閲覧者間の変動性および/または閲覧者内の変動性の傾向がある。対照的に、本明細書で説明された画像解析のワークフロー、システムおよび方法に基づく結果は、主観的変動性をすっかり解消するかまたは劇的に低減する全自動または半自動のやり方で得られる。
たとえば、本明細書で説明されたシステムおよび方法は、対象の前立腺の内部の、放射性核種で標識されたPSMA結合剤(たとえば99mTc-MIP-1404、たとえば[18F]DCFPyL)などの放射性医薬品の摂取の定量的測度をもたらす摂取メトリックを判定するための医用画像の自動解析のために使用され得る。そのような摂取メトリックは、対象の内部の前立腺がんおよび/または前立腺がんの重要度/ステージに関する患者のリスクを評価することに関連するものである。たとえば、臨床的に重要な前立腺がん対臨床的に重要でない前立腺がんに関する自動分類のための高い感度および特異度を達成し得ることが発見されている。
本明細書で説明された画像解析手法は、ある特定の実施形態では、対象について得られた3Dの解剖学的画像と機能的画像の組合せを利用する。X線コンピュータ断層撮影法(CT)画像などの解剖学的画像は、詳細な解剖学的/構造的情報をもたらす。機能的画像は、代謝、血流、局所的化学組成、および/または吸収など、特定の器官および/または組織の内部の生理活性に関する情報を伝える。特に関連するのは、単一光子放射型コンピュータ断層撮影法(SPECT)画像および/または陽電子放射型断層撮影法(PET)画像などの核医学画像であり、これらは、対象から放射された放射線を検知することによって取得され、対象の内部に投与された放射性医薬品の空間分布を推測するために使用され得るものである。
たとえば、SPECT撮像は、放射性医薬品99mTc-MIP-1404(99mTcで標識された1404)の摂取を評価するために使用され得る。ある特定の実施形態では、対象の前立腺における99mTc-MIP-1404の摂取を評価するために、CT画像の解剖学的情報/構造的情報が、対応するSPECT画像の機能情報に相関し得るように、対象のCT画像および対応するSPECT画像が得られる。多くの場合、CT画像およびSPECT画像は、単一の多モード撮像システムを使用して、2つの別個のスキャン(たとえばCT画像のための第1のスキャンおよびSPECT画像のための第2のスキャン)によって取得され、対象は2つのスキャン期間にわたって実質的に固定された位置にある。このように、CT画像のボクセルとSPECT画像のボクセルとの間のマッピングが確立され、特定の器官および/または組織領域に対応するものとして識別されたCT画像の内部のボリュームが、SPECT画像の内部の同じ特定の器官および/または組織領域に対応するボクセルを識別するために使用され得る。
したがって、本明細書で説明された画像解析手法は、ある特定の実施形態では、対象の前立腺に対応するCT画像の内部の前立腺ボリュームを正確に識別するために畳み込みニューラルネットワーク(CNN)を利用する。識別された前立腺ボリュームは、これも対象の前立腺に対応する、SPECT画像のボクセルを識別するために使用され得る。したがって、前立腺の中の造影剤(たとえば標識されたPSMA結合剤、たとえば99mTc-MIP-1404または[18F]DCFPyL)の摂取の測度をもたらす摂取メトリックは、対象の前立腺に対応するSPECT画像ボクセルの強度を使用して計算され得る。摂取メトリックは、次いで、対象が前立腺がんを有するか否かの識別、および/または対象が前立腺がんを有するリスクの定量化、および/または(たとえば疾患の経時的追跡の一部分として)疾患分類に変換され得、これらは、医師によって、たとえば処置の選択肢を助言するため、および/または与えられた療法の効能を監視するために使用され得る。
この複数画像の手法、すなわち3D機能的画像と組み合わせて3D解剖学的画像を解析する手法による、前立腺(または、さらに広く見れば、目的の特定の器官もしくは組織領域)における摂取メトリックの自動測定の性能を改善する様々な進歩が、本明細書で説明される。これらの進歩には、たとえば前立腺がある骨盤領域を識別するための、3D解剖学的画像の内部の境界ボックスの(たとえば第1の畳み込みニューラルネットワーク(CNN)を使用する)自動識別が含まれる。
第1のCNNが対象の3D解剖学的画像における骨盤領域を自動的に識別するために使用され得るように、骨盤領域の境界を表すポイント(たとえば直方体の境界ボックスの頂点)に対して第1のCNNを訓練するために、たとえば、識別された生理機能(たとえば識別された骨盤領域)を有する3D解剖学的画像のセットが使用される。これによって、たとえば境界ボックスが対象の前立腺および/または膀胱および/または直腸および/または殿筋に対応する画像の領域の境界を示す、3D解剖学的画像のより標準的なサイズの初期の体積領域がもたらされ、次に、初期の体積領域の範囲内の目的領域の詳細なセグメント化のために(たとえば第2のCNNによって)処理される。次いで、3D解剖学的画像の識別された領域のうち1つまたは複数にマッピングする3D機能的画像の部分から、造影剤摂取メトリックが判定され得る。「境界ボックス」は、本明細書で使用されるように、必ずしも直方体ではなく他の形状を有し得ることに留意されたい。ある特定の実施形態では、境界ボックスは直方体である。
第1のCNNによる境界ボックスの判定は、第2のCNNによって境界ボックスの内部の前立腺および/または他の器官のセグメント化のために使用されるものよりも大幅に低い解像度を入力として使用してよい。たとえば、境界ボックスを見いだすために、第1のCNNが、第1の数のボクセル(たとえば81×68×96ボクセル)を有する全身の3D解剖学的画像を処理してよく、次いで、第2のCNNが、境界ボックス領域に対応する、第1の数のボクセルよりも多くのボクセル(たとえば94×138×253ボクセル)を有する、より高い解像度の画像を処理してよい。
たとえば(詳細なセグメント化のために)第2のCNNを適用する前に、当面の解析に関連する3D解剖学的画像の1つまたは複数の部分を識別する「境界ボックス」の手法は、より計算集約的な後続の処理の前に初期の3D解剖学的画像の大部分を除去することによって計算効率を改善するものである。この手法は、たとえば骨盤領域(たとえば直方体の境界ボックスの頂点)の識別は、前立腺、膀胱、および/または目的の他の組織の詳細なセグメント化よりも簡単であるため、全体の初期の3D解剖学的画像に対して詳細なセグメント化を遂行するよりも計算上効率的である。この手法は、計算上より効率的であるばかりでなく、たとえば第2のCNNによってもたらされるより詳細なセグメント化といった、より正確な後続の処理も得られる。これは、たとえば、異なる健診機関において異なる機械を使用して得られた3D解剖学的画像はサイズが異なり(たとえば、サイズが異なると、画像のボクセルの異なる数および/または画像において表現された患者の組織の異なるボリュームがあることを意味する)、また、前立腺の自動の詳細なセグメント化のために、器官および目的の他の組織領域が内在する、より標準化された画像ボリュームサイズの3D解剖学的訓練画像の各部分を使用して第2のCNNを訓練すると、より頑健かつ正確なセグメント化が得られるためである。
この複数画像の手法(すなわち3D機能的画像と組み合わせて3D解剖学的画像を解析する)による、前立腺(または、さらに広く見れば、目的の特定の器官もしくは組織領域)における摂取メトリックの自動測定の性能を改善する、本明細書で説明される別の進歩には、前立腺に加えて1つまたは複数の組織領域が正確に識別されることと、(i)前立腺における摂取メトリック、ならびに/あるいは(ii)前立腺がんの識別および/または疾患分類の判定において、それらの領域における造影剤の摂取が明らかになることとがある。PSMA結合剤を含むある特定の造影剤は、ある特定の器官における摂取が大きく、このことが病変組織(たとえば前立腺がん)の識別に影響を及ぼす可能性がある。たとえば、膀胱による、放射性核種で標識されたPSMA結合剤の摂取が、3D機能的画像における散乱をもたらして、膀胱の近くにある前立腺において測定される造影剤強度の精度が低下する可能性がある。対象の前立腺と膀胱の両方の詳細なセグメント化のために第2のCNNを訓練することにより、「ブリードスルー」もしくは「クロストーク」の影響および/または膀胱による造影剤の摂取に起因する他の影響を、自動的かつ正確に明らかにすることが可能になる。その上、第2のCNNを、3D解剖学的画像の内部のたとえば殿筋といった基準領域を識別するように訓練することにより、造影剤の強度測定値をより正確に重み付け/正規化して、対象の前立腺における摂取測定の精度および診断値を改善することが可能になる。
したがって、本明細書で説明されたシステムおよび方法は、ある特定の実施形態では2つのCNNモジュールの独特な組合せを利用し、第1のCNNモジュールがCT画像の内部の初期の目的ボリューム(VOI)を識別し、第2のCNNモジュールがVOIを入力として受け取り、その中の前立腺ボリュームを識別する。本明細書で説明されたように、この手法によって、第2のCNNモジュールが、より小さい入力サイズ(たとえば全体のCT画像とは対照的なVOI)に対して動作することが可能になる。このようにして入力サイズを低減することによる計算リソース(たとえばメモリ、たとえば処理時間)の節約は、第2のCNNモジュールの精度の改善に割り当てられ得、かつ/または画像処理手法の速度を改善するために使用され得る。
ある特定の実施形態では、本明細書で説明されたシステムおよび方法は、前立腺とともに、CT画像の内部の様々なその他の組織のボリュームを識別する。たとえば、前立腺に加えて、対象の骨盤骨、膀胱、直腸、および殿筋に対応するその他の組織のボリュームが識別され得る。本明細書で説明されたように、そのようなその他の組織のボリュームの識別は種々の機能のために使用され得て、CT画像のボクセルが前立腺に対応するものと識別されるか否か、といった2項分類の手法など他の手法に対する利点を与える。詳細には、その他の組織ボリュームの識別は、たとえば、(i)CNNモジュールがCT画像の内部の前立腺ボリュームを識別する精度を改善すること、(ii)摂取メトリックを計算するための正規化値を計算するために使用され得る基準領域の識別をもたらすこと、および(iii)前立腺に対応するSPECT画像ボクセルの強度が、たとえば膀胱の内部の放射性医薬品の蓄積に起因するクロストークに関して補正され得ること、が可能である。
本明細書で説明された画像解析手法は、ある特定の実施形態では種々の解剖学的画像および機能的画像を解析するために使用され得、CT画像およびSPECT画像に限定されない。たとえば、陽電子放射型断層撮影法(PET)は、対象の内部の放射性医薬品の分布に関する情報をもたらす別の機能的撮像診断法である。PET画像は、SPECT画像と同様に、目的の様々な器官および組織領域に関する摂取メトリックを判定するためにCT画像と組み合わせて使用され得る。本明細書で説明された手法は、骨、リンパ節、肝臓、および肺など、目的の種々の器官および/または組織領域にも適用され得る。
したがって、本明細書で説明されたシステムおよび方法は、医用画像の内部の特定の器官および組織領域の迅速かつ正確な識別を提供することにより、対象の内部の様々な器官および組織領域の内部の放射性医薬品の摂取の定量的測度をもたらす摂取メトリックの正確な自動判定を提供するものである。この自動判定された摂取メトリックは、患者の内部の疾患リスク、状態、および進行、ならびに治効を査定するための有益なツールをもたらす。
一態様では、本発明は、3D画像を自動的に処理して、対象の前立腺に対応する3D画像の内部の3Dボリュームを識別し、そこにおける(すなわち前立腺における)放射性医薬品の摂取を表す1つまたは複数の摂取メトリックを判定するための方法に向けられ、この方法は、(a)解剖学的撮像診断法[たとえばX線コンピュータ断層撮影法(CT)(たとえば全身CT画像、たとえば身体の局所CT画像)、たとえば磁気共鳴映像法(MRI)、たとえば3D超音波]を使用して得られた対象の3D解剖学的画像をコンピューティングデバイスのプロセッサによって受け取るステップであって、3D解剖学的画像に含まれる対象の内部の組織(たとえば柔組織および/または骨)のグラフィカル表現の少なくとも一部分が対象の骨盤領域に対応する、ステップと、(b)機能的撮像診断法[たとえば単一光子放射型コンピュータ断層撮影法(SPECT)、たとえば陽電子放射型断層撮影法(PET)]を使用して得られた対象の3D機能的画像をプロセッサによって受け取るステップであって、3D機能的画像に含まれる複数のボクセルが、それぞれ対象の内部の特定の物理ボリュームを表し、また、特定の物理ボリュームから放射されて検知された放射線を表す強度値を有し、3D機能的画像の複数のボクセルの少なくとも一部分が、対象の骨盤領域の内部の物理ボリュームを表す、ステップと、(c)プロセッサによって、第1のモジュール(たとえば第1の機械学習モジュール)を使用して、3D解剖学的画像(たとえば平行六面体、たとえば直方体)の内部の初期の目的ボリューム(VOI)を判定するステップであって、初期のVOIが、対象の骨盤領域の内部の組織に対応し、対象の骨盤領域の外部の組織を除外したものである(たとえば、3D解剖学的画像の、このVOIから除外されたボクセルは、含まれるボクセルよりもより多く、たとえば、3D解剖学的画像の、このVOIに含まれるボクセルは25%未満であり、たとえば、VOIの内部のボクセルの大多数が、対象の骨盤領域の内部の物理ボリュームを表す)、ステップと、(d)プロセッサによって、第2のモジュール(たとえば第2の機械学習モジュール)を使用して、対象の前立腺に対応する初期のVOIの内部の前立腺ボリュームを識別するステップと、(e)プロセッサによって、3D機能的画像および3D解剖学的画像の初期のVOIの内部で識別された前立腺ボリュームを使用して、1つまたは複数の摂取メトリックを判定する(たとえば判定して表示する)ステップ[たとえば3D解剖学的画像の初期のVOIの内部で識別された前立腺ボリュームに対応する3D機能的画像のボクセルの強度値に基づいて、対象の前立腺における放射性医薬品の量を計算するステップ、たとえば対象の前立腺が占有する物理ボリュームを表す3D機能的画像のボクセルの強度の合計(たとえば加重和)、平均値、および/または最大値を計算するステップ]とを含む[たとえば1つまたは複数の摂取メトリックが、腫瘍の背景に対する比(TBR)の値を含み、かつ/または、この方法は、TBR値に少なくとも部分的に基づいて、前立腺がんの分類状態を、(i)臨床的に重要である、または(ii)臨床的に重要でない、のいずれかに判定する(たとえば判定して表示する)ステップを含む]。
ある特定の実施形態では、第1のモジュールは、3D解剖学的画像を入力として受け取り、3D解剖学的画像の内部の長方形ボリュームの向かい合ったコーナーを表す複数の座標値(たとえば長方形ボリュームの向かい合ったコーナーを表す座標値の2つのセット)を出力する。
ある特定の実施形態では、ステップ(c)は、第1のモジュールを使用して、対象の骨盤骨(たとえば、仙骨、尾骨、左寛骨、および右寛骨のうち1つまたは複数(すべて))に対応する3D解剖学的画像のボリュームを識別する3D骨盤骨マスクを判定するステップを含む。
ある特定の実施形態では、第1のモジュールは、畳み込みニューラルネットワーク(CNN)モジュール(たとえば1つまたは複数の畳み込み層を利用するニューラルネットワークモジュール)である。
ある特定の実施形態では、ステップ(d)は、第2のモジュールを使用して、3D解剖学的画像の内部の、それぞれが対象の内部の特定の組織領域に対応する1つまたは複数のその他の組織ボリュームを識別するステップであって、1つまたは複数のその他の組織ボリュームが、対象の骨盤骨(たとえば仙骨、たとえば尾骨、たとえば左寛骨、たとえば右寛骨)と、対象の膀胱と、対象の直腸と、対象の殿筋(たとえば左殿筋、たとえば右殿筋)とからなる群から選択される1つまたは複数の特定の組織領域に対応する、ステップを含む。
ある特定の実施形態では、ステップ(d)は、第2のモジュールを使用して、初期のVOIの内部の各ボクセルを、対象の内部の(所定の)異なる組織領域のセット{たとえば、このセットは、前立腺と、必要に応じて、1つまたは複数のその他の組織領域[たとえば対象の骨盤骨(たとえば仙骨、たとえば尾骨、たとえば左寛骨、たとえば右寛骨)、対象の膀胱、対象の直腸、および殿筋(たとえば左殿筋、たとえば右の殿筋]とを含む}のうち特定の組織領域に対応するものとして分類するステップを含む。ある特定の実施形態では、初期のVOIの内部の各ボクセルを分類するステップは、第2のモジュールによって、初期のVOIの内部の複数のボクセルの各々について尤度値のセットを判定するステップであって、尤度値のセットが、組織領域セットのうち1つまたは複数の組織領域の各々について、ボクセルが、組織領域の内部の物理ボリュームを表す尤度(たとえば第2のモジュールによって計算される)を表す対応する尤度値を含む、ステップと、初期のVOIの内部の複数のボクセルの各々について、ボクセルについて判定された尤度値のセットに基づいて、ボクセルを特定の組織領域に対応するものとして分類するステップとを含む。ある特定の実施形態では、第2のモジュールは、初期のVOI(たとえば全体の初期のVOI)を入力として受け取り、初期のVOIの内部の各ボクセルについて、(i)ボクセルを分類する値[たとえば、ボクセルを、たとえば異なる組織領域の所定のセット(たとえば対象の前立腺)から選択された領域といった特定の組織領域、たとえば対象の骨盤骨(たとえば仙骨、たとえば尾骨、たとえば左寛骨、たとえば右側寛骨)、対象の膀胱、対象の直腸、および対象の殿筋(たとえば左殿筋、たとえば右殿筋)に対応するものとして分類する値]と、(ii)ボクセルに関する尤度値のセット[たとえば、たとえば対象の前立腺、たとえば対象の骨盤骨(たとえば仙骨、たとえば尾骨、たとえば左寛骨、たとえば右寛骨)、対象の膀胱、対象の直腸、および対象の殿筋(たとえば左殿筋、たとえば右殿筋)といった異なる組織領域の所定のセットから選択された領域といった特定の組織領域にボクセルが対応する尤度]と、(iii)(たとえば、第2のモジュールが、各ボクセルに対して一度に1つずつ動作するのとは対照的に、1回で全体のVOIに関する尤度値を分類し、かつ/または計算するように)ボクセルを、異なる組織領域の所定のセットのうちいかなるものにも対応しないものとして識別する値(たとえば対応しそうもないものとして識別する値、またはボクセルが対応しない尤度を識別する値)(たとえば、ボクセルを、たとえば診断用ではない背景エリアに対応するもの、もしくは背景エリアに対応しそうなものとして識別する値、またはボクセルが背景エリアに対応する尤度を識別する値)とのうち、少なくとも1つを含む複数の値を出力する。ある特定の実施形態では、異なる組織領域の(所定の)セットは、対象の前立腺と、対象の骨盤骨(たとえば仙骨、たとえば尾骨、たとえば左寛骨、たとえば右寛骨)と、対象の膀胱と、対象の直腸と、対象の殿筋(たとえば左殿筋、たとえば右殿筋)とからなる群から選択される1つまたは複数の組織領域を含む。
ある特定の実施形態では、ステップ(d)は、第2のモジュールを使用して、識別された前立腺ボリュームおよび1つまたは複数のその他の組織ボリュームを含む1つまたは複数の基底組織ボリュームのセットを識別するステップを含み、この方法は、プロセッサによって、1つまたは複数の補助モジュール(たとえば補助機械学習モジュール)を使用して、3D解剖学的画像の内部の1つまたは複数の補助組織ボリュームを識別するステップであって、それぞれの補助組織ボリュームが、第2のモジュールによって識別された基底組織ボリュームに対応する{たとえば、同じ特定の組織領域[たとえば対象の前立腺、たとえば対象の骨盤骨(たとえば仙骨、たとえば尾骨、たとえば左寛骨、たとえば右寛骨)、対象の膀胱、対象の直腸、および殿筋(たとえば左殿筋、たとえば右の殿筋)]が、この基底組織ボリュームとして表される}、ステップと、プロセッサによって、それぞれの補助組織ボリュームを、第2のモジュールによって識別された対応する基底組織ボリュームと合併させる(たとえば、本来の基底組織ボリュームに含まれていなかった対応する補助組織ボリュームの部分を組み込むことによって対応する基底組織ボリュームを増大させる)ステップとをさらに含む。
この方法は、ある特定の実施形態では、プロセッサによって(たとえば、第2のモジュールを使用して)、対象の内部の基準組織領域(たとえば殿筋)に対応する、3D解剖学的画像の内部の(たとえば初期のVOIの内部の)基準ボリュームを識別するステップと、ステップ(e)において、3D機能的画像と3D解剖学的画像の内部で識別された基準ボリュームとを使用して、1つまたは複数の摂取メトリックのうち少なくとも1つを判定する(たとえば、3D解剖学的画像の内部で識別された基準ボリュームに対応する3D機能的画像のボクセルの強度値に基づいて正規化値を計算する)ステップとを含む。ある特定の実施形態では、3D機能的画像および基準ボリュームを使用して判定された1つまたは複数の摂取メトリックのうち少なくとも1つが、腫瘍の背景に対する比(TBR)の値を含み、TBR値を判定するステップは、3D解剖学的画像の初期のVOIの内部で識別された前立腺ボリュームに対応する、3D機能的画像の1つまたは複数のボクセルの強度値を使用して、標的強度値(たとえば、標的強度値は、前立腺ボリュームに対応する、3D機能的画像のボクセルの強度の最大値である)を判定するステップと、3D解剖学的画像の内部で識別された基準ボリュームに対応する、3D機能的画像の1つまたは複数のボクセルの強度値を使用して、背景強度値[たとえば、背景強度値は、識別された基準ボリュームに対応する、3D機能的画像の複数の(たとえばすべての)ボクセルの平均強度である]を判定するステップと、標的強度値の背景強度値に対する比をTBR値として判定するステップとを含む。この方法は、ある特定の実施形態では、1つまたは複数の閾値(たとえば所定の閾値)と比較したTBR値に基づいて対象の前立腺がんの状態を判定するステップを含む。ある特定の実施形態では、1つまたは複数の閾値は、複数の基準TBR値[たとえば、各基準TBR値は、基準画像の対応するセット(たとえば基準3D解剖学的画像および基準3D機能的画像、たとえばCT画像/SPECT画像のセット)から判定されている]を使用して判定され、各基準TBR値は、特定の分類の前立腺がんの状態に関連づけられている(たとえば医師によって割り当てられている)[たとえば、基準TBR値を判定された同じ対象に対して(たとえば前立腺全摘出術からの病理組織診断に基づいて)グリーソン分類が判定されている]。ある特定の実施形態では、受信者動作特性(ROC)曲線を使用して[たとえば特定の感度値および/または特定の特異度値をもたらすために、たとえば曲線下面積(AUC)解析を使用して]1つまたは複数の閾値が判定される。ある特定の実施形態では、1つまたは複数の閾値は、TBR値を複数の閾値と比較して、前立腺がんの状態を非2値スケール上のレベル[たとえば、スケールには、3つまたはそれよりも多くのレベル(たとえば、陰性、多分陰性、多分陽性、陽性)がある]として判定するための複数の閾値(たとえば各閾値は平均的なグリーソンスコアに相関している)を含む。この方法は、ある特定の実施形態では、対象の前立腺がんの状態を、(i)TBR値がカットオフ閾値を超えていたら臨床的に重要であると判定し、または(ii)TBR値がカットオフ閾値未満であれば臨床的に重要でないと判定する、ステップを含む。
この方法は、ある特定の実施形態では、プロセッサによって(たとえば第2のモジュールを使用して)、対象の膀胱に対応する3D解剖学的画像の内部の(たとえば初期のVOIの内部の)膀胱のボリュームを識別するステップと、ステップ(e)において、3D解剖学的画像の内部の識別された膀胱ボリュームに対応する3D機能的画像のボクセルの強度を使用して、膀胱からのクロストーク(たとえば膀胱における放射性医薬品の摂取が、散乱および/または部分ボリューム効果によって、前立腺の内部の物理ボリュームを表す3D機能的画像のボクセルの強度値に影響を及ぼす)を、[たとえば、前立腺ボリュームに対応する3D機能的画像のボクセルの強度を、識別された膀胱ボリュームに同ボクセルが近いことおよび/または(たとえば膀胱ボリュームに対応する3D機能的画像のボクセルの強度に基づいて判定された)膀胱の摂取に基づいて、調整することによって、たとえば、膀胱からの放射散乱のモデルを確立し、このモデルに基づいて3D機能的画像のボクセルの強度を調整するように、3D機能的画像のボクセルの強度を使用することによって]補正するステップとを含む。ある特定の実施形態では、膀胱からのクロストークを補正するステップは、識別された膀胱ボリュームの外部にある、3D解剖学的画像の1つまたは複数の領域に対応する3D機能的画像の1つまたは複数のボクセルの強度に対する、対象の膀胱の内部の放射性医薬品に由来する強度の寄与をモデル化する、1つまたは複数の膀胱強度ブリード関数を判定するステップであって、1つまたは複数の膀胱強度ブリード関数[たとえば、1つまたは複数の膀胱強度ブリード関数の各々が、3D解剖学的画像の内部の識別された膀胱ボリュームに対応する3D機能的画像のボクセルの特定の方向に沿った強度にテンプレート関数(たとえばn次多項式)を当てはめることによって得られるものであり、特定の方向に沿った強度ブリードをモデル化する]が、前記寄与を、識別された膀胱ボリュームからの距離の関数としてモデル化する、ステップと、3D解剖学的画像の内部の識別された前立腺ボリュームに対応する3D機能的画像の1つまたは複数のボクセルの各々について、1つまたは複数の膀胱強度ブリード関数を使用して、[たとえば、1つまたは複数の膀胱強度ブリード関数を評価し、ボクセルに対する膀胱強度ブリード値を判定して、ボクセルの強度から膀胱強度ブリード値を差し引くことにより、補正されたボクセル強度を得ることによって]膀胱クロストークに関してボクセルの強度を調整するステップとを含む。
この方法は、ある特定の実施形態では、プロセッサによって(たとえば第2のモジュールを使用して)、対象の膀胱に対応する3D解剖学的画像の内部の(たとえば初期のVOIの内部の)膀胱のボリュームを識別するステップと、プロセッサによって、識別された膀胱ボリュームに対して形態学的拡張操作を適用することにより、拡張された膀胱ボリュームを判定するステップと、ステップ(e)において、3D機能的画像のボクセルの強度値を使用して、1つまたは複数の摂取メトリックが、(i)3D解剖学的画像のVOIの内部で識別された前立腺ボリュームに対応する、しかし(ii)拡張された膀胱ボリュームの内部の3D解剖学的画像の領域には対応しないと判定する(それによって、たとえば、1つまたは複数の摂取メトリックの計算から、識別された膀胱ボリュームから所定の距離内の3D解剖学的画像におけるロケーションに対応する、したがって、識別された膀胱ボリュームに過度に接近している、3D機能的画像のボクセルを省く)ステップとを含む。
ある特定の実施形態では、3D機能的画像は、対象に放射性医薬品を投与した後の対象の核医学画像(たとえば単一光子放射型コンピュータ断層撮影法(SPECT)スキャン、たとえば陽電子放射型断層撮影法(PET)スキャン)である。ある特定の実施形態では、放射性医薬品はPSMA結合剤(たとえば99mTc-MIP-1404、たとえば[18F]DCFPyL)を含む。ある特定の実施形態では、核医学画像は、対象に放射性医薬品を投与した後に得られる、対象の単一光子放射型コンピュータ断層撮影法(SPECT)スキャンである。ある特定の実施形態では、放射性医薬品は99mTc-MIP-1404を含む。
この方法は、ある特定の実施形態では、1つまたは複数の摂取メトリックの少なくとも一部分に基づいて、対象に関する1つまたは複数の診断値または予後値[たとえば対象の病状、疾患の進行、平均余命(たとえば全生存期間)、治効等の測度をもたらす値(たとえばグリーソンスコア)]を判定するステップを含む。ある特定の実施形態では、1つまたは複数の診断値または予後値のうち少なくとも1つを判定するステップは、摂取メトリックを1つまたは複数の閾値と比較するステップを含む。ある特定の実施形態では、1つまたは複数の診断値または予後値のうち少なくとも1つが、対象における臨床的に重要な前立腺がんに関するリスクを推定する。
この方法は、ある特定の実施形態では、(f)3D解剖学的画像および/または3D機能的画像の視覚表示をユーザに提示するために、プロセッサによって、対話型グラフィカルユーザインターフェース(GUI)を表示するステップと、(g)プロセッサによって、GUIの内部に、3D解剖学的画像および/または3D機能的画像のグラフィカルレンダリングを、いずれかが(たとえば対応するユーザ選択可能なグラフィカル制御要素(たとえばトグル要素)によって)表示用に選択されて個別にレンダリングされ得るように、または両方が表示用に選択されて、3D解剖学的画像に3D機能的画像を重ね合わせることによって一緒にレンダリングされ得るように、選択可能かつスーパーインポーズ可能な層としてもたらすステップとを含む。ある特定の実施形態では、ステップ(g)は、3D解剖学的画像の内部の1つまたは複数の識別された特定の組織ボリュームを含む選択可能かつスーパーインポーズ可能なセグメント化層のグラフィカルレンダリングをもたらすステップを含み、表示用のセグメント化層が選択されると、1つまたは複数の特定の組織ボリュームを表すグラフィックスが、(たとえば輪郭として、たとえば半透明の色分けされたボリュームとして)3D解剖学的画像および/または3D機能的画像に重ね合わされる。ある特定の実施形態では、1つまたは複数の特定の組織ボリュームは識別された前立腺ボリュームを含む。この方法は、ある特定の実施形態では、ステップ(g)において、2D断面図の位置がユーザによって調整され得るように、対話型2Dビューアの内部に、3D解剖学的画像および/または3D機能的画像の2D断面図をレンダリングするステップを含む。この方法は、ある特定の実施形態では、ステップ(g)において、3D解剖学的画像および/または3D機能的画像の対話型(たとえば回転可能、たとえばスライス可能)3Dビューをレンダリングするステップを含む。この方法は、ある特定の実施形態では、GUIの内部に、識別された前立腺ボリュームのボクセルに対応するロケーション(たとえば、前記ロケーションは、たとえば識別された前立腺ボリュームに対応する3D機能的画像の他のボクセルと比較した最大の補正強度といった、3D機能的画像の最大の強度を有するボクセルにも対応する)を指示するグラフィカル要素(たとえば十字マーク、標的、有色のマーカなど)を表示するステップを含み、それによって、この方法の、ユーザの再検討および/または品質制御が容易になる(たとえば、医師は、識別されたロケーションが対象の前立腺の予期された物理的位置に対応することを検証し得る)。この方法は、ある特定の実施形態では、GUIの内部に、1つまたは複数の摂取メトリックの再検討および/または更新のための品質制御および報告ワークフローによってユーザを導くための品質制御グラフィカルウィジェット(たとえば、品質制御グラフィカルウィジェットは、ユーザの(i)プロセッサによって自動的に判定された1つまたは複数の摂取メトリックの承認に対応する入力、または(ii)1つまたは複数の摂取メトリックの自動判定の不承認に対応する入力を受け取るための選択可能なグラフィカル制御要素を含む)とともに、ステップ(e)で判定された1つまたは複数の摂取メトリック(および、たとえば、必要に応じて、そこから判定された1つまたは複数の予後値)を表すテキストおよび/またはグラフィックスを表示するステップを含む。この方法は、ある特定の実施形態では、品質制御グラフィカルウィジェットによって、1つまたは複数の摂取メトリック(および、たとえばそこから判定された何らかの予後値)の自動判定の承認に対応するユーザ入力を受け取るステップと、1つまたは複数の摂取メトリックの自動判定の承認に対応するユーザ入力を受け取るのに応答して、プロセッサによって、1つまたは複数の自動的に判定された摂取メトリックの表現を含めた対象向けの報告[たとえば、報告は、対象の識別(たとえば匿名化された患者ID番号)と、1つまたは複数の判定された摂取メトリック(および、たとえばそこから判定された何らかの予後値)の表現(たとえばテキスト)と、1つまたは複数の摂取メトリック(および、たとえばそこから判定された何らかの予後値)の自動判定に対するユーザの承認の表現(たとえばグラフィックスおよび/またはテキスト)とを含む]を生成するステップとを含む。
この方法は、ある特定の実施形態では、品質制御グラフィカルウィジェットによって、1つまたは複数の摂取メトリック(および、たとえばそこから判定された何らかの予後値)の自動判定の不承認に対応するユーザ入力を受け取るステップと、1つまたは複数の摂取メトリックの自動判定の不承認に対応するユーザ入力を受け取るのに応答して、プロセッサによって、1つまたは複数の摂取メトリックの更新された値を判定するのに使用する3D機能的画像の1つまたは複数のボクセルの(たとえば、直接的または間接的に、たとえば3D解剖学的画像のボクセルを選択し、続いて、3D機能的画像の対応するボクセルを判定することによる)ユーザ選択のためのボクセル選択グラフィカル要素(たとえばカーソル、たとえば調整可能な十字マーク)を表示するステップと、ボクセル選択グラフィカル要素によって、1つまたは複数の摂取メトリックの更新された値を判定するのに使用する3D機能的画像の1つまたは複数のボクセルのユーザ選択[たとえば、ユーザ選択は、1つまたは複数の補正された背景強度測定ロケーションおよび/または1つまたは複数の補正された前立腺強度ロケーションであり、ここでは、ユーザによって、たとえば前立腺のロケーションの自動識別、および/またはたとえば殿筋といった背景エリアのロケーションの自動識別が優先される]を受け取るステップと、プロセッサによって、ユーザ選択のボクセルを使用して、1つまたは複数の摂取メトリックの値を更新するステップと、プロセッサによって、1つまたは複数の更新された摂取メトリックの表現(たとえばテキスト)を含む対象向けの報告[たとえば、報告は、対象の識別(たとえば匿名化された患者ID番号)と、1つまたは複数の判定された摂取メトリック(および、たとえばそこから判定された何らかの予後値)の表現(たとえばテキスト)と、ユーザ選択のボクセルを使用する1つまたは複数の摂取メトリック(および、たとえばそこから判定された何らかの予後値)の判定のユーザ承認の表現(たとえばグラフィックスおよび/またはテキスト)(たとえば摂取メトリックがユーザからのボクセルの手動選択を伴う半自動解析によって判定されたことを指示するテキスト)とを含む]を生成するステップとを含む。
この方法は、ある特定の実施形態では、品質制御グラフィカルウィジェットによって、1つまたは複数の摂取メトリック(および、たとえばそこから判定された何らかの予後値)の自動判定の不承認に対応するユーザ入力を受け取るステップと、品質制御グラフィカルウィジェットによって、品質制御の(たとえば低画質による)不合格に対応するユーザ入力を受け取るステップと、プロセッサによって、品質制御の不合格の識別を含む、対象向けの報告を生成するステップとを含む。
ある特定の実施形態では、3D機能的画像のボクセルは、既知の関係によって3D解剖学的画像のボクセルに関連づけられている[たとえば3D機能的画像の各ボクセルが3D解剖学的画像の1つまたは複数のボクセルに関連づけられており、たとえば3D機能的画像の1つまたは複数のボクセルの複数のセットの各々が3D解剖学的画像の1つまたは複数のボクセルのセットに関連づけられており、たとえば3D機能的画像のボクセルに関連づけられた座標が、既知の機能的関係によって(たとえば第1の撮像診断法と第2の撮像診断法との間の既知の空間的関係によって)解剖学的3D画像のボクセルに関連づけられた座標に関係している]。
ある特定の実施形態では、第1のモジュールは第1のCNN(畳み込みニューラルネットワーク)モジュールであり、第2モジュールは第2のCNNモジュールであり、第1のCNNモジュールは、第2のCNNモジュールよりも多くの(たとえば少なくとも1.5倍、たとえば少なくとも2倍、たとえば約2倍、たとえば少なくとも3倍、たとえば約3倍の)畳み込みフィルタを含む。
この方法は、ある特定の実施形態では、複数の3D解剖学的画像の各々についてステップ(a)および(c)を遂行して、それぞれが複数の3D解剖学的画像のうち1つの内部にある複数の初期のVOIを判定するステップを含み、初期のVOIのサイズにおける変動性は、(たとえば実質的に)3D解剖学的画像のサイズにおける変動性未満である(たとえば、「サイズ」における変動性は、(i)画像の中に表された解剖学的ボリュームの、たとえばmmで測定された1つまたは複数の次元における変動性と、(ii)画像の1つまたは複数の次元の各々に沿った、画像の中のボクセルの数における変動性との一方または両方を意味する)[たとえば、3D解剖学的画像(各VOIが判定されるそれぞれの全体画像)の、1つまたは複数の次元の各々に沿ったサイズの変動は、少なくとも200mm、および/または少なくとも300mm、および/または少なくとも400mm、および/または少なくとも500mm、および/または400mm程度、および/または500mm程度、および/または1000mm程度、および/または1500mm程度であり、たとえば、3D解剖学的画像(各VOIが判定されるそれぞれの全体画像)の、1つまたは複数の次元の各々に沿ったサイズの変動は、少なくとも25ボクセル、および/または少なくとも50ボクセル、および/または少なくとも100ボクセル、および/または少なくとも250ボクセル、および/または少なくとも300ボクセル、および/または250ボクセル程度、および/または300ボクセル程度、および/または500ボクセル程度であり、たとえば、VOIの、1つまたは複数の次元の各々に沿ったサイズの変動は、200mmまたはそれ未満(たとえば100mmまたはそれ未満、たとえば50mmまたはそれ未満)であり、たとえば、VOIの、1つまたは複数の次元の各々に沿ったサイズの変動は、250ボクセルまたはそれ未満(たとえば200ボクセルまたはそれ未満、たとえば150ボクセルまたはそれ未満)である]。
ある特定の実施形態では、第1のモジュールは、3D解剖学的画像のダウンサンプリングされた第1の解像度のバージョン(たとえば3D解剖学的画像の低解像度バージョン)を入力として受け取って、これに対して動作するCNNモジュールであり、第2のモジュールは、初期のVOIへとクロップされた、3D解剖学的画像の、第2の解像度を有する高解像度バージョンを入力として受け取って、これに対して動作するCNNモジュールであり、第2の解像度は第1の解像度よりも(たとえば少なくとも2倍、たとえば少なくとも4倍、たとえば少なくとも8倍)高い。ある特定の実施形態では、第1のモジュールは、3D解剖学的画像の少なくとも一部分を入力として受け取り、第1のモジュールに対する入力によって表される物理ボリュームは、(i)初期のVOIによって表される物理ボリュームよりも少なくとも2倍(たとえば4倍、たとえば8倍)大きく、かつ/または(ii)初期のVOIによって少なくとも1つの次元に沿って表された物理ボリュームよりも2倍(たとえば4倍、たとえば8倍)大きい。
ある特定の実施形態では、第1のモジュールは、3D解剖学的画像の内部の骨盤領域のグラフィカル表現を識別するように訓練されたCNNモジュールであり、第2モジュールは、3D解剖学的画像の内部の前立腺組織のグラフィカル表現を識別するように訓練されたCNNモジュールである。
別の態様では、本発明は、3D画像を自動的に処理して、対象の内部の標的組織領域に対応する、3D画像の内部の3Dボリュームを識別し、そこにおける放射性医薬品の摂取を表す1つまたは複数の摂取メトリックを判定するための方法に向けられ、この方法は、(a)コンピューティングデバイスのプロセッサによって、解剖学的撮像診断法[たとえばX線コンピュータ断層撮影法(CT)、たとえば磁気共鳴映像法(MRI)、たとえば超音波]を使用して得られた対象の3D解剖学的画像を受け取るステップであって、3D解剖学的画像が対象の特定の解剖学的領域(たとえば骨盤領域、胸部領域、頭部領域および/または頸部領域等の関連した組織の特定の群)の内部の組織(たとえば柔組織および/または骨)のグラフィカル表現を含み、特定の解剖学的領域が標的組織領域を含む、ステップと、(b)機能的撮像診断法[たとえば単一光子放射型コンピュータ断層撮影法(SPECT)、たとえば陽電子放射型断層撮影法(PET)]を使用して得られた対象の3D機能的画像をプロセッサによって受け取るステップであって、3D機能的画像に含まれる複数のボクセルが、それぞれ、対象の内部の特定の物理ボリュームを表し、また、特定の物理ボリュームから放射されて検知された放射線を表す強度値を有し、3D機能的画像の複数のボクセルの少なくとも一部分が、対象の特定の解剖学的領域の内部の物理ボリュームを表す、ステップと、(c)プロセッサによって、第1のモジュール(たとえば第1の機械学習モジュール)を使用して、3D解剖学的画像(たとえば直角プリズム)の内部の初期の目的ボリューム(VOI)を判定するステップであって、初期のVOI(たとえば、3D解剖学的画像の、このVOIから除外されたボクセルは、含まれるボクセルよりもより多く、たとえば、3D解剖学的画像の、このVOIに含まれるボクセルは25%未満であり、たとえば、VOIの内部のボクセルの大多数が、特定の解剖学的領域の内部の物理ボリュームを表す)が、標的組織領域を含む特定の解剖学的領域(たとえば骨盤領域、胸部領域、頭部領域および/または頸部領域等の関連した組織の群)に対応する、ステップと、(d)プロセッサによって、第2のモジュール(たとえば第2の機械学習モジュール)を使用して、対象の標的組織領域に対応する初期のVOIの内部の標的ボリュームを識別するステップと、(e)プロセッサによって、3D機能的画像と、3D解剖学的画像のVOIの内部で識別された標的ボリュームとを使用して、1つまたは複数の摂取メトリックを判定するステップ[たとえば3D解剖学的画像のVOIの内部で識別された標的ボリュームに対応する3D機能的画像のボクセルの強度値に基づいて、対象の標的組織領域における放射性医薬品の量を計算するステップ、たとえば対象の標的組織領域が占有する物理ボリュームを表す3D機能的画像のボクセルの強度の合計(たとえば加重和)、平均値、および/または最大値を計算するステップ]とを含む。
この方法は、ある特定の実施形態では、段落[0027]~[0045]において明瞭に表現された特徴のうち1つまたは複数を有する。
本発明は、別の態様では、膀胱の放射性医薬品の摂取からのクロストークに対して前立腺ボクセル強度を補正するために、3D機能的画像[たとえば核医学画像(たとえばSPECT画像、たとえばPET画像)]を自動的に解析する方法に向けられ、この方法は、(a)コンピューティングデバイスのプロセッサによって、解剖学的撮像診断法[たとえばX線コンピュータ断層撮影法(CT)、たとえば磁気共鳴映像法(MRI)、たとえば3D超音波]を使用して得られた対象の3D解剖学的画像を受け取るステップであって、3D解剖学的画像に含まれる対象の内部の組織(たとえば柔組織および/または骨)のグラフィカル表現の少なくとも一部分が対象の膀胱および前立腺に対応する、ステップと、(b)プロセッサによって対象の3D機能的画像を受け取るステップであって、3D機能的画像に含まれる複数のボクセルが、それぞれ、対象の内部の特定の物理ボリュームを表し、また、特定の物理ボリュームから放射されて検知された放射線を表す強度値を有し、3D機能的画像の複数のボクセルの少なくとも一部分が、対象の膀胱および/または前立腺の内部の物理ボリュームを表す、ステップと、(c)プロセッサによって、3D解剖学的画像の内部で、(i)対象の前立腺に対応する前立腺ボリューム、および(ii)対象の膀胱に対応する膀胱ボリュームを自動的に識別するステップと、(d)プロセッサによって、3D機能的画像の内部で、(i)識別された前立腺ボリュームに対応する複数の前立腺ボクセル、および(ii)識別された膀胱ボリュームに対応する複数の膀胱ボクセルを自動的に識別するステップと、(e)プロセッサによって、膀胱ボクセルの1つまたは複数の測定された強度(たとえば、識別された膀胱ボリュームならびに/あるいは識別された膀胱ボリュームの複数の領域の、各々および/または累積に対応する強度の、1つまたは複数の累積測定値および/またはピーク測定値および/または平均測定値および/または中央測定値)に基づいて、前立腺ボクセルの1つまたは複数の測定された強度(たとえば、識別された前立腺ボリュームならびに/あるいは識別された前立腺ボリュームの複数の領域の、各々および/または累積に対応する強度の、1つまたは複数の累積測定値および/またはピーク測定値および/または平均測定値および/または中央測定値)を調整するステップと、(f)プロセッサによって、前立腺ボクセルの調整された強度を使用して、対象の前立腺の内部の放射性医薬品の摂取を表す1つまたは複数の摂取メトリックを判定するステップとを含む。
この方法は、ある特定の実施形態では、段落[0027]~[0045]において明瞭に表現された特徴のうち1つまたは複数を有する。
本発明は、別の態様では、対象の一部分の3D機能的画像(たとえばSPECT画像)の自動解析に基づいて、対象の前立腺がんの状態を検知し、かつ/または前立腺がんのリスクを定量化する方法に向けられ、この方法は、(a)対象に、PSMA結合剤を含む放射性医薬品を投与した後に、3D機能的画像(たとえばSPECT画像)を取得するステップと、(b)コンピューティングデバイスのプロセッサによって、3D機能的画像の内部の、対象の前立腺に対応する3D標的ボリュームを識別するステップと、(c)プロセッサによって、3D標的ボリュームのボクセルの強度を使用して、標的の背景に対する比(TBR)の値を判定するステップと、(d)プロセッサによって、対話型グラフィカルユーザインターフェース(GUI)の内部に表示するように、判定されたTBR値を表すテキストおよび/またはグラフィックスのグラフィカルレンダリングをもたらすステップとを含む[たとえば、この方法は、TBR値に少なくとも部分的に基づいて、前立腺がんの(i)臨床的に重要な分類状態、または(ii)臨床的に重要でない分類状態を判定する(たとえば判定して表示する)ステップを含む]。
この方法は、ある特定の実施形態では、段落[0027]~[0045]において明瞭に表現された特徴のうち1つまたは複数を有する。
本発明は、別の態様では、3D画像を自動的に処理して、対象の前立腺に対応する、3D画像の内部の3Dボリュームを識別し、そこにおける(すなわち前立腺における)放射性医薬品の摂取を表す1つまたは複数の摂取メトリックを判定するためのシステムに向けられ、このシステムは、プロセッサと、命令を記憶したメモリ(たとえばプロセッサの外部にあるか、またはプロセッサに組み込まれている)とを備え、プロセッサは、これらの命令を実行することによって、(a)解剖学的撮像診断法[たとえばX線コンピュータ断層撮影法(CT)(たとえば全身CT画像、たとえば身体の局所CT画像)、たとえば磁気共鳴映像法(MRI)、たとえば3D超音波]を使用して得られた対象の3D解剖学的画像を受け取るステップであって、3D解剖学的画像に含まれる対象の内部の組織(たとえば柔組織および/または骨)のグラフィカル表現の少なくとも一部分が対象の骨盤領域に対応する、ステップと、(b)機能的撮像診断法[たとえば単一光子放射型コンピュータ断層撮影法(SPECT)、たとえば陽電子放射型断層撮影法(PET)]を使用して得られた対象の3D機能的画像を受け取るステップであって、3D機能的画像に含まれる複数のボクセルが、それぞれ、対象の内部の特定の物理ボリュームを表し、また、特定の物理ボリュームから放射されて検知された放射線を表す強度値を有し、3D機能的画像の複数のボクセルの少なくとも一部分が、対象の骨盤領域の内部の物理ボリュームを表す、ステップと、(c)第1のモジュール(たとえば第1の機械学習モジュール)を使用して、3D解剖学的画像(たとえば平行六面体、たとえば直方体)の内部の初期の目的ボリューム(VOI)を判定するステップであって、初期のVOIが、対象の骨盤領域の内部の組織に対応し、対象の骨盤領域の外部の組織を除外したものである(たとえば、3D解剖学的画像の、このVOIから除外されたボクセルは、含まれるボクセルよりもより多く、たとえば、3D解剖学的画像の、このVOIに含まれるボクセルは25%未満であり、たとえば、VOIの内部のボクセルの大多数が、対象の骨盤領域の内部の物理ボリュームを表す)、ステップと、(d)第2のモジュール(たとえば第2の機械学習モジュール)を使用して、対象の前立腺に対応する初期のVOIの内部の前立腺ボリュームを識別するステップと、(e)3D機能的画像および3D解剖学的画像の初期のVOIの内部で識別された前立腺ボリュームを使用して、1つまたは複数の摂取メトリックを判定する(たとえば判定して表示する)ステップ[たとえば3D解剖学的画像の初期のVOIの内部で識別された前立腺ボリュームに対応する3D機能的画像のボクセルの強度値に基づいて、対象の前立腺における放射性医薬品の量を計算するステップ、たとえば対象の前立腺が占有する物理ボリュームを表す3D機能的画像のボクセルの強度の合計(たとえば加重和)および/または平均値および/または最大値を計算するステップ]とを行う[たとえば1つまたは複数の摂取メトリックは腫瘍の背景に対する比(TBR)の値を含み、プロセッサは、命令を実行することにより、TBR値に少なくとも部分的に基づいて、前立腺がんの分類状態を、(i)臨床的に重要である、または(ii)臨床的に重要でない、のいずれかに判定する(たとえば判定して表示する)]。
このシステムは、ある特定の実施形態では、段落[0027]~[0045]において明瞭に表現された特徴のうち1つまたは複数を有する。
本発明は、別の態様では、3D画像を自動的に処理して、対象の内部の標的組織領域に対応する、3D画像の内部の3Dボリュームを識別し、そこにおける(すなわち標的組織領域における)放射性医薬品の摂取を表す1つまたは複数の摂取メトリックを判定するためのシステムに向けられ、このシステムは、プロセッサと、命令を記憶したメモリ(たとえばプロセッサの外部にあるか、またはプロセッサに組み込まれている)とを備え、プロセッサは、これらの命令を実行することによって、(a)解剖学的撮像診断法[たとえばX線コンピュータ断層撮影(CT)、たとえば磁気共鳴映像法(MRI)、たとえば超音波]を使用して得られた対象の3D解剖学的画像を受け取るステップであって、3D解剖学的画像が対象の特定の解剖学的領域(たとえば骨盤領域、胸部領域、頭部領域および/または頸部領域等の関連した組織の特定の群)の内部の組織(たとえば柔組織および/または骨)のグラフィカル表現を含み、特定の解剖学的領域が標的組織領域を含む、ステップと、(b)機能的撮像診断法[たとえば単一光子放射型コンピュータ断層撮影法(SPECT)、たとえば陽電子放射型断層撮影法(PET)]を使用して得られた対象の3D機能的画像を受け取るステップであって、3D機能的画像に含まれる複数のボクセルが、それぞれ、対象の内部の特定の物理ボリュームを表し、また、特定の物理ボリュームから放射されて検知された放射線を表す強度値を有し、3D機能的画像の複数のボクセルの少なくとも一部分が、対象の特定の解剖学的領域の内部の物理ボリュームを表す、ステップと、(c)第1のモジュール(たとえば第1の機械学習モジュール)を使用して、3D解剖学的画像(たとえば直角プリズム)の内部の初期の目的ボリューム(VOI)を判定するステップであって、初期のVOI(たとえば、3D解剖学的画像の、このVOIから除外されたボクセルは、含まれるボクセルよりもより多く、たとえば、3D解剖学的画像の、このVOIに含まれるボクセルは25%未満であり、たとえば、VOIの内部のボクセルの大多数が、特定の解剖学的領域の内部の物理ボリュームを表す)が、標的組織領域を含む特定の解剖学的領域(たとえば骨盤領域、胸部領域、頭部領域および/または頸部領域等の関連した組織の群)に対応する、ステップと、(d)第2のモジュール(たとえば第2の機械学習モジュール)を使用して、対象の標的組織領域に対応する初期のVOIの内部の標的ボリュームを識別するステップと、(e)3D機能的画像と、3D解剖学的画像のVOIの内部で識別された標的ボリュームとを使用して、1つまたは複数の摂取メトリックを判定するステップ[たとえば3D解剖学的画像のVOIの内部で識別された標的ボリュームに対応する3D機能的画像のボクセルの強度値に基づいて、対象の標的組織領域における放射性医薬品の量を計算するステップ、たとえば対象の標的組織領域が占有する物理ボリュームを表す3D機能的画像のボクセルの強度の合計(たとえば加重和)、および/または平均値、および/または最大値を計算するステップ]とを行う[たとえば1つまたは複数の摂取メトリックは腫瘍の背景に対する比(TBR)の値を含み、プロセッサは、命令を実行することにより、TBR値に少なくとも部分的に基づいて、がんの分類状態を、(i)臨床的に重要である、または(ii)臨床的に重要でない、のいずれかに判定する(たとえば判定して表示する)]。
このシステムは、ある特定の実施形態では、段落[0027]~[0045]において明瞭に表現された特徴のうち1つまたは複数を有する。
本発明は、別の態様では、対象の一部分の3D機能的画像(たとえばSPECT画像)の自動解析に基づいて、対象の前立腺がんの状態を検知し、かつ/または前立腺がんのリスクを定量化するシステムに向けられ、このシステムは、プロセッサと、命令を記憶したメモリ(たとえばプロセッサの外部にあるか、またはプロセッサに組み込まれている)とを備え、プロセッサは、これらの命令を実行することによって、(a)対象に、PSMA結合剤を含む放射性医薬品を投与した後に、対象の(たとえばいずれかまたはすべての)部分の3D機能的画像(たとえばSPECT画像)を受け取るステップと、(b)3D機能的画像の内部の、対象の前立腺に対応する3D標的ボリュームを識別するステップと、(c)3D標的ボリュームのボクセルの強度を使用して、標的の背景に対する比(TBR)の値を判定するステップと、(d)対話型グラフィカルユーザインターフェース(GUI)の内部に表示するように、判定されたTBR値を表すテキストおよび/またはグラフィックスのグラフィカルレンダリングをもたらすステップとを行う[たとえば、プロセッサは、これらの命令を実行することによって、TBR値に少なくとも部分的に基づいて、前立腺がんの(i)臨床的に重要な分類状態、または(ii)臨床的に重要でない分類状態を判定する(たとえば判定して表示する)ステップを行う]。
このシステムは、ある特定の実施形態では、段落[0027]~[0045]において明瞭に表現された特徴のうち1つまたは複数を有する。
本発明は、ある特定の実施形態では、本明細書で説明されたシステムのうち任意のものを備えるコンピュータ支援検知(CADe)デバイスに向けられる。ある特定の実施形態では、プロセッサは、命令によって、対象の臨床的に重要な前立腺がんまたは臨床的に重要でない前立腺がんのいずれかの分類を識別する。
本発明は、ある特定の実施形態では、本明細書で説明されたシステムのうち任意のものを備えるコンピュータ支援診断(CADx)デバイスに向けられる。ある特定の実施形態では、プロセッサは、命令によって、対象の臨床的に重要な前立腺がんまたは臨床的に重要でない前立腺がんのいずれかの分類を識別する。
本発明は、ある特定の実施形態では、(a)放射性標識PSMA結合剤(たとえば99mTc-MIP-1404、たとえば[18F]DCFPyL、たとえば他の公知のPSMA結合剤)と、(b)本明細書で説明されたシステムのうち任意のものを備えるコンピュータ支援検知(CADe)デバイスとを含む組合せ製品に向けられる。ある特定の実施形態では、組合せ製品は、コンピュータ支援検知デバイスを用いる放射性標識PSMA結合剤の使用を規定する標識を含む。
本発明は、別の態様では、標的組織領域(たとえば前立腺、たとえば肺、たとえば1つまたは複数の骨、たとえばリンパ節、たとえば脳)に対応する3D画像の内部の3Dボリュームを識別するために3D画像を自動的に処理するための方法に向けられ、この方法は、(a)コンピューティングデバイスのプロセッサによって、解剖学的撮像診断法[たとえばX線コンピュータ断層撮影法(CT)、たとえば磁気共鳴映像法(MRI)、たとえば超音波]を使用して得られた対象の3D解剖学的画像を受け取るステップであって、3D解剖学的画像が対象の内部の組織(たとえば柔組織および/または骨)のグラフィカル表現を含む、ステップと、(b)プロセッサによって、第1のモジュール(たとえば第1の機械学習モジュール)を使用して、3D解剖学的画像(たとえば直角プリズム)の内部の初期の目的ボリューム(VOI)を判定するステップであって、初期のVOI(たとえば、3D解剖学的画像の、このVOIから除外されたボクセルは、含まれるボクセルよりもより多く、たとえば、3D解剖学的画像の、このVOIに含まれるボクセルは25%未満であり、たとえば、VOIの内部のボクセルの大多数が、特定の解剖学的領域の内部の物理ボリュームを表す)が、標的領域を含む特定の解剖学的領域(たとえば骨盤領域、胸部領域、頭部領域および/または頸部領域等の関連した組織の群)に対応する、ステップと、(c)プロセッサによって、第2のモジュール(たとえば第2の機械学習モジュール)を使用して、対象の標的組織領域に対応する初期のVOIの内部の標的ボリュームを識別するステップと、(d)識別された標的ボリュームに対応する3Dセグメント化マスクを、表示しかつ/またはさらに処理するために、プロセッサによって、記憶しかつ/または供給するステップとを含む。
ある特定の実施形態では、第1のモジュールは、3D解剖学的画像を入力として受け取り、3D解剖学的画像の内部の長方形ボリュームの向かい合ったコーナーを表す複数の座標値(たとえば長方形ボリュームの向かい合ったコーナーを表す座標値の2つのセット)を出力する。
ある特定の実施形態では、第1のモジュールは、畳み込みニューラルネットワーク(CNN)モジュール(たとえば1つまたは複数の畳み込み層を利用するニューラルネットワークモジュール)である。
ある特定の実施形態では、ステップ(c)は、第2のモジュールを使用して、3D解剖学的画像の内部の、それぞれが対象の内部の特定の組織領域に対応する1つまたは複数のその他の組織のボリュームを識別するステップを含む。
ある特定の実施形態では、ステップ(c)は、第2のモジュールを使用して、初期のVOIの内部の各ボクセルを、対象の内部の(所定の)異なる組織領域のセット{たとえば、このセットは、標的組織領域と、必要に応じて、1つまたは複数のその他の組織領域[たとえば対象の骨盤骨(たとえば仙骨、たとえば尾骨、たとえば左寛骨、たとえば右寛骨)、対象の膀胱、対象の直腸、および殿筋(たとえば左殿筋、たとえば右の殿筋]とを含む}のうち特定の組織領域に対応するものとして分類するステップを含む。
ある特定の実施形態では、初期のVOIの内部の各ボクセルを分類するステップは、第2のモジュールによって、初期のVOIの内部の複数のボクセルの各々について尤度値のセットを判定するステップであって、尤度値のセットが、組織領域セットのうち1つまたは複数の組織領域の各々について、ボクセルが、組織領域の内部の物理ボリュームを表す尤度(たとえば第2のモジュールによって計算される)を表す対応する尤度値を含む、ステップと、初期のVOIの内部の複数のボクセルの各々について、ボクセルについて判定された尤度値のセットに基づいて、ボクセルを特定の組織領域に対応するものとして分類するステップとを含む。
ある特定の実施形態では、第2のモジュールは、初期のVOI(たとえば全体の初期のVOI)を入力として受け取り、初期のVOIの内部の各ボクセルについて、(i)ボクセルを分類する値[たとえば、ボクセルを、たとえば異なる組織領域の所定のセットから選択された領域、たとえば標的組織領域を含む所定のセット、たとえば対象の前立腺、たとえば対象の骨盤骨(たとえば仙骨、たとえば尾骨、たとえば左寛骨、たとえば右側寛骨)、対象の膀胱、対象の直腸、対象の殿筋(たとえば左殿筋、たとえば右殿筋)といった特定の組織領域に対応するものとして分類する値]と、(ii)ボクセルに関する尤度値のセット[たとえば、たとえば対象の前立腺、たとえば対象の骨盤骨(たとえば仙骨、たとえば尾骨、たとえば左寛骨、たとえば右寛骨)、対象の膀胱、対象の直腸、および対象の殿筋(たとえば左殿筋、たとえば右殿筋)といった異なる組織領域の所定のセットから選択された領域といった特定の組織領域にボクセルが対応する尤度]と、(iii)(たとえば、第2のモジュールが、各ボクセルに対して一度に1つずつ動作するのとは対照的に、1回で全体のVOIに関する尤度値を分類し、かつ/または計算するように)ボクセルを、異なる組織領域の所定のセットのうちいかなるものにも対応しないものとして識別する値(たとえば対応しそうもないものとして識別する値、またはボクセルが対応しない尤度を識別する値)(たとえば、ボクセルを、たとえば診断用ではない背景エリアに対応するもの、もしくは背景エリアに対応しそうなものとして識別する値、またはボクセルが背景エリアに対応する尤度を識別する値)とのうち、少なくとも1つを含む複数の値を出力する。
ある特定の実施形態では、ステップ(c)は、第2のモジュールを使用して、識別された標的ボリュームおよび1つまたは複数のその他の組織ボリュームを含む1つまたは複数の基底組織ボリュームのセットを識別するステップを含み、この方法は、プロセッサによって、1つまたは複数の補助モジュール(たとえば補助機械学習モジュール)を使用して、3D解剖学的画像の内部の1つまたは複数の補助組織ボリュームを識別するステップであって、それぞれの補助組織ボリュームが、第2のモジュールによって識別された基底組織ボリュームに対応する{たとえば、同じ特定の組織領域[たとえば対象の前立腺、たとえば対象の骨盤骨(たとえば仙骨、たとえば尾骨、たとえば左寛骨、たとえば右寛骨)、対象の膀胱、対象の直腸、および殿筋(たとえば左殿筋、たとえば右の殿筋)]が、この基底組織ボリュームとして表される}、ステップと、プロセッサによって、それぞれの補助組織ボリュームを、第2のモジュールによって識別された対応する基底組織ボリュームと合併させる(たとえば、本来の基底組織ボリュームに含まれていなかった対応する補助組織ボリュームの部分を組み込むことによって対応する基底組織ボリュームを増大させる)ステップとをさらに含む。
この方法は、ある特定の実施形態では、(e)3D解剖学的画像の視覚表示をユーザに提示するために、プロセッサによって、対話型グラフィカルユーザインターフェース(GUI)を表示するステップと、(f)プロセッサによって、GUIの内部に、3D解剖学的画像の内部の1つまたは複数の識別された特定の組織ボリュームを含む選択可能かつスーパーインポーズ可能なセグメント化層とともに3D解剖学的画像のグラフィカルレンダリングをもたらすステップであって、表示用のセグメント化層が選択されると、1つまたは複数の特定の組織ボリュームを表すグラフィックスが、(たとえば輪郭として、たとえば半透明の色分けされたボリュームとして)3D解剖学的画像に重ね合わされる、ステップとを含む。
ある特定の実施形態では、1つまたは複数の特定の組織ボリュームは識別された標的ボリュームを含む。
この方法は、ある特定の実施形態では、ステップ(f)において、2D断面図の位置がユーザによって調整され得るように、対話型2Dビューアの内部に、3D解剖学的画像の2D断面図をレンダリングするステップを含む。
この方法は、ある特定の実施形態では、ステップ(f)において、3D解剖学的画像の対話型(たとえば回転可能、たとえばスライス可能)3Dビューをレンダリングするステップを含む。
ある特定の実施形態では、第1のモジュールは第1のCNN(畳み込みニューラルネットワーク)モジュールであり、第2モジュールは第2のCNNモジュールであり、第1のCNNモジュールは、第2のCNNモジュールよりも多くの(たとえば少なくとも1.5倍、たとえば少なくとも2倍、たとえば約2倍、たとえば少なくとも3倍、たとえば約3倍の)畳み込みフィルタを含む。
この方法は、ある特定の実施形態では、複数の3D解剖学的画像の各々についてステップ(a)および(b)を遂行して、それぞれが複数の3D解剖学的画像のうち1つの内部にある複数の初期のVOIを判定するステップを含み、初期のVOIのサイズにおける変動性は、(たとえば実質的に)3D解剖学的画像のサイズにおける変動性未満である(たとえば、「サイズ」における変動性は、(i)画像の中に表された解剖学的ボリュームの、たとえばmmで測定された1つまたは複数の次元における変動性と、(ii)画像の1つまたは複数の次元の各々に沿った、画像の中のボクセルの数における変動性との一方または両方を意味する)[たとえば、3D解剖学的画像(各VOIが判定されるそれぞれの全体画像)の、1つまたは複数の次元の各々に沿ったサイズの変動は、少なくとも200mm、および/または少なくとも300mm、および/または少なくとも400mm、および/または少なくとも500mm、および/または400mm程度、および/または500mm程度、および/または1000mm程度、および/または1500mm程度であり、たとえば、3D解剖学的画像(各VOIが判定されるそれぞれの全体画像)の、1つまたは複数の次元の各々に沿ったサイズの変動は、少なくとも25ボクセル、および/または少なくとも50ボクセル、および/または少なくとも100ボクセル、および/または少なくとも250ボクセル、および/または少なくとも300ボクセル、および/または250ボクセル程度、および/または300ボクセル程度、および/または500ボクセル程度であり、たとえば、VOIの、1つまたは複数の次元の各々に沿ったサイズの変動は、200mmまたはそれ未満(たとえば100mmまたはそれ未満、たとえば50mmまたはそれ未満)であり、たとえば、VOIの、1つまたは複数の次元の各々に沿ったサイズの変動は、250ボクセルまたはそれ未満(たとえば200ボクセルまたはそれ未満、たとえば150ボクセルまたはそれ未満)である]。
ある特定の実施形態では、第1のモジュールは、3D解剖学的画像のダウンサンプリングされた第1の解像度のバージョン(たとえば3D解剖学的画像の低解像度バージョン)を入力として受け取って、これに対して動作するCNNモジュールであり、第2のモジュールは、初期のVOIへとクロップされた、3D解剖学的画像の、第2の解像度を有する高解像度バージョンを入力として受け取って、これに対して動作するCNNモジュールであり、第2の解像度は第1の解像度よりも(たとえば少なくとも2倍、たとえば少なくとも4倍、たとえば少なくとも8倍)高い。
ある特定の実施形態では、第1のモジュールは、3D解剖学的画像の少なくとも一部分を入力として受け取り、第1のモジュールに対する入力によって表される物理ボリュームは、(i)初期のVOIによって表される物理ボリュームよりも少なくとも2倍(たとえば4倍、たとえば8倍)大きく、かつ/または(ii)初期のVOIによって少なくとも1つの次元に沿って表された物理ボリュームよりも2倍(たとえば4倍、たとえば8倍)大きい。
ある特定の実施形態では、第1のモジュールは、3D解剖学的画像の内部の特定の解剖学的領域のグラフィカル表現を識別するように訓練されたCNNモジュールであり、第2モジュールは、3D解剖学的画像の内部の標的組織領域のグラフィカル表現を識別するように訓練されたCNNモジュールである。
この方法は、ある特定の実施形態では、機能的撮像診断法[たとえば単一光子放射型コンピュータ断層撮影法(SPECT)、たとえば陽電子放射型断層撮影法(PET)]を使用して得られた対象の3D機能的画像をプロセッサによって受け取るステップであって、3D機能的画像に含まれる複数のボクセルが、それぞれ、対象の内部の特定の物理ボリュームを表し、また、特定の物理ボリュームから放射されて検知された放射線を表す強度値を有し、3D機能的画像の複数のボクセルの少なくとも一部分が、特定の解剖学的領域の内部の物理ボリュームを表す、ステップと、3D機能的画像の内部で、3Dセグメント化マスクを使用して(たとえば3Dセグメント化マスクを3D機能的画像にマッピングすることによって)、識別された標的ボリュームに対応する3Dボリュームを識別するステップとをさらに含む。
ある特定の実施形態では、3D機能的画像のボクセルは、既知の関係によって3D解剖学的画像のボクセルに関連づけられている[たとえば3D機能的画像の各ボクセルが3D解剖学的画像の1つまたは複数のボクセルに関連づけられており、たとえば3D機能的画像の1つまたは複数のボクセルの複数のセットの各々が3D解剖学的画像の1つまたは複数のボクセルのセットに関連づけられており、たとえば3D機能的画像のボクセルに関連づけられた座標が、既知の機能的関係によって(たとえば第1の撮像診断法と第2の撮像診断法との間の既知の空間的関係によって)解剖学的3D画像のボクセルに関連づけられた座標に関係している]。
本発明は、別の態様では、標的組織領域(たとえば前立腺、たとえば肺、たとえば1つまたは複数の骨、たとえばリンパ節、たとえば脳)に対応する3D画像の内部の3Dボリュームを識別するために3D画像を自動的に処理するためのシステムに向けられ、このシステムは、コンピューティングデバイスのプロセッサと、命令を記憶したメモリとを備え、プロセッサは、これらの命令を実行することによって、(a)解剖学的撮像診断法[たとえばX線コンピュータ断層撮影法(CT)、たとえば磁気共鳴映像法(MRI)、たとえば超音波]を使用して得られた対象の3D解剖学的画像を受け取るステップであって、3D解剖学的画像が対象の内部の組織(たとえば柔組織および/または骨)のグラフィカル表現を含む、ステップと、(b)第1のモジュール(たとえば第1の機械学習モジュール)を使用して、3D解剖学的画像(たとえば直角プリズム)の内部の初期の目的ボリューム(VOI)を判定するステップであって、初期のVOI(たとえば、3D解剖学的画像の、このVOIから除外されたボクセルは、含まれるボクセルよりもより多く、たとえば、3D解剖学的画像の、このVOIに含まれるボクセルは25%未満であり、たとえば、VOIの内部のボクセルの大多数が、特定の解剖学的領域の内部の物理ボリュームを表す)が、標的領域を含む特定の解剖学的領域(たとえば骨盤領域、胸部領域、頭部領域および/または頸部領域等の関連した組織の群)に対応する、ステップと、(c)第2のモジュール(たとえば第2の機械学習モジュール)を使用して、対象の標的組織領域に対応する初期のVOIの内部の標的ボリュームを識別するステップと、(d)識別された標的ボリュームに対応する3Dセグメント化マスクを、表示しかつ/またはさらに処理するために、記憶しかつ/または供給するステップとを行う。
このシステムは、ある特定の実施形態では、段落[0062]~[0079]において明瞭に表現された特徴のうち1つまたは複数を有する。
本発明の一態様に関して説明された実施形態の特徴は、本発明の別の態様に関して適用され得る。
本発明は、例えば、以下の項目を提供する。
(項目1)
3D画像を自動的に処理して、対象の前立腺に対応する、前記3D画像の内部の3Dボリュームを識別し、そこにおける放射性医薬品の摂取を表す1つまたは複数の摂取メトリックを判定するための方法であって、
(a)解剖学的撮像診断法を使用して得られた前記対象の3D解剖学的画像をコンピューティングデバイスのプロセッサによって受け取るステップであって、前記3D解剖学的画像が含む対象の内部の組織のグラフィカル表現の少なくとも一部分が前記対象の骨盤領域に対応する、ステップと、
(b)機能的撮像診断法を使用して得られた前記対象の3D機能的画像を前記プロセッサによって受け取るステップであって、前記3D機能的画像に含まれる複数のボクセルが、それぞれ、前記対象の内部の特定の物理ボリュームを表し、また、前記特定の物理ボリュームから放射されて検知された放射線を表す強度値を有し、前記3D機能的画像の前記複数のボクセルの少なくとも一部分が、前記対象の前記骨盤領域の内部の物理ボリュームを表す、ステップと、
(c)前記プロセッサによって、第1のモジュールを使用して、前記3D解剖学的画像の内部の初期の目的ボリューム(VOI)を判定するステップであって、前記初期のVOIが、前記対象の前記骨盤領域の内部の組織に対応し、前記対象の前記骨盤領域の外部の組織は除外する、ステップと、
(d)前記プロセッサによって、第2のモジュールを使用して、前記対象の前記前立腺に対応する前記初期のVOIの内部の前立腺ボリュームを識別するステップと、
(e)前記プロセッサによって、前記3D機能的画像と、前記3D解剖学的画像の前記初期のVOIの内部で識別された前記前立腺ボリュームとを使用して、前記1つまたは複数の摂取メトリックを判定するステップとを含む方法。
(項目2)
前記第1のモジュールが、前記3D解剖学的画像を入力として受け取って、前記3D解剖学的画像の内部の長方形ボリュームの向かい合ったコーナーを表す複数の座標値を出力する、項目1に記載の方法。
(項目3)
ステップ(c)が、前記第1のモジュールを使用して、前記対象の骨盤骨に対応する前記3D解剖学的画像のボリュームを識別する3D骨盤骨マスクを判定するステップを含む、項目1または2に記載の方法。
(項目4)
前記第1のモジュールが畳み込みニューラルネットワーク(CNN)モジュールである、先行する項目のいずれか一項に記載の方法。
(項目5)
ステップ(d)が、前記第2のモジュールを使用して、前記3D解剖学的画像の内部の、それぞれが前記対象の内部の特定の組織領域に対応する1つまたは複数のその他の組織ボリュームを識別するステップを含み、前記1つまたは複数のその他の組織ボリュームが、
前記対象の骨盤骨、
前記対象の膀胱、
前記対象の直腸、および
前記対象の殿筋からなる群から選択される1つまたは複数の特定の組織領域に対応する、先行する項目のいずれか一項に記載の方法。
(項目6)
ステップ(d)が、前記第2のモジュールを使用して、前記初期のVOIの内部の各ボクセルを、前記対象の内部の(所定の)異なる組織領域のセットのうち特定の組織領域に対応するものとして分類するステップを含む、先行する項目のいずれか一項に記載の方法。
(項目7)
前記初期のVOIの内部の各ボクセルを分類するステップが、
前記第2のモジュールによって、前記初期のVOIの内部の複数のボクセルの各々について、尤度値のセットを判定するステップであって、前記尤度値のセットが、前記組織領域セットのうち1つまたは複数の組織領域の各々について、前記ボクセルが前記組織領域の内部の物理ボリュームを表すことの尤度を表す対応する尤度値を含む、ステップと、
前記初期のVOIの内部の前記複数のボクセルの各々について、前記ボクセルについて判定された前記尤度値のセットに基づいて、前記ボクセルを前記特定の組織領域に対応するものとして分類するステップとを含む、項目6に記載の方法。
(項目8)
前記第2のモジュールが、前記初期のVOIを入力として受け取って、前記初期のVOIの内部の各ボクセルについて、
(i)前記ボクセルを分類する値と、
(ii)前記ボクセルに関する尤度値のセットと、
(iii)前記ボクセルを、異なる組織領域の所定のセットのうちいかなるものにも対応しないものとして識別する値とのうち少なくとも1つを含む複数の値を出力する、項目6または7に記載の方法。
(項目9)
前記異なる組織領域の(所定の)セットが、
前記対象の前記前立腺と、
前記対象の骨盤骨と、
前記対象の膀胱と、
前記対象の直腸と、
前記対象の殿筋とからなる群から選択される1つまたは複数の組織領域を含む、項目6から8のいずれか一項に記載の方法。
(項目10)
ステップ(d)が、前記第2のモジュールを使用して1つまたは複数の基底組織ボリュームのセットを識別するステップを含み、前記1つまたは複数の基底組織ボリュームが、前記識別された前立腺ボリュームおよび前記1つまたは複数のその他の組織ボリュームを含み、前記方法は、
前記プロセッサによって、1つまたは複数の補助モジュールを使用して、前記3D解剖学的画像の内部の1つまたは複数の補助組織ボリュームを識別するステップであって、それぞれの補助組織ボリュームが、前記第2のモジュールによって識別された基底組織ボリュームに対応する、ステップと、
前記プロセッサによって、それぞれの補助組織ボリュームを、前記第2のモジュールによって識別された前記対応する基底組織ボリュームと合併させるステップとをさらに含む、項目5から9のいずれか一項に記載の方法。
(項目11)
前記プロセッサによって、前記対象の内部の基準組織領域に対応する、前記3D解剖学的画像の内部の基準ボリュームを識別するステップと、
ステップ(e)において、前記3D機能的画像と、前記3D解剖学的画像の内部で識別された前記基準ボリュームとを使用して、前記1つまたは複数の摂取メトリックのうち少なくとも1つを判定するステップとを含む、先行する項目のいずれか一項に記載の方法。(項目12)
前記3D機能的画像および前記基準ボリュームを使用して判定された前記1つまたは複数の摂取メトリックのうち少なくとも1つが、腫瘍の背景に対する比(TBR)の値を含み、前記TBR値を判定するステップが、
前記3D解剖学的画像の前記初期のVOIの内部で識別された前記前立腺ボリュームに対応する前記3D機能的画像の1つまたは複数のボクセルの強度値を使用して、標的強度値を判定するステップと、
前記3D解剖学的画像の内部で識別された前記基準ボリュームに対応する前記3D機能的画像の1つまたは複数のボクセルの強度値を使用して、背景強度値を判定するステップと、
前記標的強度値の前記背景強度値に対する比を前記TBR値として判定するステップとを含む、項目11に記載の方法。
(項目13)
前記TBR値の、1つまたは複数の閾値との比較に基づいて、前記対象の前立腺がんの状態を判定するステップを含む、項目12に記載の方法。
(項目14)
前記1つまたは複数の閾値が複数の基準TBR値を使用して判定される、項目13に記載の方法。
(項目15)
前記1つまたは複数の閾値が受信者動作特性(ROC)曲線を使用して判定される、項目13または14に記載の方法。
(項目16)
前記1つまたは複数の閾値が複数の閾値を含み、前記TBR値を前記複数の閾値と比較することによって、前記前立腺がんの状態が非2値スケール上のレベルとして判定される、項目13から15のいずれか一項に記載の方法。
(項目17)
前記対象の前記前立腺がんの状態を、(i)前記TBR値がカットオフ閾値を超えていたら臨床的に重要であると判定し、または(ii)前記TBR値が前記カットオフ閾値未満であれば臨床的に重要でないと判定する、ステップを含む、項目13に記載の方法。
(項目18)
前記プロセッサによって、前記対象の膀胱に対応する、前記3D解剖学的画像の内部の膀胱ボリュームを識別するステップと、
ステップ(e)において、前記3D解剖学的画像の内部の前記識別された膀胱ボリュームに対応する前記3D機能的画像のボクセルの強度を使用して、前記膀胱からのクロストークを補正するステップとを含む、先行する項目のいずれか一項に記載の方法。
(項目19)
前記膀胱からのクロストークを補正するステップが、
前記識別された膀胱ボリュームの外部にある、前記3D解剖学的画像の1つまたは複数の領域に対応する前記3D機能的画像の1つまたは複数のボクセルの強度に対する、前記対象の前記膀胱の内部の放射性医薬品に由来する強度の寄与をモデル化する、1つまたは複数の膀胱強度ブリード関数を判定するステップであって、前記1つまたは複数の膀胱強度ブリード関数が、前記寄与を、前記識別された膀胱ボリュームからの距離の関数としてモデル化する、ステップと、
前記3D解剖学的画像の内部の前記識別された前立腺ボリュームに対応する前記3D機能的画像の1つまたは複数のボクセルの各々について、前記1つまたは複数の膀胱強度ブリード関数を使用して、前記ボクセルの強度を膀胱クロストークに対して調整するステップとを含む、項目18に記載の方法。
(項目20)
前記プロセッサによって、前記対象の膀胱に対応する前記3D解剖学的画像の内部の膀胱ボリュームを識別するステップと、
前記プロセッサによって、前記識別された膀胱ボリュームに対して形態学的拡張操作を適用することにより、拡張された膀胱ボリュームを判定するステップと、
ステップ(e)において、前記3D機能的画像のボクセルの強度値を使用して、前記1つまたは複数の摂取メトリックを、(i)前記3D解剖学的画像の前記VOIの内部で識別された前記前立腺ボリュームに対応するが、(ii)前記拡張された膀胱ボリュームの内部の前記3D解剖学的画像の領域には対応しないと判定するステップとを含む、先行する項目のいずれか一項に記載の方法。
(項目21)
前記3D機能的画像が前記対象に前記放射性医薬品を投与した後の前記対象の核医学画像である、先行する項目のいずれか一項に記載の方法。
(項目22)
前記放射性医薬品がPSMA結合剤を含む、項目21に記載の方法。
(項目23)
前記核医学画像が、前記対象に前記放射性医薬品を投与した後に得られた、前記対象の単一光子放射型コンピュータ断層撮影法(SPECT)スキャンである、項目21に記載の方法。
(項目24)
前記放射性医薬品が99mTc-MIP-1404を含む、項目21に記載の方法。
(項目25)
前記1つまたは複数の摂取メトリックの少なくとも一部分に基づいて前記対象の1つまたは複数の診断値または予後値を判定するステップを含む、先行する項目のいずれか一項に記載の方法。
(項目26)
前記1つまたは複数の診断値または予後値のうち少なくとも1つを判定するステップが、摂取メトリックを1つまたは複数の閾値と比較するステップを含む、項目25に記載の方法。
(項目27)
前記1つまたは複数の診断値または予後値のうち少なくとも1つが、前記対象の臨床的に重要な前立腺がんに関するリスクを推定する、項目25または26に記載の方法。
(項目28)
(f)前記3D解剖学的画像および/または前記3D機能的画像の視覚表示を前記ユーザに提示するために、前記プロセッサによって、対話型グラフィカルユーザインターフェース(GUI)を表示するステップと、
(g)前記プロセッサによって、前記GUIの内部に、前記3D解剖学的画像および/または前記3D機能的画像を、いずれかが表示用に選択されて個別にレンダリングされ得るように、あるいは両方が表示用に選択されて、3D解剖学的画像に3D機能的画像を重ね合わせることによって一緒にレンダリングされ得るように、選択可能かつスーパーインポーズ可能な層としてグラフィカルレンダリングをもたらすステップとを含む、先行する項目のいずれか一項に記載の方法。
(項目29)
ステップ(g)が、前記3D解剖学的画像の内部の1つまたは複数の識別された特定の組織ボリュームを含む選択可能かつスーパーインポーズ可能なセグメント化層のグラフィカルレンダリングをもたらすステップを含み、前記表示用のセグメント化層の選択に際して、前記1つまたは複数の特定の組織ボリュームを表すグラフィックスが、前記3D解剖学的画像および/または前記3D機能的画像に重ね合わされる、項目28に記載の方法。(項目30)
前記1つまたは複数の特定の組織ボリュームが前記識別された前立腺ボリュームを含む、項目29に記載の方法。
(項目31)
ステップ(g)において、2D断面図の位置が前記ユーザによって調整され得るように、対話型2Dビューアの内部に、前記3D解剖学的画像および/または前記3D機能的画像の前記2D断面図をレンダリングするステップを含む、項目28から30のいずれか一項に記載の方法。
(項目32)
ステップ(g)において、前記3D解剖学的画像および/または前記3D機能的画像の対話型3Dビューをレンダリングするステップを含む、項目28から31のいずれか一項に記載の方法。
(項目33)
前記GUIの内部に、前記識別された前立腺ボリュームのボクセルに対応するロケーションを指示するグラフィカル要素を表示することにより、前記方法のユーザ再検討および/または品質制御を容易にするステップを含む、項目28から32のいずれか一項に記載の方法。
(項目34)
前記GUIの内部に、前記1つまたは複数の摂取メトリックの再検討および/または更新のための品質制御および報告のワークフローによって前記ユーザを導くための品質制御グラフィカルウィジェットとともに、ステップ(e)において判定された前記1つまたは複数の摂取メトリックを表すテキストおよび/またはグラフィックスを表示するステップを含む、項目28から33のいずれか一項に記載の方法。
(項目35)
前記品質制御グラフィカルウィジェットを介して、前記1つまたは複数の摂取メトリックの自動判定の承認に対応するユーザ入力を受け取るステップと、
前記1つまたは複数の摂取メトリックの前記自動判定の前記承認に対応する前記ユーザ入力の前記受取りに応答して、前記プロセッサによって、前記対象向けに、前記1つまたは複数の自動判定された摂取メトリックの表現を含む報告を生成するステップとを含む、項目34に記載の方法。
(項目36)
前記品質制御グラフィカルウィジェットを介して、前記1つまたは複数の摂取メトリックの自動判定の不承認に対応するユーザ入力を受け取るステップと、
前記1つまたは複数の摂取メトリックの前記自動判定の前記不承認に対応するユーザ入力の受取りに応答して、前記プロセッサによって、前記1つまたは複数の摂取メトリックの更新された値を判定するのに使用する前記3D機能的画像の1つまたは複数のボクセルのユーザ選択のためのボクセル選択グラフィカル要素を表示するステップと、
前記ボクセル選択グラフィカル要素を介して、前記1つまたは複数の摂取メトリックの更新された値を判定するのに使用する前記3D機能的画像の1つまたは複数のボクセルの前記ユーザ選択を受け取るステップと、
前記プロセッサによって、前記ユーザ選択のボクセルを使用して、前記1つまたは複数の摂取メトリックの値を更新するステップと、
前記プロセッサによって、前記対象向けに、前記1つまたは複数の更新された摂取メトリックの表現を含む報告を生成するステップとを含む、項目34に記載の方法。
(項目37)
前記品質制御グラフィカルウィジェットを介して、前記1つまたは複数の摂取メトリックの自動判定の不承認に対応するユーザ入力を受け取るステップと、
前記品質制御グラフィカルウィジェットを介して、品質制御の不合格に対応するユーザ入力を受け取るステップと、
前記プロセッサによって、前記品質制御の不合格の識別を含む、前記対象向けの報告を生成するステップとを含む、項目34に記載の方法。
(項目38)
前記3D機能的画像のボクセルが、既知の関係によって前記3D解剖学的画像のボクセルに関連づけられている、先行する項目のいずれか一項に記載の方法。
(項目39)
複数の3D解剖学的画像の各々についてステップ(a)および(c)を遂行して、それぞれが前記複数の3D解剖学的画像のうち1つの内部にある複数の初期のVOIを判定するステップであって、前記初期のVOIのサイズの変動性が、前記3D解剖学的画像のサイズの変動性よりも小さい、ステップを含む、先行する項目のいずれか一項に記載の方法。
(項目40)
前記第1のモジュールが、第1の解像度を有する、前記3D解剖学的画像のダウンサンプリングされたバージョンを入力として受け取って、これに対して動作するCNNモジュールであり、前記第2のモジュールが、前記初期のVOIへとクロップされた、前記3D解剖学的画像の、前記第1の解像度よりも高い第2の解像度を有する高解像度バージョンを入力として受け取って、これに対して動作するCNNモジュールである、先行する項目のいずれか一項に記載の方法。
(項目41)
前記第1のモジュールが、前記3D解剖学的画像の少なくとも一部分を入力として受け取り、前記第1のモジュールに対する入力によって表される物理ボリュームが、(i)前記初期のVOIによって表される物理ボリュームよりも少なくとも2倍大きく、かつ/または(ii)少なくとも1つの次元に沿って、前記初期のVOIによって表される前記物理ボリュームよりも2倍大きい、先行する項目のいずれか一項に記載の方法。
(項目42)
前記第1のモジュールが、3D解剖学的画像の内部の骨盤領域のグラフィカル表現を識別するように訓練されたCNNモジュールであり、前記第2のモジュールが、3D解剖学的画像の内部の前立腺組織のグラフィカル表現を識別するように訓練されたCNNモジュールである、先行する項目のいずれか一項に記載の方法。
(項目43)
3D画像を自動的に処理して、対象の内部の標的組織領域に対応する、3D画像の内部の3Dボリュームを識別し、そこにおける放射性医薬品の摂取を表す1つまたは複数の摂取メトリックを判定するための方法であって、
(a)解剖学的撮像を使用して得られた前記対象の3D解剖学的画像をコンピューティングデバイスのプロセッサによって受け取るステップであって、前記3D解剖学的画像が、前記対象の前記標的組織領域を含む特定の解剖学的領域の内部の組織のグラフィカル表現を含む、ステップと、
(b)機能的撮像診断法を使用して得られた前記対象の3D機能的画像を前記プロセッサによって受け取るステップであって、前記3D機能的画像に含まれる複数のボクセルが、それぞれ、前記対象の内部の特定の物理ボリュームを表し、また、前記特定の物理ボリュームから放射されて検知された放射線を表す強度値を有し、前記3D機能的画像の前記複数のボクセルの少なくとも一部分が、前記対象の前記特定の解剖学的領域の内部の物理ボリュームを表す、ステップと、
(c)前記プロセッサによって、第1のモジュールを使用して、前記3D解剖学的画像の内部の初期の目的ボリューム(VOI)を判定するステップであって、前記初期のVOIが、前記標的組織領域を含む前記特定の解剖学的領域に対応する、ステップと、
(d)前記プロセッサによって、第2のモジュールを使用して、前記対象の前記標的組織領域に対応する前記初期のVOIの内部の標的ボリュームを識別するステップと、
(e)前記プロセッサによって、前記3D機能的画像と、前記3D解剖学的画像の前記VOIの内部で識別された前記標的ボリュームとを使用して、前記1つまたは複数の摂取メトリックを判定するステップとを含む方法。
(項目44)
膀胱への放射性医薬品摂取からのクロストークに対して前立腺ボクセル強度を補正するために3D機能的画像を自動的に解析する方法であって、
(a)解剖学的撮像診断法を使用して得られた前記対象の3D解剖学的画像をコンピューティングデバイスのプロセッサによって受け取るステップであって、前記3D解剖学的画像が含む対象の内部の組織のグラフィカル表現の少なくとも一部分が前記対象の膀胱および前立腺に対応する、ステップと、
(b)前記プロセッサによって前記対象の前記3D機能的画像を受け取るステップであって、前記3D機能的画像に含まれる複数のボクセルが、それぞれ、前記対象の内部の特定の物理ボリュームを表し、また、前記特定の物理ボリュームから放射されて検知された放射線を表す強度値を有し、前記3D機能的画像の前記複数のボクセルの少なくとも一部分が、前記対象の前記膀胱および/または前立腺の内部の物理ボリュームを表す、ステップと、
(c)前記プロセッサによって、前記3D解剖学的画像の内部で、(i)前記対象の前立腺に対応する前立腺ボリューム、および(ii)前記対象の膀胱に対応する膀胱ボリュームを自動的に識別するステップと、
(d)前記プロセッサによって、前記3D機能的画像の内部で、(i)前記識別された前立腺ボリュームに対応する複数の前立腺ボクセル、および(ii)前記識別された膀胱ボリュームに対応する複数の膀胱ボクセルを自動的に識別するステップと、
(e)前記プロセッサによって、前記膀胱ボクセルの1つまたは複数の測定された強度に基づいて、前記前立腺ボクセルの1つまたは複数の測定された強度を調整するステップと、
(f)前記プロセッサによって、前記前立腺ボクセルの前記調整された強度を使用して、前記対象の前記前立腺の内部の放射性医薬品の摂取を表す1つまたは複数の摂取メトリックを判定するステップとを含む方法。
(項目45)
対象の一部分の3D機能的画像の自動解析に基づいて、前記対象の前立腺がんの状態を検知し、かつ/または前立腺がんのリスクを定量化する方法であって、
(a)前記対象にPSMA結合剤を含む放射性医薬品を投与した後に3D機能的画像を取得するステップと、
(b)コンピューティングデバイスのプロセッサによって、前記3D機能的画像の内部の、前記対象の前立腺に対応する3D標的ボリュームを識別するステップと、
(c)前記プロセッサによって、前記3D標的ボリュームのボクセルの強度を使用して、標的の背景に対する比(TBR)の値を判定するステップと、
(d)前記プロセッサによって、対話型グラフィカルユーザインターフェース(GUI)の内部に表示するように、前記判定されたTBR値を表すテキストおよび/またはグラフィックスのグラフィカルレンダリングをもたらすステップとを含む方法。
(項目46)
3D画像を自動的に処理して、対象の前立腺に対応する、3D画像の内部の3Dボリュームを識別し、そこにおける放射性医薬品の摂取を表す1つまたは複数の摂取メトリックを判定するためのシステムであって、
プロセッサと、
命令を記憶したメモリとを備えるシステムにおいて、前記プロセッサが、前記命令を実行することにより、
(a)解剖学的撮像診断法を使用して得られた前記対象の3D解剖学的画像を受け取るステップであって、前記3D解剖学的画像が含む対象の内部の組織のグラフィカル表現の少なくとも一部分が前記対象の骨盤領域に対応する、ステップと、
(b)機能的撮像診断法を使用して得られた前記対象の3D機能的画像を受け取るステップであって、前記3D機能的画像に含まれる複数のボクセルが、それぞれ、前記対象の内部の特定の物理ボリュームを表し、また、前記特定の物理ボリュームから放射されて検知された放射線を表す強度値を有し、前記3D機能的画像の前記複数のボクセルの少なくとも一部分が、前記対象の前記骨盤領域の内部の物理ボリュームを表す、ステップと、
(c)第1のモジュールを使用して、前記3D解剖学的画像の内部の初期の目的ボリューム(VOI)を判定するステップであって、前記初期のVOIが、前記対象の前記骨盤領域の内部の組織に対応し、前記対象の前記骨盤領域の外部の組織は除外する、ステップと、
(d)第2のモジュールを使用して、前記対象の前記前立腺に対応する前記初期のVOIの内部の前立腺ボリュームを識別するステップと、
(e)前記3D機能的画像と、前記3D解剖学的画像の前記初期のVOIの内部で識別された前記前立腺ボリュームとを使用して、前記1つまたは複数の摂取メトリックを判定するステップとを行う、システム。
(項目47)
3D画像を自動的に処理して、対象の内部の標的組織領域に対応する、3D画像の内部の3Dボリュームを識別し、そこにおける放射性医薬品の摂取を表す1つまたは複数の摂取メトリックを判定するためのシステムであって、
プロセッサと、
命令を記憶したメモリとを備えるシステムにおいて、前記プロセッサが、前記命令を実行することにより、
(a)解剖学的撮像診断法を使用して得られた前記対象の3D解剖学的画像を受け取るステップであって、前記3D解剖学的画像が、前記対象の前記標的組織領域を含む特定の解剖学的領域の内部の組織のグラフィカル表現を含む、ステップと、
(b)機能的撮像診断法を使用して得られた前記対象の3D機能的画像を受け取るステップであって、前記3D機能的画像に含まれる複数のボクセルが、それぞれ、前記対象の内部の特定の物理ボリュームを表し、また、前記特定の物理ボリュームから放射されて検知された放射線を表す強度値を有し、前記3D機能的画像の前記複数のボクセルの少なくとも一部分が、前記特定の解剖学的領域の内部の物理ボリュームを表す、ステップと、
(c)第1のモジュールを使用して、前記3D解剖学的画像の内部の初期の目的ボリューム(VOI)を判定するステップであって、前記初期のVOIが、前記標的組織領域を含む前記特定の解剖学的領域に対応する、ステップと、
(d)第2のモジュールを使用して、前記対象の前記標的組織領域に対応する前記初期のVOIの内部の標的ボリュームを識別するステップと、
(e)前記3D機能的画像と、前記3D解剖学的画像の前記VOIの内部で識別された前記標的ボリュームとを使用して、前記1つまたは複数の摂取メトリックを判定するステップとを行う、システム。
(項目48)
対象の一部分の3D機能的画像の自動解析に基づいて、前記対象の前立腺がんの状態を検知し、かつ/または前立腺がんのリスクを定量化するためのシステムであって、
プロセッサと、
命令を記憶したメモリとを備えるシステムにおいて、前記プロセッサが、前記命令を実行することにより、
(a)PSMA結合剤を含む放射性医薬品を前記対象に投与した後に、前記対象の前記一部分の前記3D機能的画像を受け取るステップと、
(b)前記3D機能的画像の内部の、前記対象の前立腺に対応する3D標的ボリュームを識別するステップと、
(c)前記3D標的ボリュームのボクセルの強度を使用して、標的の背景に対する比(TBR)の値を判定するステップと、
(d)対話型グラフィカルユーザインターフェース(GUI)の内部に表示するように、前記判定されたTBR値を表すテキストおよび/またはグラフィックスのグラフィカルレンダリングをもたらすステップとを行う、システム。
(項目49)
項目46から48のいずれか一項に記載のシステムを備えるコンピュータ支援検知(CADe)デバイス。
(項目50)
項目46から48のいずれか一項に記載のシステムを備えるコンピュータ支援診断(CADx)デバイス。
(項目51)
前記プロセッサが、前記命令によって、前記対象の臨床的に重要な前立腺がんまたは臨床的に重要でない前立腺がんのいずれかの分類を識別する、項目49に記載のCADeデバイス。
(項目52)
前記プロセッサが、前記命令によって、前記対象の臨床的に重要な前立腺がんまたは臨床的に重要でない前立腺がんのいずれかの分類を識別する、項目50に記載のCADxデバイス。
(項目53)
(a)放射性標識PSMA結合剤と、
(b)項目46から48のいずれか一項に記載のシステムを備えるコンピュータ支援検知(CADe)デバイスとを含む組合せ製品。
(項目54)
コンピュータ支援検知デバイスを用いる放射性標識PSMA結合剤の使用を規定する標識を含む、項目53に記載の組合せ製品。
(項目55)
3D画像を自動的に処理して、標的組織領域に対応する前記3D画像の内部の3Dボリュームを識別するための方法であって、
(a)解剖学的撮像診断法を使用して得られた対象の3D解剖学的画像をコンピューティングデバイスのプロセッサによって受け取るステップであって、前記3D解剖学的画像が前記対象の内部の組織のグラフィカル表現を含む、ステップと、
(b)前記プロセッサによって、第1のモジュールを使用して、前記3D解剖学的画像の内部の初期の目的ボリューム(VOI)を判定するステップであって、前記初期のVOIが、前記標的領域を含む特定の解剖学的領域に対応する、ステップと、
(c)前記プロセッサによって、第2のモジュールを使用して、前記対象の前記標的組織領域に対応する前記初期のVOIの内部の標的ボリュームを識別するステップと、
(d)前記識別された標的ボリュームに対応する3Dセグメント化マスクを、表示しかつ/またはさらに処理するために、前記プロセッサによって、記憶しかつ/または供給するステップとを含む方法。
(項目56)
前記第1のモジュールが、前記3D解剖学的画像を入力として受け取って、前記3D解剖学的画像の内部の長方形ボリュームの向い合ったコーナーを表す複数の座標値を出力する、項目5に記載の方法。
(項目57)
前記第1のモジュールが畳み込みニューラルネットワーク(CNN)モジュールである、項目55または56に記載の方法。
(項目58)
ステップ(c)が、前記第2のモジュールを使用して、前記3D解剖学的画像の内部の、それぞれが前記対象の内部の特定の組織領域に対応する1つまたは複数のその他の組織ボリュームを識別するステップを含む、項目55から57のいずれか一項に記載の方法。(項目59)
ステップ(c)が、前記第2のモジュールを使用して、前記初期のVOIの内部の各ボクセルを、前記対象の内部の(所定の)異なる組織領域のセットのうち特定の組織領域に対応するものとして分類するステップを含む、項目55から58のいずれか一項に記載の方法。
(項目60)
前記初期のVOIの内部の各ボクセルを分類するステップが、
前記第2のモジュールによって、前記初期のVOIの内部の複数のボクセルの各々について、尤度値のセットを判定するステップであって、前記尤度値のセットが、前記組織領域セットのうち1つまたは複数の組織領域の各々について、前記ボクセルが前記組織領域の内部の物理ボリュームを表すことの尤度を表す対応する尤度値を含む、ステップと、
前記初期のVOIの内部の前記複数のボクセルの各々について、前記ボクセルについて判定された尤度値のセットに基づいて、前記ボクセルを前記特定の組織領域に対応するものとして分類するステップとを含む、項目59に記載の方法。
(項目61)
前記第2のモジュールが、前記初期のVOIを入力として受け取って、前記初期のVOIの内部の各ボクセルについて、
(i)前記ボクセルを分類する値と、
(ii)前記ボクセルに関する尤度値のセットと、
(iii)前記ボクセルを、異なる組織領域の所定のセットのうちいかなるものにも対応しないものとして識別する値とのうち少なくとも1つを含む複数の値を出力する、項目59または60に記載の方法。
(項目62)
ステップ(c)が、前記第2のモジュールを使用して1つまたは複数の基底組織ボリュームのセットを識別するステップを含み、前記1つまたは複数の基底組織ボリュームが、前記識別された標的ボリュームおよび前記1つまたは複数のその他の組織のボリュームを含み、
前記プロセッサによって、1つまたは複数の補助モジュールを使用して、前記3D解剖学的画像の内部の1つまたは複数の補助組織ボリュームを識別するステップであって、それぞれの補助組織ボリュームが、前記第2のモジュールによって識別された基底組織ボリュームに対応する、ステップと、
前記プロセッサによって、それぞれの補助組織ボリュームを、前記第2のモジュールによって識別された前記対応する基底組織ボリュームと合併させるステップとをさらに含む、項目55から61のいずれか一項に記載の方法。
(項目63)
(e)前記3D解剖学的画像の視覚表示を前記ユーザに提示するために、前記プロセッサによって、対話型グラフィカルユーザインターフェース(GUI)を表示するステップと、
(f)前記プロセッサによって、前記GUIの内部に、前記3D解剖学的画像の内部の1つまたは複数の識別された特定の組織ボリュームを含む選択可能かつスーパーインポーズ可能なセグメント化層とともに前記3D解剖学的画像のグラフィカルレンダリングをもたらすステップであって、前記表示用のセグメント化層の選択に際して、前記1つまたは複数の特定の組織ボリュームを表すグラフィックスが前記3D解剖学的画像上に重ね合わされる、ステップとを含む、項目55から62のいずれか一項に記載の方法。
(項目64)
前記1つまたは複数の特定の組織ボリュームが前記識別された標的ボリュームを含む、項目63に記載の方法。
(項目65)
ステップ(f)において、2D断面図の位置が前記ユーザによって調整され得るように、対話型2Dビューアの内部に、前記3D解剖学的画像の前記2D断面図をレンダリングするステップを含む、項目63または64に記載の方法。
(項目66)
ステップ(f)において、前記3D解剖学的画像の対話型3Dビューをレンダリングするステップを含む、項目63から65のいずれか一項に記載の方法。
(項目67)
複数の3D解剖学的画像の各々についてステップ(a)および(b)を遂行して、それぞれが前記複数の3D解剖学的画像のうち1つの内部にある複数の初期のVOIを判定するステップであって、前記初期のVOIのサイズの変動性が前記3D解剖学的画像のサイズの変動性よりも小さい、ステップを含む、項目55から66のいずれか一項に記載の方法。
(項目68)
前記第1のモジュールが、第1の解像度を有する、前記3D解剖学的画像のダウンサンプリングされたバージョンを入力として受け取って、これに対して動作するCNNモジュールであり、前記第2のモジュールが、前記初期のVOIへとクロップされた、前記3D解剖学的画像の、前記第1の解像度よりも高い第2の解像度を有する高解像度バージョンを入力として受け取って、これに対して動作するCNNモジュールである、先行する項目55から67のいずれか一項に記載の方法。
(項目69)
前記第1のモジュールが、前記3D解剖学的画像の少なくとも一部分を入力として受け取り、前記第1のモジュールに対する前記入力によって表される物理ボリュームが、(i)前記初期のVOIによって表される物理ボリュームよりも少なくとも2倍大きく、かつ/または(ii)少なくとも1つの次元に沿って、前記初期のVOIによって表される前記物理ボリュームよりも2倍大きい、項目55から68のいずれか一項に記載の方法。
(項目70)
前記第1のモジュールが、3D解剖学的画像の内部の特定の解剖学的領域のグラフィカル表現を識別するように訓練されたCNNモジュールであり、前記第2のモジュールが、3D解剖学的画像の内部の前記標的組織領域のグラフィカル表現を識別するように訓練されたCNNモジュールである、項目55から69のいずれか一項に記載の方法。
(項目71)
機能的撮像診断法を使用して得られた前記対象の3D機能的画像を前記プロセッサによって受け取るステップであって、前記3D機能的画像に含まれる複数のボクセルが、それぞれ、前記対象の内部の特定の物理ボリュームを表し、また、前記特定の物理ボリュームから放射されて検知された放射線を表す強度値を有し、前記3D機能的画像の前記複数のボクセルの少なくとも一部分が、前記特定の解剖学的領域の内部の物理ボリュームを表す、ステップと、
前記3D機能的画像の内部で、前記3Dセグメント化マスクを使用して識別された前記標的ボリュームに対応する3Dボリュームを識別するステップとをさらに含む、項目55から70のいずれか一項に記載の方法。
(項目72)
前記3D機能的画像のボクセルが、既知の関係によって前記3D解剖学的画像のボクセルに関連づけられている、項目71に記載の方法。
(項目73)
3D画像を自動的に処理して、標的組織領域に対応する前記3D画像の内部の3Dボリュームを識別するためのシステムであって、
コンピューティングデバイスのプロセッサと、
命令を記憶したメモリとを備えるシステムにおいて、前記プロセッサが、前記命令を実行することにより、
(a)解剖学的撮像診断法を使用して得られた前記対象の3D解剖学的画像を受け取るステップであって、前記3D解剖学的画像が前記対象の内部の組織のグラフィカル表現を含む、ステップと、
(b)第1のモジュールを使用して、前記3D解剖学的画像の内部の初期の目的ボリューム(VOI)を判定するステップであって、前記初期のVOIが、前記標的領域を含む特定の解剖学的領域に対応する、ステップと、
(c)第2のモジュールを使用して、前記対象の前記標的組織領域に対応する前記初期のVOIの内部の標的ボリュームを識別するステップと、
(d)前記識別された標的ボリュームに対応する3Dセグメント化マスクを、表示しかつ/またはさらに処理するために、記憶しかつ/または供給するステップとを行う、システム。
この特許または出願のファイルは少なくとも1つのカラー図面を含有している。この特許または特許出願の公刊資料のカラー図面を伴うコピーは、請求して必要な料金を支払えば、官庁によって提供されるはずである。
本開示の、前述の目的、態様、特徴、および利点、ならびに他の目的、態様、特徴、および利点は、添付の図面とともに以下の説明を参照することによって、より明らかになり、よりよく理解されるであろう。
図1は、例示的実施形態による、対象の前立腺に対応する3D画像の内部の3Dボリュームを自動的に識別して、そこにおける放射性医薬品の摂取を表す摂取メトリックを判定するためのプロセスを示すブロック図である。
図2Aは、例示的実施形態による、柔組織のグラフィカル表現を含むCT画像の3Dビューを示す画像である。
図2Bは、例示的実施形態による、骨のグラフィカル表現を含むCT画像の3Dビューを示す画像である。
図2Cは、例示的実施形態による、対象の骨盤骨の内部の前立腺器官に対応する識別された組織ボリュームを表すSPECT画像およびグラフィックスを骨のグラフィカル表現に重ね合わせたものを含むCT画像の3Dビューを示す画像である。
図2Dは、例示的実施形態による、対象の骨盤骨の内部の前立腺器官に対応する識別された組織ボリュームを表すSPECT画像およびグラフィックスを骨のグラフィカル表現に重ね合わせたものを含むCT画像の3Dビューを示す画像である。
図2Eは、例示的実施形態による、SPECT画像を骨のグラフィカル表現に重ね合わせたものを含むCT画像の3Dビューを示す画像である。
図3Aは、例示的実施形態による、3D CT画像の内部の識別された初期の目的ボリューム(VOI)を表すグラフィックスを重ね合わせた3D CT画像の2D断面図をそれぞれが示す画像のセットである。
図3Bは、例示的実施形態による、3D CT画像の内部の識別された初期の目的ボリューム(VOI)を表すグラフィックスを重ね合わせた3D CT画像の2D断面図をそれぞれが示す画像のセットである。
図4Aは、例示的実施形態による、対象のCT画像の2D断面図とCT画像の内部で初期の目的ボリュームとして識別された立方体状の領域とを示す画像のセットである。
図4Bは、対象の骨盤骨および前立腺に対応する識別された組織ボリュームとともに対象のCT画像の2D断面図を示す画像のセットである。
図5Aは、例示的実施形態による、対象のCT画像の2D断面図とCT画像の内部で初期の目的ボリュームとして識別された立方体状の領域とを示す画像のセットである。
図5Bは、対象の骨盤骨および前立腺に対応する識別された組織ボリュームとともに対象のCT画像の2D断面図を示す画像のセットである。
図6Aは、例示的実施形態による、対象のCT画像の2D断面図とCT画像の内部で初期の目的ボリュームとして識別された立方体状の領域とを示す画像のセットである。
図6Bは、例示的実施形態による、3D CT画像の内部の識別された初期の目的ボリューム(VOI)を表すグラフィックスを重ね合わせた3D CT画像の2D断面図をそれぞれが示す画像のセットである。図6Cは、例示的実施形態による、3D CT画像の内部の識別された初期の目的ボリューム(VOI)を表すグラフィックスを重ね合わせた3D CT画像の2D断面図をそれぞれが示す画像のセットである。
図7A~図7Eは、例示的実施形態による、対象のCT画像の内部の骨盤領域に対応する目的ボリューム(たとえばVOI)(VOIは、前立腺および/または骨盤領域の内部の他の組織のより詳細なセグメント化/識別のために第2のCNNモジュールによって後に処理される)を識別するためのCNNモジュールアーキテクチャ(局所化ネットワーク)のブロック図である。 図7A~図7Eは、例示的実施形態による、対象のCT画像の内部の骨盤領域に対応する目的ボリューム(たとえばVOI)(VOIは、前立腺および/または骨盤領域の内部の他の組織のより詳細なセグメント化/識別のために第2のCNNモジュールによって後に処理される)を識別するためのCNNモジュールアーキテクチャ(局所化ネットワーク)のブロック図である。 図7A~図7Eは、例示的実施形態による、対象のCT画像の内部の骨盤領域に対応する目的ボリューム(たとえばVOI)(VOIは、前立腺および/または骨盤領域の内部の他の組織のより詳細なセグメント化/識別のために第2のCNNモジュールによって後に処理される)を識別するためのCNNモジュールアーキテクチャ(局所化ネットワーク)のブロック図である。 図7A~図7Eは、例示的実施形態による、対象のCT画像の内部の骨盤領域に対応する目的ボリューム(たとえばVOI)(VOIは、前立腺および/または骨盤領域の内部の他の組織のより詳細なセグメント化/識別のために第2のCNNモジュールによって後に処理される)を識別するためのCNNモジュールアーキテクチャ(局所化ネットワーク)のブロック図である。 図7A~図7Eは、例示的実施形態による、対象のCT画像の内部の骨盤領域に対応する目的ボリューム(たとえばVOI)(VOIは、前立腺および/または骨盤領域の内部の他の組織のより詳細なセグメント化/識別のために第2のCNNモジュールによって後に処理される)を識別するためのCNNモジュールアーキテクチャ(局所化ネットワーク)のブロック図である。
図7F~図7Jは、例示的実施形態による、前立腺および/または骨盤領域の内部の他の組織の精密なセグメント化のために以前に識別されたVOIを処理するためのCNNモジュールアーキテクチャ(セグメント化ネットワーク)のブロック図である。 図7F~図7Jは、例示的実施形態による、前立腺および/または骨盤領域の内部の他の組織の精密なセグメント化のために以前に識別されたVOIを処理するためのCNNモジュールアーキテクチャ(セグメント化ネットワーク)のブロック図である。 図7F~図7Jは、例示的実施形態による、前立腺および/または骨盤領域の内部の他の組織の精密なセグメント化のために以前に識別されたVOIを処理するためのCNNモジュールアーキテクチャ(セグメント化ネットワーク)のブロック図である。 図7F~図7Jは、例示的実施形態による、前立腺および/または骨盤領域の内部の他の組織の精密なセグメント化のために以前に識別されたVOIを処理するためのCNNモジュールアーキテクチャ(セグメント化ネットワーク)のブロック図である。 図7F~図7Jは、例示的実施形態による、前立腺および/または骨盤領域の内部の他の組織の精密なセグメント化のために以前に識別されたVOIを処理するためのCNNモジュールアーキテクチャ(セグメント化ネットワーク)のブロック図である。
図8Aは、例示的実施形態による、3つの異なる骨盤骨(左寛骨、右寛骨、および仙骨)に、対応する識別された組織ボリュームを表すグラフィックスを重ね合わせた3D CT画像の2D断面図をそれぞれが示す画像のセットである。
図8Bは、例示的実施形態による、3つの異なる骨盤骨(左寛骨、右寛骨、および仙骨)に、対応する識別された組織ボリュームを表すグラフィックスを重ね合わせた3D CT画像の3Dビューを示す画像である。
図9Aは、例示的実施形態による、対象の骨盤骨(左寛骨および右寛骨)ならびに前立腺に、対応する識別された組織ボリュームを表すグラフィックスを重ね合わせた3D CT画像の2D断面図を示す画像である。
図9Bは、例示的実施形態による、対象の骨盤骨、殿筋、直腸、前立腺、および膀胱に、対応する識別された組織ボリュームを表すグラフィックスを重ね合わせた3D CT画像の別々の2D断面図を示す画像のセットある。
図10は、例示的実施形態による、対象の骨盤骨および前立腺に、対応する識別された組織ボリュームを表すグラフィックスを重ね合わせた低品質3D CT画像の2D断面図を示す画像である。
図11は、例示的実施形態による、本明細書で説明されたような前立腺ボリュームの識別のための画像セグメント化が専用モジュールによって遂行される例示のアーキテクチャを示す概略図である。
図12は、例示的実施形態による、CNNベースの画像セグメント化を遂行するためのモジュールの例示のアーキテクチャを示すブロック流れ図である。
図13は、例示的実施形態によるCNNの構造を示すブロック流れ図である。
図14は、例示的実施形態による、補助予測を遂行するCNNの構造を示すブロック流れ図である。
図15は、例示的実施形態による、対象の膀胱と前立腺との間のクロストークを図示する概略図である。
図16Aは、例示的実施形態による、データを解析しかつ/または再検討する対象を選択するためのウィンドウを示す、患者の画像データを再検討するためのグラフィカルユーザインターフェース(GUI)のスクリーンショットである。
図16Bは、例示的実施形態による、患者の画像データの処理を開始したり再検討したりするためのグラフィカル制御要素とともに、データを解析しかつ/または再検討する対象を選択するためのウィンドウを示す、患者の画像データを再検討するためのグラフィカルユーザインターフェース(GUI)のスクリーンショットである。
図16Cは、例示的実施形態による、患者の画像データの処理を開始したり再検討したりするためのグラフィカル制御要素とともに、データを解析しかつ/または再検討する対象を選択するためのウィンドウを示す、患者の画像データを再検討するためのグラフィカルユーザインターフェース(GUI)のスクリーンショットである。
図17Aは、例示的実施形態による、対象のSPECT画像および識別された組織ボリュームを表すグラフィックスを重ね合わせた対象のCT画像の別々の2D断面図をそれぞれが示す画像のセット含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図17Bは、例示的実施形態による、対象のSPECT画像および識別された組織ボリュームを表すグラフィックスを重ね合わせた対象のCT画像の別々の2D断面図をそれぞれが示す画像のセット含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図17Cは、例示的実施形態による、対象のSPECT画像および識別された組織ボリュームを表すグラフィックスを重ね合わせた対象のCT画像の別々の2D断面図をそれぞれが示す画像のセット含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図17Dは、例示的実施形態による、対象のSPECT画像および識別された組織ボリュームを表すグラフィックスを重ね合わせた対象のCT画像の別々の2D断面図をそれぞれが示す画像のセット含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図17Eは、例示的実施形態による、対象のSPECT画像および識別された組織ボリュームを表すグラフィックスを重ね合わせた対象のCT画像の別々の2D断面図をそれぞれが示す画像のセット含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図18Aは、例示的実施形態による、ユーザがSPECT画像層を非表示に切り換える様子を図示する、選択可能な層の表示を切り換えるためのグラフィカル制御要素を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図18Bは、例示的実施形態による、識別された組織ボリュームを表すグラフィックスを重ね合わせた対象のCT画像の別々の2D断面図をそれぞれが示す画像のセット含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図18Cは、例示的実施形態による、識別された組織ボリュームを表すグラフィックスを重ね合わせた対象のCT画像の別々の2D断面図をそれぞれが示す画像のセット含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図18Dは、例示的実施形態による、識別された組織ボリュームを表すグラフィックスを重ね合わせた対象のCT画像の別々の2D断面図をそれぞれが示す画像のセット含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図18Eは、例示的実施形態による、識別された組織ボリュームを表すグラフィックスを重ね合わせた対象のCT画像の別々の2D断面図をそれぞれが示す画像のセット含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図18Fは、例示的実施形態による、識別された組織ボリュームを表すグラフィックスを重ね合わせた対象のCT画像の別々の2D断面図をそれぞれが示す画像のセット含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図19Aは、例示的実施形態による、ユーザが、SPECT画像層を表示に切り換え、セグメント化層を非表示に切り換える様子を図示する、選択可能な層の表示を切り換えるためのグラフィカル制御要素を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図19Bは、例示的実施形態による、対象のSPECT画像を重ね合わせた対象のCT画像の別々の2D断面図をそれぞれが示す画像のセットを含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図19Cは、例示的実施形態による、対象のSPECT画像を重ね合わせた対象のCT画像の別々の2D断面図をそれぞれが示す画像のセットを含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図19Dは、例示的実施形態による、対象のSPECT画像を重ね合わせた対象のCT画像の別々の2D断面図をそれぞれが示す画像のセットを含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図20Aは、例示的実施形態による、対象のSPECT画像を重ね合わせた柔組織のグラフィカル表現を含む対象のCT画像の3Dビューを示す画像を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図20Bは、例示的実施形態による、対象のSPECT画像を重ね合わせた柔組織のグラフィカル表現を含む対象のCT画像の3Dビューを示す画像を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図20Cは、例示的実施形態による、対象のSPECT画像を重ね合わせた柔組織のグラフィカル表現を含む対象のCT画像の3Dビューを示す画像を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図21Aは、例示的実施形態による、対象のSPECT画像を重ね合わせた骨のグラフィカル表現を含む対象のCT画像の3Dビューを示す画像を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図21Bは、例示的実施形態による、対象のSPECT画像を重ね合わせた骨のグラフィカル表現を含む対象のCT画像の3Dビューを示す画像を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図22Aは、例示的実施形態による、対象のSPECT画像を重ね合わせた骨のグラフィカル表現を含む対象のCT画像の3Dビューを示す画像を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図22Bは、例示的実施形態による、対象のSPECT画像を重ね合わせた骨のグラフィカル表現を含む対象のCT画像の3Dビューを示す画像を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図22Cは、例示的実施形態による、対象のSPECT画像および識別された組織ボリュームを表すグラフィックスを重ね合わせた骨のグラフィカル表現を含む対象のCT画像の3Dビューを示す画像を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図22Dは、例示的実施形態による、対象のSPECT画像および識別された組織ボリュームを表すグラフィックスを重ね合わせた骨のグラフィカル表現を含む対象のCT画像の3Dビューを示す画像を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図22Eは、例示的実施形態による、対象のSPECT画像および識別された組織ボリュームを表すグラフィックスを重ね合わせた骨のグラフィカル表現を含む対象のCT画像の3Dビューを示す画像を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図22Fは、例示的実施形態による、対象のSPECT画像および識別された組織ボリュームを表すグラフィックスを重ね合わせた骨のグラフィカル表現を含む対象のCT画像の3Dビューを示す画像を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図23Aは、例示的実施形態による、対象のSPECT画像を重ね合わせた骨のグラフィカル表現を含む対象のCT画像の3Dビューを示す画像を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図23Bは、例示的実施形態による、対象のSPECT画像を重ね合わせた骨のグラフィカル表現を含む対象のCT画像の3Dビューを示す画像を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図24は、例示的実施形態による、対象向けに生成された報告を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図25は、例示的実施形態による、ユーザが、画像と、セグメント化の結果と、摂取メトリックとを再検討して報告を生成する、GUIとのユーザ相互作用のためのワークフローを示すブロック流れ図である。
図26Aは、例示的実施形態による、ユーザが画像をアップロードすることを可能にするGUIウィンドウのビューのスクリーンショットである。
図26Bは、例示的実施形態による、ユーザによってアップロードされた画像のリストを示すGUIウィンドウのビューのスクリーンショットである。
図27Aは、例示的実施形態による、患者のリストを示すGUIウィンドウのビューのスクリーンショットである。図27Bは、例示的実施形態による、患者のリストを示すGUIウィンドウのビューのスクリーンショットである。
図27Cは、例示的実施形態による、選択された患者と、試験データを再検討して報告を生成するための選択肢をユーザに与えるメニューとを示す、GUIウィンドウのビューのスクリーンショットである。
図28Aは、例示的実施形態による、対象のSPECT画像および識別された組織ボリュームを表すグラフィックスを重ね合わせた骨のグラフィカル表現を含む対象のCT画像の3Dビューを示す画像を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図28Bは、例示的実施形態による、対象のSPECT画像を重ね合わせた骨のグラフィカル表現を含む対象のCT画像の3Dビューを示す画像を含むウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図29Aは、例示的実施形態による、判定された摂取メトリックを再検討するためのウィンドウを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図29Bは、例示的実施形態による、品質制御グラフィカルウィジェットを示す、患者の画像データを再検討するためのGUIのスクリーンショットである。
図29Cは、例示的実施形態による、ユーザが、生成された報告に署名することを可能にする、品質制御グラフィカルウィジェットのビューのスクリーンショットである。
図29Dは、例示的実施形態による、生成された報告(たとえば自動生成された報告)を示すスクリーンショットである。
図29Eは、例示的実施形態による、摂取メトリックの自動判定の不承認のユーザ入力に応答して表示された品質制御グラフィカルウィジェットのビューのスクリーンショットである。図29Fは、例示的実施形態による、品質制御の不合格のグラフィカル指示を示す、生成された報告の一部分のスクリーンショットである。図29Gは、例示的実施形態による、摂取メトリックの判定において使用される1つまたは複数の値をユーザが手動で更新することを可能にする、品質制御グラフィカルウィジェットのスクリーンショットである。図29Hは、例示的実施形態による、摂取メトリックの判定において使用される1つまたは複数の値をユーザが手動で更新することを可能にする、品質制御グラフィカルウィジェットのスクリーンショットである。
図30は、例示的実施形態による、画像セグメント化を遂行して、画像の内部の前立腺ボリュームを識別し、摂取メトリックを判定して、クライアントに結果を提供するための、マイクロサービスネットワークアーキテクチャを示すブロック図である。
図31は、例示的実施形態による、画像セグメント化を遂行して摂取メトリックを判定することによって試験を処理するためのクラウドベースのアプリケーションのマイクロサービス間のデータフローを示すブロック流れ図である。
図32は、例示的実施形態による、クラウドベースのアプリケーションとクライアントのマイクロサービス間の通信を示すブロック流れ図である。
図33は、例示的実施形態による、本明細書で説明したシステムおよび方法によって画像セグメント化を遂行して摂取メトリックを計算するためのクラウドベースのアプリケーションを含むクラウドベースのプラットフォームを実施するための例示のアーキテクチャのブロック図である。
図34は、例示的実施形態による、3D画像の内部の3D標的ボリュームを自動的に識別して、そこにおける放射性医薬品の摂取を表す摂取メトリックを判定するためのプロセスを示すブロック図である。
図35Aは、臨床的に重要でない画像と臨床的に重要な画像のスウォームプロットである。図35Bは、本明細書で説明したシステムおよび方法によって計算されるTBR閾値を変化させることに基づいて判定されたROC曲線である。
図36は、ある特定の実施形態において使用される例示的なクラウドコンピューティング環境のブロック図である。
図37は、ある特定の実施形態において使用される例示のコンピューティングデバイスおよび例示のモバイルコンピューティングデバイスのブロック図である。
図38Aは、従来の2次元スライスベースの画像解析ソフトウェアパッケージにおいて使用されるGUIのスクリーンショットである。
図38Bは、CT画像スライスを示す、従来の2次元スライスベースの画像解析ソフトウェアパッケージにおいて使用されるGUIの一部分のスクリーンショットである。
図38Cは、CT画像スライスを示す、従来の2次元スライスベースの画像解析ソフトウェアパッケージにおいて使用されるGUIの一部分のスクリーンショットである。
図39は、例示的実施形態による、AI支援の画像解析のワークフローを示すブロック流れ図である。
図40Aは、例示的実施形態による、SPECT画像/CT画像のアップロードの後に自動解析の完了を指示するGUIウィンドウのスクリーンショットである。
図40Bは、例示的実施形態による、SPECT画像/CT画像のアップロードの後に、自動解析における潜在的誤りと医師の再検討の必要性とを指示するGUIウィンドウのスクリーンショットである。
図40Cは、例示的実施形態による、不完全なデータセットによる、自動解析を完了することの障害を指示するGUIウィンドウのスクリーンショットである。
図41は、例示的実施形態による、患者のリストを示す画像解析GUIウィンドウのスクリーンショットである。
図42Aは、例示的実施形態による、対象の前立腺のSPECT画像データおよびセグメント化を重ね合わせた骨および組織のグラフィカル表現を含む対象のCT画像の2Dスライスビューを示す、患者データを再検討するための画像解析GUIのスクリーンショットである。
図42Bは、例示的実施形態による、対象の前立腺のSPECT画像データおよびセグメント化を重ね合わせた組織および骨のグラフィカル表現を含むCT画像の3Dビューを示す、患者データを再検討するためのGUIのスクリーンショットである。
図42Cは、ある特定の実施形態において、GUIの内部に表示された尤度の重要度スケールを示す、患者データを再検討するためのGUIの一部分のスクリーンショットである。
図42Dは、例示的実施形態による、患者データを再検討するため、および、閲覧者が、半自動的に案内されるやり方で、TBR計算において使用される値を更新することを可能にするためのGUIのスクリーンショットである。
図42Eは、例示的実施形態による、TBR計算において使用される値を更新するための閲覧者入力の後に更新された査定結果を示す、患者データを再検討するためのGUIのスクリーンショットである。
図43Aは、例示的実施形態による、全自動で判定された結果を含む、生成された報告を示すスクリーンショットである。
図43Bは、半自動で判定された結果を含む、生成された報告を示すスクリーンショットである。
図44は、例示的実施形態による、評価できない場合に関して生成された報告を示すスクリーンショットである。
図45Aは、3つのTBR閾値を重ね合わせた、臨床的に重要でない画像と臨床的に重要な画像のスウォームプロットである。
図45Bは、3つの異なるTBR閾値が識別された状態の、本明細書で説明したシステムおよび方法によって計算されるTBR閾値を変化させることに基づいて判定されたROC曲線である。
図45Cは、数人の患者に関するグリーソンスコアの合計および計算されたTBR値を示すグラフである。
図45Dは、いくつかの所定の閾値と比較したTBR値に従って分類された事例のグリーソンスコアを示す表である。
図46は、臨床試験から患者データを評価するのに要した時間を示す、AIに支援された3人の独立した閲覧者に関する3つのヒストグラムのセットある。
図47は、臨床試験データを解析するための本明細書で説明された画像解析手法の一実施形態を使用して得られた結果の一貫性および再現性を明示するグラフのセットある。
図48Aは、AIに支援された3人の独立した閲覧者と3人の独立した手動の閲覧者とによって得られた結果のROC曲線を比較するグラフである。
図48Bは、3人の独立した手動の閲覧者とAIに支援された3人の独立した閲覧者とに関するAUC値を示すヒストグラムのセットある。
図49Aは、第1の手動の閲覧者の結果をAIに支援された閲覧者の結果と比較するデータを示すグラフである。図49Bは、第2の手動の閲覧者の結果をAIに支援された閲覧者の結果と比較するデータを示すグラフである。
図49Cは、第3の手動の閲覧者の結果をAIに支援された閲覧者の結果と比較するデータを示すグラフである。
本開示の特徴および利点は、以下で説明される詳細な説明から図面とともに理解されたとき、より明らかになるはずであり、図面の全体にわたって、類似の参照文字は対応する要素を識別するものである。図面では、類似の参考番号は、一般に、同一の要素、機能的に類似の要素、および/または構造的に類似の要素を指示する。
特許請求された発明のシステム、アーキテクチャ、デバイス、方法、およびプロセスは、本明細書で説明した実施形態からの情報を使用して開発された変形形態および改造を包含することが企図されている。この説明によって企図されるように、本明細書で説明されたシステム、アーキテクチャ、デバイス、方法、およびプロセスの改造および/または修正が遂行され得る。
説明の全体にわたって、用品、デバイス、システム、およびアーキテクチャが、特定の構成要素を有するか、含むか、もしくは備えると説明される場合、またはプロセスおよび方法が、特定のステップを有するか、含むか、もしくは備えると説明される場合、加えて、列挙された構成要素からなる、もしくは本質的になる、本発明の用品、デバイス、システムおよびアーキテクチャがあること、ならびに列挙された処理ステップからなる、もしくは本質的になる、本発明によるプロセスおよび方法があることが企図されている。
ステップまたはある特定のアクションを遂行するための順番は、本発明が動作可能である限り重要ではないことを理解されたい。その上に、2つまたはそれよりも多くのステップまたはアクションが同時に行われてよい。
本明細書の、たとえば背景技術の節における何らかの出版物の言及は、その出版物が、本明細書で提示された請求項のうちいずれかに対する従来技術として働くことを承認するものではない。背景技術の節は明瞭さのために提示されたものであり、いずれかの請求項に対する従来技術の説明を意味するものではない。
明記されたように、文献が参照によって本明細書に組み込まれている。特定の用語の意味に何らかの相違がある場合には、上記の定義の節において与えられた意味が支配する。
閲覧者の便宜のために見出しが設けられているが、見出しの存在および/または配置は、本明細書で説明された主題の範囲を限定するように意図されたものではない。
「放射性核種」は、本明細書で使用されるように、少なくとも1つの要素の放射性同位元素を含む部分を指す。例示の適切な放射性核種は、それだけではないが、本明細書で説明されたものを含む。一部の実施形態では、放射性核種は陽電子放射型断層撮影法(PET)において使用される放射性核種である。一部の実施形態では、放射性核種は単一光子放射型コンピュータ断層撮影法(SPECT)において使用される放射性核種である。一部の実施形態では、放射性核種の非限定的なリストは、99mTc、111In、64Cu、67Ga、68Ga、186Re、188Re、153Sm、177Lu、67Cu、123I、124I、125I、126I、131I、11C、13N、15O、18F、153Sm、166Ho、177Lu、149Pm、90Y、213Bi、103Pd、109Pd、159Gd、140La、198Au、199Au、169Yb、175Yb、165Dy、166Dy、105Rh、111Ag、89Zr、225Ac、82Rb、75Br、76Br、77Br、80Br、80mBr、82Br、83Br、211Atおよび192Irを含む。
「放射性医薬品」という用語は、本明細書で使用されるように、放射性核種を含む化合物を指す。ある特定の実施形態では、診断および/または治療のために放射性医薬品が使用される。ある特定の実施形態では、放射性医薬品は、1つまたは複数の放射性核種で標識された小分子、1つまたは複数の放射性核種で標識された抗体、および1つまたは複数の放射性核種で標識された抗体の抗原結合部分を含む。
「画像」の参照を伴う「3D」または「3次元」は、本明細書で使用されるように、3次元に関する情報を伝えることを意味する。3D画像は、3次元のデータセットとしてレンダリングされてよく、かつ/または2次元表現のセットもしくは3次元表現として表示されてよい。
たとえば対象の3D画像といった「画像」は、本明細書で使用されるように、写真、ビデオフレーム、ストリームビデオなどの任意の視覚表示、ならびに、写真、ビデオフレーム、またはストリームビデオの、任意の電子的類自体、デジタル類自体または数学的類自体を含む。本明細書で説明されたあらゆる装置が、ある特定の実施形態では、プロセッサによって生成された画像または何らかの他の結果を表示するためのディスプレイを含む。本明細書で説明されたあらゆる方法が、ある特定の実施形態では、この方法によって生成された画像または何らかの他の結果を表示するステップを含む。
「対象」は、本明細書で使用されるように、人間または他の哺乳動物(たとえばげっ歯動物(マウス、ラット、ハムスター)、ブタ、猫、犬、馬、霊長類、ウサギ等)を意味する。
薬品を「投与すること」は、本明細書で使用されるように、対象に物質(たとえば造影剤)を導入することを意味する。一般に、たとえば、非経口(たとえば静脈内)、経口、局所的、皮下、腹膜、動脈内、吸入、膣、直腸、鼻、脳脊髄液への導入、または身体区画への点滴注入を含む任意の投与経路が利用され得る。
「フィルタリング機能」または「フィルタ」におけるような「フィルタ」および「フィルタリング」という用語は、本明細書で使用されるように、本明細書で「サブパッチ」と称される、データ(たとえば画像データ、たとえばCNNの層によって計算される値)の入力配列(たとえば多次元配列)の局所に対して動作して、所与のサブパッチに対して応答値を計算する機能を指す。一般に、配列に対する複数の応答値を計算するために、フィルタは、配列にわたって、スライディングウィンドウのやり方で適用される。詳細には、所与の多次元配列に関して、配列のサブパッチは、特定のサイズ(たとえば配列と同一の次元数を有する)を有する配列の長方形領域であり得る。たとえば、6×3×3の配列については、所与の3×3×3のサブパッチは、6×3×3の配列の中に5つの別個の3×3×3のサブパッチがあるように、配列の隣接した値(たとえば近傍)の所与の3×3×3のセットを指すものである(各パッチが第1の次元に沿って位置を1つシフトされる)。
たとえば、フィルタリング機能は、サブパッチの値を使用して、配列の所与のサブパッチに対して応答値を計算することができる。フィルタリング機能は、配列の複数のサブパッチの各々について応答値を計算するのに、配列にわたってスライディングウィンドウのやり方で適用され得る。計算された応答値は、応答値と入力配列のサブパッチとの間の位置の対応が維持されるように、出力配列に記憶され得る。
たとえば、第1のステップにおいて、フィルタは、入力配列のコーナーのサブパッチから始めて、第1の応答値を計算して、出力配列の対応するコーナーに第1の応答値を記憶することができる。ある特定の実施形態では、次いで、第2のステップにおいて、フィルタは、入力配列の特定の次元に沿って位置を1つシフトされ、第2のサブパッチに対する第2の応答値を計算する。第2の応答値は、出力配列の対応する位置、すなわち出力配列の同一の次元に沿って1つシフトされた位置に記憶され得る。サブパッチの位置をシフトし、応答値を計算して、出力配列の対応する位置に応答値を記憶するステップは、全体の入力配列に対して、入力配列の各次元に沿って繰り返され得る。ある特定の実施形態(たとえばストライドされるフィルタリング手法(strided filtering approach))では、フィルタが応答値を計算するサブパッチは所与の次元に沿って1度に1つよりも多くの位置をシフトされ、入力配列のすべての可能性のあるサブパッチについて応答値が計算されるわけではない。
「畳み込みニューラルネットワーク」(CNN)という用語は、本明細書で使用されるように、少なくとも1つの層が1つまたは複数のフィルタリング機能を遂行するタイプの人工ニューラルネットワークを指す。「畳み込み層」という用語は、本明細書で使用されるように、入力配列を入力として受け取って出力配列を計算するCNNの層を指し、出力配列の値は、入力配列に1つまたは複数のフィルタを適用することによって計算される。詳細には、畳み込み層は、ある特定の実施形態では、n+1の次元を有する入力配列を入力として受け取って、これもn+1の次元を有する出力配列を生成する。CNNのフィルタリング層によって作用される第1のnの次元の入力配列および出力配列は、本明細書では「空間次元」と称される。入力の(n+1)番目の次元は、本明細書では「入力チャネル」の次元と称される。入力チャネルの次元のサイズは、本明細書では「入力チャネルの数」と称される。出力の(n+1)番目次元は、本明細書では「出力チャネル」の次元と称される。入力チャネルの次元のサイズは、本明細書では「出力チャネルの数」と称される。
ある特定の実施形態では、畳み込み層は、サブパッチに対して動作するフィルタを適用することによって応答値を計算し、サブパッチは、空間次元に沿って入力配列よりも小さいが、全出力チャネルの次元にわたって及ぶ。たとえば、N×M×L×Kのサイズの入力配列は、3つの空間次元およびKの出力チャネルを有する。畳み込み層のフィルタは、N×M×L×Kのサイズを有するサブパッチに対して動作し得、N≦N、M≦MおよびL≦Lである。多くの場合、畳み込み層のフィルタは、N<N、M<Mおよび/またはL<Lのサイズを有するサブパッチに対して動作する。たとえば、ある特定の実施形態では、N<<N、M<<Mおよび/またはL<<Lである。
したがって、畳み込み層によって適用される1つまたは複数のフィルタの各々について、所与のフィルタによって計算された応答値は、対応する出力チャネルに記憶される。したがって、n+1の次元を有する入力配列を受け取る畳み込み層は、これもn+1の次元を有する出力配列を計算し、(n+1)番目の次元は、畳み込み層によって適用される1つまたは複数のフィルタに対応する出力チャネルを表す。このように、所与の畳み込み層によって計算された出力配列は、後続の畳み込み層によって入力として受け取られ得る。
畳み込み層のフィルタに関連した「サイズ」という用語は、本明細書で使用されるように、フィルタが作用するサブパッチの、空間の次元に沿ったサイズを指す(たとえば、出力チャネルの次元に沿ったサブパッチのサイズは出力チャネルの定数と解釈される)。本明細書で使用されるように、「畳み込み層のサイズ」のように、畳み込み層に関連した「サイズ」という用語は、畳み込み層のフィルタ(たとえば畳み込み層の同一のサイズを有する各フィルタ)のサイズを指す。ある特定の実施形態では、畳み込み層のフィルタは、機械学習トレーニングプロセスによって判定された複数の変数パラメータを有する。ある特定の実施形態では、所与のフィルタのパラメータ数は、所与のフィルタが動作するサブパッチの中の値の数と等しい。たとえば、Kの出力チャネルを有する入力配列に対して動作するサイズN×M×Lのフィルタは、N×M×L×Kのパラメータを有する。ある特定の実施形態では、フィルタは配列として実施され、所与のサブパッチに対してフィルタによって判定される応答値は、フィルタと所与のサブパッチとの間の内積として計算される。
「全層畳み込みニューラルネットワーク」(FCNN)という用語は、本明細書で使用されるように、CNNの各層が畳み込み層であるCNNを指す。
「ボリューム」という用語は、本明細書では、CNNの層の入力または出力に関連して使用されるように、CNN層が受け取った入力配列またはCNN層によって計算された出力配列を指す。
「CNNモジュール」という用語は、本明細書で使用されるように、画像(たとえば2D画像、たとえば3D画像)などの所与の入力に対して1つまたは複数の出力値を判定するために特定のCNNを実施するコンピュータ実施プロセスを指す。たとえば、CNNモジュールは、対象の3D画像(たとえばCT画像、たとえばMRI)を入力として受け取って、画像の各ボクセルについて、そのボクセルが、対象の特定の器官または組織の表現に対応する3D画像の領域の内部に存在する尤度を表す値を判定する。CNNモジュールはソフトウェアおよび/またはハードウェアでよい。たとえば、CNNモジュールは完全にソフトウェアとして実施されてよく、または、CNNモジュールのある特定の機能が、特化されたハードウェア(たとえば特定用途向け集積回路(ASIC))によって実行されてもよい。
「組織」という用語は、本明細書で使用されるように、骨(骨組織)ならびに柔組織を指す。
本明細書で説明されたシステムおよび方法は、画像の中に表された特定の器官および/または組織に対応する目的領域を自動的に識別するための、対象の医用画像の自動解析を提供するものである。ある特定の実施形態では、画像を正確にセグメント化するために畳み込みニューラルネットワーク(CNN)モジュールが採用される。ある特定の実施形態では、対象の画像の中の特定の器官および/または組織の正確な自動識別により、判定されるべき特定の器官における放射性医薬品(たとえば放射性標識小分子、たとえば放射性標識抗体、たとえば抗体の放射性標識の抗原結合部分)の摂取を測定する量的メトリックが可能になる。
ある特定の実施形態では、本明細書で説明されたシステムおよび方法により、腫瘍および/または腫瘍転移が存在する可能性がある特定の器官または組織に対応する目的領域の自動識別が容易になる。特定の腫瘍細胞の表面蛋白に対して選択的に結合する、放射性核種で標識された分子は、本明細書で説明された腫瘍の撮像のための手法と組み合わせて利用され得る。たとえば、分子1404は、特に、多くのがん細胞において過剰発現している前立腺特異的膜抗原(PSMA)に結合する。分子1404は、単一光子放射型コンピュータ断層撮影法(SPECT)の撮像において使用するために、99mTcなどの放射性核種で標識され得る。
ある特定の実施形態では、放射性医薬品の摂取メトリックは、対象の病状および予後の査定に関連する。
A.前立腺ボリュームの識別および摂取メトリックの判定
図1に示すプロセス100は、対象の前立腺に対応する3Dボリュームを識別して、そこにおける放射性医薬品の摂取を表す1つまたは複数の摂取メトリックを判定するように3D画像を自動的に処理するためのものである。
図1におけるプロセス100のステップ102および104を参照する。図2の様々なパネルは、骨および柔組織を示すCT画像(図2Aおよび図2B)を図示し、骨盤骨(図2Cおよび図2Dにおける緑色202および青色206)および前立腺(図2Cおよび図2Dにおける紫色204)を強調している。強調された領域は、本明細書で説明されたシステムおよび方法によって自動的に生成されており、骨盤骨および前立腺を識別するものである。図2Eは、CT画像上に重ね合わせたSPECT画像(明るいピンクの領域および紫色の領域252、254、および256)を示す。見られるように、CT画像は詳細な解剖学的情報をもたらすが、SPECT画像における解剖学的/構造的情報はより制限されている。したがって、CT画像をセグメント化し、CT画像のボクセルとSPECT画像のボクセルとの間のマッピングを使用して、たとえば前立腺、膀胱、直腸、および殿筋などの組織の目的ボリュームに対応する、SPECT画像の特定のボクセルを識別することが可能である。
図1におけるプロセス100のステップ106および108を参照する。CT画像の内部の前立腺ボリュームを識別する手法は、最初に第1の機械学習モジュール(たとえばCNNモジュール)を使用して、CT画像の内部の初期の目的ボリュームを識別する。これは、前立腺ボリュームの識別を引き受ける第2の機械学習モジュール(たとえば第2のCNNモジュール)に対する標準化された入力を生成する。第2のCNNモジュールは、骨盤骨、殿筋、直腸、および膀胱など他の組織ボリュームも識別し得る。第1の機械学習モジュールと第2の機械学習モジュールは、単一のモジュールおよび/または単一のソフトウェアアプリケーションとして組み合わせて実施されてよい。第1機械学習モジュールと第2の機械学習モジュールは、たとえば個別のソフトウェアアプリケーションとして個別に実施されてもよい。
ある特定の実施形態では、本明細書で説明されたように、第1の機械学習モジュールによって実施されるCNNのアーキテクチャ(たとえば層のタイプおよび機構)と第2の機械学習モジュールによって実施されるCNNのアーキテクチャは同一であるが、様々な層におけるフィルタの数などのパラメータおよび入力サイズは、2つのCNNの間で異なり得る。加えて、2つのCNNは、異なる機能を遂行するように訓練される。詳細には、第1のCNNは、種々の3D解剖学的画像の内部のたとえば骨盤領域といった特定の解剖学的領域のグラフィカル表現を認識するように訓練される。第2のCNNは、より標準化された入力(初期の目的ボリューム)の内部のたとえば前立腺といった特定の標的組織を認識するように訓練される。このようにして2つのCNNを各様に訓練すると、各CNNを構成するフィルタに、異なった加重値およびバイアスが生成され、各CNNが異なる機能を遂行することが可能になる。
i.境界ボックスの生成(局所化機械)
図3~図5は様々なCT画像の処理の例を提示するものであり、第1に、初期の目的ボリューム(VOI)の識別を示し(パネルA)、第2に、前立腺および骨盤骨のセグメント化を示す(前立腺ボリュームは青緑色のボリュームによって中央に表されている)。これらの例に示されるように、初期のCT画像のサイズは、使用される撮像システム、放射線技師が辿る撮像プロトコール、および他の要因に実質的に依拠し得るが、初期のVOIサイズはかなり標準的である。
たとえば、初期の3D解剖学的画像のサイズは、700mm×700mm×1870mm(深さ×幅×高さ)(すなわち全身スキャン)またはさらに大きいものから、180mm×240mm×290mm(骨盤骨を対象として含むもの)またはさらに小さいものにまで及び得る。本明細書で説明された例では、初期の3D解剖学的画像のテストされたマトリクスの最小サイズは256×256×76ピクセルである。本明細書で説明された例の境界ボックス(たとえば第1のCNNによって識別されるもの)のサイズの範囲は、おおよそ180~220mm×240~320mm×290~380mmである。本明細書で説明された例示の境界ボックスのマトリクスサイズの範囲は、80~220×150~390×50~300ピクセルである。
この例では、第1のCNNを、骨盤領域の境界ボックスを検知するように訓練するための3D解剖学的画像は以下の画像寸法であった。
訓練画像(3D解剖学的画像):
行数:247~512(sp 1.37)、サイズ(mm):340~700
列数:319~512(sp 1.37)、サイズ(mm):430~700
スライス数:274~624(sp 3.0)、サイズ(mm):820~1870
この例では、境界ボックスの検知に関して第1のCNNを確認するための3D解剖学的画像は以下の画像寸法であり、結果として第1のCNNによって識別される境界ボックスの寸法の範囲を伴う。
確認画像(3D解剖学的画像):
行数:256~512、サイズ(mm):500~600
列数:256~512、サイズ(mm):500~600
スライス数:76~427、サイズ(mm):380~1070
境界ボックス:
行数:82~222、サイズ(mm):180~220
列数:146~386、サイズ(mm):240~320
スライス数:50~295、サイズ(mm):290~380
以下は、初期の3D解剖学的画像から、前立腺を詳細に識別するために後続の処理で使用する骨盤領域用の境界ボックス(直方体)を自動的に生成するための3つの例示の手法である。
第1の手法では、第1のCNNは、グレースケールCT画像(1つの入力チャネル)を入力として受け取って、境界ボックスの向かい合ったコーナーの座標を出力する。
第2の手法では、グレースケールCT画像が閾値適用によって処理され、骨盤領域の大まかな識別を伴う閾値適用された画像を生成する。この第2の手法では、第1のCNNは、グレースケールCT画像と閾値適用された画像との2つの入力チャネルを受け取る。第2のCNNは、境界ボックスの向い合ったコーナーの座標を出力する。
第3の手法では、第1のCNNは基本的に第2のCNNの粗いバージョンであり、すなわち、第1のCNNは前立腺、骨盤骨、および仙骨(および背景)を識別する。境界ボックスは、識別された骨盤骨を使用して(たとえば骨盤骨に適合する最も小さいボックスを取り出すか、または恐らくいくらかのバッファ距離を加えることによって)生成される。これの相違は、第1のCNNの出力が単に直方体の頂点の座標ではないことである。この手法では、尤度値は、たとえば、ボクセルがたとえば前立腺、左骨盤骨/右骨盤骨、仙骨、または背景であるかどうかといった、ボクセルが分類される様子に関する尤度を示す画像の各ボクセルについて、自動的に判定される。
この第3の手法の1つの例示的実施形態では、局所化ネットワークとセグメント化ネットワークはよく似ている。局所化ネットワークは、大いにダウンサンプリングされた画像において左骨盤骨、右骨盤骨、仙骨および背景(全部で4つのクラス)をセグメント化する。境界ボックスは、骨盤骨のこの粗いセグメント化に基づいて生成される。次いで、セグメント化ネットワークは、この境界ボックスの内部の骨盤骨、前立腺および背景を、より高い解像度でセグメント化する。局所化CNNとセグメント化CNNは同一のアーキテクチャを有する。差異は、必要とされる入力形状にあり、局所化ネットワークが画像をサイズ(81、68、96)にサイズ変更し、セグメント化CNNが(局所化ネットワークからの出力としての)骨盤の画像をサイズ(94、138、253)にサイズ変更する。畳み込みフィルタの数も異なる。セグメント化ネットワークには第1の層に20の畳み込みフィルタがあるが、局所化ネットワークには8つしかない。本明細書の流れ図で示されたように、後続の層のフィルタのサイズおよび数がスケーリングされる。この方法は、局所化ネットワークの後に境界ボックスを生成するために、第1のセグメント化のコーナーを見いだし、そのまわりにマージンを伴って正方形を取り出す。局所化ネットワークに対する入力画像は、より低い解像度にダウンサンプリングされているために小さいものであるが、セグメント化は、CT画像のクロップされたバージョンを元の解像度で処理する。
図6Aは手法1の例を示す。図6Bおよび図6Cは、手法1と手法3との間の比較を示す。
図7A~図7Eは、本明細書で説明された第1のCNNネットワークの例示のアーキテクチャ700を示す。CNNモジュールのアーキテクチャ(局所化ネットワーク)は、対象のCT画像の内部の骨盤領域に対応する目的ボリューム(たとえばVOI)を識別するために使用される(VOIは、前立腺および/または骨盤領域の内部の他の組織のより詳細なセグメント化/識別のために、後に、第2の機械学習モジュール(たとえば第2のCNNモジュール)によって処理される)。
ii.前立腺ボリュームおよびその他の組織ボリュームの判定(単一のセグメント化機械)
図7A~図7Jは、本明細書で説明された第2のCNNネットワークの例示のアーキテクチャ750を示す。前述のように、第2のCNNは、前立腺ボリュームならびにその他の様々な組織ボリュームを識別するようにVOIに対して動作する。その他の組織ボリュームには、左/右の骨盤骨、仙骨、膀胱、殿筋、および直腸が含まれ得る。(たとえばボクセルが前立腺または背景として単純に識別される)2項分類の遂行とは対照的に、複数の組織ボリュームを識別することによって分類手法の精度が改善される。
図8Aは、左骨盤骨(青色の806)、右骨盤骨(黄色の802)および仙骨(赤色の804)を2Dで示し、図8Bは同じものを3Dで示す。
図9Aは、左骨盤骨(赤色の902)、右骨盤骨(黄色の906)および前立腺(青色の904)を示す。
図9Bは、左骨盤骨および右骨盤骨(2つの薄緑色の領域952および956)、前立腺(暗緑色の958)、膀胱(緑がかったベージュの960)、直腸(茶色の962)、および殿筋(青色の964および赤色の966)のセグメント化を示す。
図10はセグメント化が作動中の低品質CT画像を示す。
iii.セグメント化モジュールのアーキテクチャ
データの入出力
図11が示す例示のアーキテクチャ1100では、クライアントに対面するモジュール(Pioneer Web 1102)から画像を処理する(たとえば本明細書で説明されたようなセグメント化を遂行する)ようにとの要求を受け取るセグメント化サービスモジュール1104によって、本明細書で説明されたような画像セグメント化が遂行される。
図11に示された特定の例のアーキテクチャ1100は、本明細書で説明した画像のセグメント化および解析のシステムおよび方法の一実施形態、詳細にはPioneerと称されるクラウドベースのソフトウェアアプリケーションにおいて使用されるものである。Pioneerは、MIP-1404のSPECT画像データ/CT画像データを使用して前立腺における前立腺がんの査定および特性指摘を支援するためのソフトウェアデバイスである。このソフトウェアは、人工知能を使用して、画像データを別個の解剖学的領域へと自動的にセグメント化し、次いで目的の体積領域(ROI)を解析するものである。Pioneerは、臨床的に重要な前立腺がんの存否の判定を支援するために、ROIから量的データを抽出する。
図11に示されたアーキテクチャおよびモジュール構成ならびにPioneerに関して本明細書で説明された他のアーキテクチャおよびモジュール構成は、他の撮像診断法および/または他の放射性医薬品とともに使用するように適合され得る。たとえば、SPECT撮像とともに使用するのに適切な種々の放射性医薬品は、本明細書では、以下の節Mにおける「造影剤」で説明されている。対象における放射性医薬品の摂取を撮像するために、様々な3D機能的撮像診断法が、それだけではないがCT撮像などの3D解剖学的撮像診断法と組み合わせて使用されてもよく、本明細書でPioneerに関して説明された手法の適合されたバージョンによって解析され得る。たとえば、放射性医薬品の摂取を撮像するために、PET撮像などの様々な核医学撮像診断法が使用され得る。PET撮像は、PET画像およびCT画像を含む画像セット(CT/PET画像)を得るために、SPECT撮像のように、CT撮像と組み合わせて遂行され得る。したがって、Pioneerに関して本明細書で説明された手法、およびCT画像/SPECT画像は、CT画像/PET画像とともに使用するようにも適合され得る。PET撮像とともに使用するのに適切な様々な放射性医薬品も、以下の節Mの「造影剤」で説明される。
再び図11に移って、図11に示されるように、Pioneerは、要求を扱うためにSimple Notification Service(SNS)およびSimple Queue Service(SQS)メッセージが利用されるアマゾンウェブサービスを使用するクラウドベースのサービスとして実施される。セグメント化サービス1104は、専用のSQSキューに関する要求をリッスンする。Pioneerウェブ1102において生じたイベントは専用のSNSトピック「Pioneerイベント」1106に公開される。並列非同期処理を可能にするために、SNSメッセージがトピックに送られ、次いで複製されて複数のアマゾンSQSキュー、1108a、1108b(セグメント化サービスはこれらの消費者である)にプッシュされるように、ファンアウトパターンが使用され得る。
セグメント化サービス1104は、要求側(たとえばPioneerウェブ1102)によって提供された、ローカルファイルシステムのデータセットにリンクしている、ソースのユニフォームリソースロケータ(URL)から、入力データ(たとえば画像データ)をダウンロードしてよい。ある特定の実施形態では、入力データは、CT画像および3D機能的画像など、SPECTスキャンなど、事前処理された3D解剖学的画像を含む。3D解剖学的画像および3D機能的画像とともに、画像メタデータも含まれ得る。
ある特定の実施形態では、CT画像およびSPECT画像は、システムに関して確立された特定の要件を満たす解像度を有する。たとえば、×方向およびy方向における1.0~2.2mmの解像度範囲およびz(スライス)方向における1.0~5.0mmの解像度範囲を有するCT画像が使用され得る。ある特定の実施形態では、全方向において2.9~4.8mmの解像度範囲を有するSPECT画像が使用される。
セグメント化サービス1104は、本明細書で説明されたように、特定のCT画像における前立腺ボリュームおよび任意のその他の組織のボリュームを識別するための画像セグメント化を遂行してから、記憶および/またはさらなる処理(たとえばGUIにおける表示、たとえば摂取メトリックの計算)のために、特定のCT画像の内部の前立腺ボリュームを識別するセグメント化出力データを提供する。ある特定の実施形態では、セグメント化サービス1104に対して発行される要求は、セグメント化出力データの記憶ロケーションを規定するターゲットURLを含む。したがって、セグメント化サービス1104は、要求の中に含まれたターゲットURLにセグメント化出力データをアップロードし得る。
セグメント化出力データが含み得るセグメント化マスクセットなどのデータは、本明細書で説明した第2の機械学習モジュールによって判定されるように、3D解剖学的画像(たとえばCT画像)の各ボクセルを、特定の組織領域または背景に対応するものとして識別する。セグメント化マスクセットは、それぞれの特定の組織領域について、その特定の組織領域に属するものとして分類されたCT画像のボクセルを識別する対応するセグメント化マスクを含んでよく、またはこのマスクを判定するように使用されてよい。たとえば、セグメント化マスクセットは、異なる特定の組織領域または背景を識別する異なる数的な標識で標識されたボクセルとともに、.tiled.pngフォーマットで記憶されてよい。様々な組織領域に対する標識の例示のセットが以下に示され、背景として識別されたボクセルは0で標識される。
{‘prostate’: 1,
‘gluteus_maximus_left’: 2,
‘gluteus_maximus_right’: 3,
‘rectum’: 4,
‘urinary_bladder’: 5,
‘sacrum_and_coccyx’: 6,
‘hip_bone_left’: 7,
‘hip_bone_right’: 8
ある特定の実施形態では、セグメント化マスクセットは、前立腺ボリュームおよび基準ボリューム(たとえば左殿筋)を識別し、すべての他のボクセルを背景として標識する。
ある特定の実施形態では、セグメント化出力データにはセグメント化マスクのメタデータも含まれる。セグメント化マスクのメタデータは、各方向におけるボクセルの数(たとえば行数、列数、およびスライス数)およびボクセルの間隔など、処理された特定の画像に関する情報を記憶するために使用され得る。
ある特定の実施形態では、セグメント化サービス1104はまた、識別された前立腺ボリュームおよび基準ボリュームなどのセグメント化の結果、および3D機能的画像(たとえばSPECT画像)のボクセルの強度を使用して定量化を遂行する。この定量化は、本明細書では、たとえば以下の「摂取メトリック」という名称のサブセクションにおいてより詳細に論じられる。たとえば、本明細書で説明されたように、セグメント化サービス1104は、対象に関する標的の背景に対する比(TBR)の値を計算するのに使用するために、背景値とともに前立腺の最大強度ボクセルを識別し得る。前立腺の最大強度ボクセルは、識別された前立腺ボリュームに対応する3D機能的画像のボクセルのセットの内部の最大の強度を有するものと識別されたボクセルである。ある特定の実施形態では、本明細書で説明されたように、識別された前立腺ボリュームに対応する3D機能的画像のボクセルは、対象の膀胱からのクロストーク(ブリードとも称される)を補正され、前立腺の最大強度ボクセルは、膀胱のクロストークに対する補正の後に識別される。TBR値を判定するために使用される背景値は、3D解剖学的画像の内部の対象の左殿筋に対応するボリュームなどの基準ボリュームに対応する3D機能的画像の複数のボクセルの強度にわたる平均値である。本明細書で説明されたように、一般的には、識別された基準ボリュームに対応するすべてのボクセルが背景値を計算するために使用される。
セグメント化サービス1104によって遂行された定量化に対応するデータは、セグメント化出力データに含まれ得る。たとえば、定量化の結果は、以下の.jsonフォーマットの例に示されるように、定量化の結果の辞書に含まれ得る。

“prostate_max”: 988.0,
“prostate_max_pos”: {
“z”: 92,
“y”: 74,
“x”: 67
},
“background”: 9.056859205776174,
上記の例における定量化の結果の辞書のキーは以下の通りである。「prostate_max」は前立腺の最大強度ボクセルの強度を記憶する。「prostate_max_pos」はSPECT画像における前立腺の最大強度ボクセルのロケーションを記憶する。「背景」は背景の値を記憶する。
CNNモジュールの構成および相互作用を含む例示のセグメント化サービスアーキテクチャ
図12は、本明細書で説明されたようなCNNベースの画像セグメント化を遂行するためのモジュールの例示のアーキテクチャ1200を示すものである。例示のアーキテクチャ1200は、初期のVOIを識別するための第1の機械学習モジュール(図12では「局所化機械」と称される)1204と、本明細書で説明されたような前立腺ボリューム、その他の組織ボリューム、および基準ボリュームを識別するための第2の機械学習モジュール(図12における「ベースの単一セグメント化機械」の略記で「SingleSegMachine」(base)と称される)1208とを含む。第1および第2の機械学習モジュールの入力および出力も、補助の機械学習モジュール(図12では「補助の単一セグメント化機械」の略記でSingleSegMachine(aux)と称される)1212と、第2の機械学習モジュール(ベースの単一セグメント化機械)の出力と任意の補助の機械学習モジュール(補助の単一セグメント化機械)の出力とを合併させて後処理を遂行するためのモジュール1214とを含むいくつかの追加モジュールとともに示されている。図12に示されるモジュール構成によって生成された出力は、3D解剖学的画像(たとえばCT画像)における様々な組織ボリュームを識別するセグメント化マスクセット1216と、セグメント化メタデータ1218とを含む。
本明細書で説明されたように、第1の機械学習モジュール1204は、CT画像1202を入力として受け取って、対象の骨盤領域に対応する初期のVOIを識別する境界ボックスを生成する。第2の機械学習モジュール1208は、CT画像1202とともに初期のVOIを入力として受け取る。第2の機械学習モジュール1208は、初期のVOIにクロップマージンを加えて(たとえば、初期の境界ボックスのまわりにマージンを加えて境界ボックスを拡大して)、補助の機械学習モジュールにクロップ終点を供給してよい。本明細書で説明されたように、第2の機械学習モジュール1208は初期のVOIの内部の前立腺ボリュームを識別する。第2の機械学習モジュール1208は、左殿筋、膀胱、ならびに左寛骨および右寛骨など、対象の内部のその他の組織領域に対応するその他の組織のボリュームも識別し得る。対象の左殿筋に対応する組織ボリュームは、本明細書で説明されたように、たとえば、対象に関するTBR値を判定する際に背景値を計算するための基準ボリュームとして使用され得る。対象の膀胱に対応する組織ボリュームは、たとえば本明細書の節Bにおける「膀胱強度のブリードスルーに対する補正」で説明されているように、膀胱のクロストークに対してSPECT画像のボクセルの強度値を補正するために使用され得る。対象の左寛骨および右寛骨に対応する識別された組織ボリュームは後処理のために使用され得る。
ある特定の実施形態では、本明細書で説明されたように、第2の機械学習モジュール1208に加えて、第2の機械学習モジュールと類似のやり方で画像セグメント化を遂行して前立腺ボリュームおよびその他の組織ボリュームを識別する(たとえば図12の1208および1212に示されるような)1つまたは複数の補助の機械学習モジュール1212を使用することによって性能が改善され得る。補助の機械学習モジュールによって識別されたこれらの補助組織ボリュームは、第2の機械学習モジュール1208を使用して識別された基底組織ボリューム(前立腺ボリュームおよび任意のその他の組織のボリューム)と、モジュール1214によって合併されてよい。
ある特定の実施形態では、第1および第2の機械学習モジュールおよび任意の補助の機械学習モジュールが、訓練されたCNNモジュールとして実施される。それぞれの訓練されたCNNモジュールは、モデル構造および重みを有する関連する訓練されたニューラルネットワークを備えるディレクトリとして(たとえばコンピュータコードによって)表され得る。このようにして訓練されたCNNモジュールを表すために、Kerasなどのニューラルネットワークライブラリが使用され得る。特定のCNNモジュールを表す辞書は、画像が特定のCNNモジュールに入力として供給される前に画像に対して遂行される何らかの前処理を記述するメタデータを含み得る。ニューラルネットワークモデルがどのように構築されて訓練されたかを記述するメタデータも含まれ得る。
したがって、特定のCNNモジュールは、(1)画像ファイル名および画像メタデータを所与として、画像をロードして前処理するステップ、(2)(たとえば特定のCNNモジュールを表すディレクトリに含まれるものとして)関連する訓練されたニューラルネットワークによって未処理の予測出力(たとえば、CT画像の1つまたは複数のボクセルの各々について、そのボクセルが、訓練されたニューラルネットワークによって判定されるような特定のカテゴリに属する尤度(たとえば確率)を含むマップ)を得るために、前処理された画像を供給するステップ、および(3)未処理の予測出力を後処理するステップなどのステップを遂行してよい。本明細書で説明されたように、第1の機械学習モジュール1204は、その関連する訓練されたニューラルネットワークが生成した未処理の予測出力を後処理して、初期のVOIに対応する境界ボックスのクロップ終点を判定してよい。第2の機械学習モジュール1208は、その関連する訓練されたニューラルネットワークによって生成された未処理の予測出力を後処理して、CT画像のボクセルを標識するセグメント化マスクセットを判定してよく、このセグメント化マスクセットは、第2の機械学習モジュールによって判定されるように、ボクセルが対応する特定の組織ボリュームを指示する値(たとえば数値)またはボクセルを背景として識別する値を伴う。
図13には、第1の機械学習モジュール(図12の局所化機械)1204のCNNモジュールの実装形態の例示のモデル構造が示されている。図14には、第2の機械学習モジュール(図12の単一セグメント化機械)1208のCNNモジュールの実装形態の例示のモデル構造が示されている。
例示の第1の機械学習モジュール(局所化機械)の実装形態
本明細書で説明されたように、第1の機械学習モジュールが識別する初期のVOIは、たとえば、前立腺、膀胱、直腸、左殿筋および右殿筋などの組織領域とともに対象の骨盤骨を含む、対象の骨盤領域に対応するCT画像の領域を識別する「境界ボックス」である。第2の機械学習モジュールならびに任意の補助の機械学習モジュールは、境界ボックスの識別(たとえばクロップ終点)を与えられることにより、全体のCT画像に動作して処理しなければならないのとは対照的に、小さい特定のCT画像の標的領域に処理を限定することができる。これによって、計算集約的で精細なセグメント化を遂行するこれらの機械学習モジュールは、処理するべきデータ量が低減されることにより、性能および効率が改善する。
本明細書で説明されたような手法3による第1の機械学習モジュールの例示の実装形態では、図12の局所化機械1204は局所化CNNと称され、その関連する訓練されたニューラルネットワーク(CNN)によって遂行されたCT画像の粗いセグメント化から、境界ボックス(初期のVOIの識別)を抽出する。
ある特定の実施形態では、局所化CNNは、CT画像を前処理して、セグメント化に向けて準備する。前処理ステップおよびパラメータを規定するために構成ファイルが使用され得る。前処理は、CT画像をクロップして周囲の空気に対応する1つまたは複数の領域を除去するステップ、CT画像におけるボクセルの強度を正規化するステップ、および(たとえば局所化CNNが予期する固定された入力サイズに準拠するサイズ変更されたCT画像を生成するために)CT画像のサイズを変更するステップなどを含み得る。強度正規化の前処理ステップは、CT画像のすべてのボクセルにわたって強度の特定の平均値および標準偏差を生成するために、CT画像のボクセルの強度を調整する。たとえば、CT画像のボクセル強度は、すべてのボクセルにわたる平均強度が特定の平均値(たとえば0)になってすべてのボクセルにわたる強度の標準偏差が特定の標準偏差値(たとえば1)になるCT画像を生成するために、第1の固定値を差し引いてから第2の固定値で割ることによって正規化され得る。サイズ変更ステップは、CT画像をサンプリングすることによって遂行され得る。
局所化CNNは、前処理されたCT画像を入力として受け取り、これを図13に示されるような一連の層に通す。局所化CNNの出力は、たとえば第1のセグメント化マスクセットによって表される粗いセグメント化であり、第1のセグメント化マスクセットは、前処理されたCT画像のボクセルを、(i)仙骨および尾骨、(ii)左寛骨、(iii)右寛骨といった特定の組織領域を表す3つのカテゴリと、(iv)背景(たとえば他のものすべて)といった第4のカテゴリとの4つのカテゴリのうちの1つに属するものとして分類する。この粗いセグメント化は、局所化CNNによって生成された未処理の予測マップから得られるものである。未処理の予測マップは、入力として受け取られる前処理されたCT画像のボクセルと同一のセットであって同一の形状を有するが、4つのチャネルで受け取られる。各チャネルが、(i)仙骨および尾骨、(ii)左寛骨、(iii)右寛骨、ならびに(iv)背景といった特定の分類カテゴリに対応する。各チャネルが、対応する分類カテゴリに関する確率マップを表す。すなわち、特定の分類カテゴリに対応するそれぞれの特定のチャンネルは、前処理されたCT画像の各ボクセルについて、ボクセルがその特定のカテゴリ(たとえば、カテゴリが表す組織領域の内部の物理ボリュームを表すか、または背景を表す)に属する確率を表す尤度値を含む。したがって、各ボクセルについて、各チャネルにおいてそのボクセルに関する尤度値にわたる合計は1である。
各ボクセルを特定のカテゴリに属するものとして分類する第1のセグメント化マスクセットを判定するために、前処理されたCT画像の各ボクセルは、そのボクセルに関して最大の尤度値(たとえば確率)を有するカテゴリ(たとえば組織領域または背景)に割り当てられる。判定された第1のセグメント化マスクセットは、前処理されたCT画像と同一の形状を有し、このセットによって標識される各ボクセルは、それが属すると分類されるカテゴリを識別する値を有する。たとえば、特定のボクセルは、前述のように、カテゴリ(i)、(ii)、および(iii)に対応する1、2、または3などの数値で標識されてよく、または背景ボクセルとして分類される場合には値0で標識されてよい。
初期のVOIを識別する境界ボックスは、第1のセグメント化マスクセットから、カテゴリ(i)~(iii)に属するものとして標識されたすべてのボクセルを含む最も小さいボックス(たとえば長方形ボリューム)として判定され得る。境界ボックスを識別する座標(たとえば境界ボックスに対応する長方形ボリュームの向かい合ったコーナーの座標)が判定され、クロップ終点として出力される。ある特定の実施形態では、局所化CNNに入力される前処理されたCT画像が元のCT画像のサイズ変更されたバージョンであり、境界ボックスを識別する座標が元のCT画像の座標系に変換され、クロップ終点として出力される。
例示の第2の機械学習モジュール(セグメント化機械)の実装形態
図12の例示のアーキテクチャでは、ベースの単一セグメント化機械1208(図12のSingleSegMachine(BASE))とも称される第2の機械学習モジュールは、対象の前立腺に対応する前立腺ボリュームを、特定の組織領域に対応する左殿筋および右殿筋、直腸、膀胱、仙骨および尾骨、ならびに左寛骨および右寛骨などその他の組織ボリュームとともに識別するために、CT画像の高解像度のセグメント化を遂行する。
ある特定の実施形態では、CT画像は、第2の機械学習モジュールによって、セグメント化の準備のために前処理される。局所化機械1204と同様に、前処理ステップおよびパラメータを規定するために構成ファイルが使用され得る。前処理ステップは、局所化機械1204に関して、前述の手法と同様に、CT画像の強度を正規化するステップを含み得る。CT画像は、初期のVOI(境界ボックス)を識別するクロップ終点を使用してクロップされてもよく、単一セグメント化機械1208に関連づけられて同機械において実施された訓練されたニューラルネットワーク(訓練されたCNN)に入力として供給する、低減された固定サイズの前処理されたCT画像入力を生成するために、局所化機械1204によって出力される。前処理はサイズ変更するステップも含み得る。
単一セグメント化機械は、局所化機械の局所化CNNと同様に、セグメント化CNNと称される訓練されたCNNを実施し、これは前処理されたCT画像を入力として受け取る。セグメント化CNNは、前処理されたCT画像を一連の層に通して、第2の未処理の予測マップを出力する。第2の未処理の予測マップは、局所化CNNによって生成された未処理の予測マップと同様に、入力CT画像の各ボクセルが分類される別々の特定のカテゴリにそれぞれ対応する複数のチャネルを含む。各チャネルが、対応する分類カテゴリに関する確率マップを表し、前処理されたCT画像の各ボクセルについて、(セグメント化CNNによって判定されたものとして)ボクセルがそのカテゴリに属する確率に対応する尤度値を含む。
前述のように、セグメント化CNNによって出力された第2の未処理の予測マップは、対象の前立腺に対応するチャネルを含む。第2の未処理の予測マップは、左殿筋、右殿筋、直腸、膀胱、仙骨および尾骨、左寛骨、および右寛骨などの様々なその他の組織領域に対応する他のチャネルを含み得る。第2の未処理の予測マップは背景チャネルも含み得る。
高解像度セグメント化CNNのある特定の変形形態は、ネットワークの複数のレベルからの予測を与え、1つのカテゴリにつき複数の確率マップをもたらす。これらの複数の確率マップは補助予測と称される。図13に示されるCNNのモデル構造は補助予測を生成しないモデル構造に対応するものであり、図14に示されるCNNのモデル構造は補助予測を生成するモデル向けである。ある特定の実施形態では、最上層におけるフィルタの数(たとえば図13には20のフィルタがあり、図14には28のフィルタがある)は変化し得るが、後続の下部層におけるフィルタの数は層を下がるごとに倍になる。ある特定の実施形態では、セグメント化CNNは単一の確率マップを生成し、補助予測は生成しない。ある特定の実施形態では、セグメント化CNNは補助予測を生成する。
ある特定の実施形態では、セグメント化CNNが補助予測マップを生成するとき、各カテゴリに関する尤度値は第2の未処理の予測マップに含まれており、特定のボクセルについて各カテゴリに関する単一の尤度値が判定されるように、それぞれの補助確率マップが一緒に平均される。
ある特定の実施形態では、各ボクセルを特定のカテゴリに属するものとして分類する第2の精細なセグメント化マスクセットを判定するために、前処理されたCT画像の各ボクセルは最も高い確率値に割り当てられる。ある特定の実施形態では、前立腺ボリュームおよび基準ボリューム(たとえば左殿筋ボリューム)などのある特定の組織ボリュームのみが精細なセグメント化マスクセットに含まれるように、精細なセグメント化マスクセットにおける標識の数が低減される。
補助の単一セグメント化機械
ある特定の実施形態では、第2の機械学習モジュールによって生成された精細なセグメント化マスクセットと同様に、補助の精細なセグメント化マスクセットを生成するために1つまたは複数の補助の機械学習モジュールが使用される。これら補助の精細なセグメント化マスクセットは、第2の機械学習モジュールによって生成された精細なセグメント化マスクセットと同一の組織ボリュームのセットを識別する。このように、第2の機械学習モジュールがベースの精細なセグメント化マスクセットを生成し、1つまたは複数の補助の機械学習モジュールのそれぞれが補助の精細なセグメント化マスクセットを生成し、それによってCT画像のボクセルに関する分類の並列セットをもたらす。
ある特定の実施形態では、特定の組織領域を表す各カテゴリについて、(たとえばベースの単一セグメント化機械によって判定されたCT画像におけるボリュームを特定の組織領域に対応するものとして識別する)ベースの精細なセグメント化マスクセットの対応するベースの精細なセグメント化マスク、またはベースの精細なセグメント化マスクセットを使用して判定された対応するベースの精細なセグメント化マスクと、1つまたは複数の対応する補助の精細なセグメント化マスク(たとえば、それぞれが、補助の単一セグメント化機械によって判定されたCT画像のボリュームを、同一の特定の組織領域に対応するものとして識別する)とが合併されて、合併された精細なセグメント化マスクを生成する。たとえば、特定のカテゴリについて、1つまたは複数の補助の精細なセグメント化マスクにおけるある特定のボクセルは、特定のカテゴリに属するが、この特定のカテゴリに属するものとして識別されたベースの精細なセグメント化マスクにおけるボクセルのセットには属さないものとして識別され得る(たとえば標識され得る)。これらのボクセルは、最終的な合併された精細なセグメント化マスクを生成するために、ベースの精細なセグメント化マスクにおける特定のカテゴリに属するものとして識別されたボクセルのセットに(たとえばそのように標識されることによって)加えられてよい。たとえば、図12に示されるアーキテクチャでは、ベースの単一セグメント化機械1208がベースの精細なセグメント化マスクを生成し、1つまたは複数の補助の単一セグメント化機械1212のそれぞれが補助のセグメント化マスクを生成する。ベースの単一セグメント化機械1208によって生成されたベースの精細なセグメント化マスクは、各カテゴリ向けの最後の精細なセグメント化マスクを含む最後の精細なセグメント化マスクセット1216を生成するために、モジュール1214によって、補助の単一セグメント化機械1212によって生成された1つまたは複数の補助の精細なセグメント化マスクと合併される。
ある特定の実施形態では、最後の精細なセグメント化マスクのうち1つまたは複数が、最大の接続された部分のみ保存されるようにフィルタリングされる。ある特定の実施形態では、前立腺セグメント化マスク(たとえば、対象の前立腺に対応するCT画像のボリュームを識別する最後の精細なセグメント化マスク)の最大の接続された構成要素のみを保存するためにフィルタリングが遂行されるとき、前立腺セグメント化マスクの接続された構成要素のサブセットが考慮に入れられる。このサブセットに含まれる構成要素は、(i)軸面の左右方向(x方向)において左寛骨の質量中心と右寛骨の質量中心との間に質量中心を有するもの、および(ii)左寛骨および右寛骨をきっかり含有するように定義された境界ボックスの内部のあるもの、のみである。
iv.摂取メトリック
図1におけるプロセス100のステップ110を参照して、1つまたは複数の摂取メトリックが判定され、これから、状態(たとえば前立腺がん)の診断または疾患分類が通知されるかまたは自動的にレンダリングされ得る。3D機能的画像と3D解剖学的画像のVOIの内部で識別された前立腺ボリュームとを使用して、1つまたは複数の摂取メトリックが判定される。たとえば、対象の前立腺における放射性医薬品の量は、3D解剖学的画像のVOIの内部で識別された前立腺ボリュームに対応する3D機能的画像のボクセルの強度値に基づいて計算され得る。これは、対象の前立腺が占有する物理ボリュームを表す3D機能的画像のボクセルの強度の合計(たとえば加重和)、平均値、および/または最大値を計算するステップを包含してよい。ある特定の実施形態では、これは、3D解剖学的画像の内部で識別された基準ボリュームに対応する3D機能的画像のボクセルの強度値に基づいて正規化値を計算するステップを含む。たとえば、前立腺において識別された強度に関する正規化値は、殿筋に対応する1つまたは複数のボクセル、またはVOIの内部の別の基準ボリューム(または、ある特定の実施形態では3D解剖学的画像の内部のどこか他のところ)の強度値を使用して正規化されてよい。次いで、摂取メトリックが、対象における前立腺がんの有無の識別、および/または対象が前立腺がんを有するリスクの定量化、および/または(たとえば疾患を経時的に追跡することの一部分としての)疾患分類に変換され得、医師によって、たとえば治療の選択肢を助言するため、および/または施された療法の効能を監視するために使用され得る。
標的の背景に対する比
ある特定の実施形態では、判定された1つまたは複数の摂取メトリックは、対象に関する、標的の背景に対する比(TBR)の値を含む。TBR値を判定するステップは、(i)3D解剖学的画像(たとえばCT画像)の初期のVOIの内部で識別された前立腺ボリュームに対応する3D機能的画像(たとえばPET画像またはSPECT画像)の1つまたは複数のボクセルの強度値を使用して標的強度値を判定するステップと、(ii)識別された基準ボリュームに対応する3D機能的画像の1つまたは複数のボクセルの強度値を使用して背景強度値を判定するステップとを含む。TBR値は、標的強度値の背景強度値に対する比として計算される。
詳細には、ある特定の実施形態では、標的強度値は、識別された前立腺ボリュームに対応する3D機能的画像(たとえばPET画像またはSPECT画像)のボクセルの強度の最大値である。前述のように、前立腺の最大強度ボクセルは、識別された前立腺ボリュームに対応する3D機能的画像のボクセルのセットの内部の最大の強度を有するものと識別されたボクセルに対応する。そこで、標的値は、前立腺の最大強度ボクセルの強度として得られてよい。背景強度値は、識別された基準ボリュームに対応する、3D機能的画像の複数のボクセルの各強度にわたる平均値として計算され得る。本明細書で説明されたように、左殿筋などの殿筋またはその一部分が、識別された基準ボリュームとして使用され得る。
たとえば、TBR値は、対象に1404などの放射性医薬品を投与した後に記録された対象のSPECT画像/CT画像から計算され得る。SPECT画像は3D機能的画像に対応し、CT画像は解剖学的画像に対応する。本明細書で説明された画像セグメント化手法は、CT画像の内部で、対象の左殿筋に対応する基準ボリュームとともに前立腺ボリュームを識別するために使用され得るものである。前立腺セグメント化マスクおよび左殿筋セグメント化マスクは、それぞれ前立腺ボリュームおよび左殿筋基準ボリュームを識別するために使用され得る。
前立腺ボリュームセグメント化マスクは、本明細書で説明された機械学習セグメント化手法によって対象の前立腺に属するものと分類されたCT画像のボクセルを識別する。ある特定の実施形態では、CT画像の内部の識別された前立腺ボリュームに対応するSPECT画像のボクセルを識別するために、前立腺セグメント化マスクのボクセルがSPECT画像の対応するボクセルにマッピングされる。前立腺セグメント化マスクがCT画像のボクセルを識別するので、これは、(たとえばSPECT画像とCT画像が異なる解像度を有し得るので)SPECT画像からのものと異なる解像度を有する可能性がある。前立腺セグメント化マスクのマップの各ボクセルがSPECT画像の特定の対応するボクセルにマッピングされるように、前立腺セグメント化マスクの解像度をSPECT画像の解像度に一致させるために、補間(たとえば双線形補間)および/またはサンプリングが使用され得る。このように、CT画像の内部で識別された前立腺ボリュームに対応するSPECT画像のボクセルを識別するSPECT前立腺マスクが得られる。CT画像において識別された左殿筋基準ボリュームに対応するSPECT画像のボクセルを識別するSPECT左殿筋マスクは、類似のやり方で得られてよい。
SPECT左殿筋マスクは、背景強度値を判定するために使用され得る。詳細には、SPECT左殿筋マスクによって識別されたSPECT画像におけるボクセルの強度が抽出されて四分値へと分割される。背景値は、抽出された左殿筋ボクセルの、第1の四分値と第3の四分値の範囲に入る強度にわたる平均値として計算される。すべての抽出された左殿筋のボクセル強度にわたる全体の平均値または中央値の計算など、背景値を計算するための他の手法も使用され得る。抽出された左殿筋のボクセル強度を四分値へと分割する前述の手法は、(たとえば強度が離散的であり、多くが同一の値を有するので)全体の平均値を計算するよりも異常値に対してより安定しており、全体の中央値を計算するよりも正確であることが判明した。判定された背景強度値は、たとえばキー「background」の下で出力され、結果の辞書に記憶され得る。
標的強度値はSPECT前立腺マスクを使用して計算され得る。前立腺の最大強度ボクセルは、SPECT前立腺マスクのボクセルとして識別されてよく、最大のSPECT画像強度を有する。標的強度値は、前立腺の最大強度ボクセルの強度として判定される。標的強度値と前立腺の最大強度ボクセルのロケーションとの両方が記憶され得る。たとえば、結果の辞書は、「prostate_max」および「prostate_max_position」などのキーの下で、それぞれ標的強度値および前立腺の最大強度ボクセルのロケーションを記憶してよい。ある特定の実施形態では、たとえば、記憶される最大の強度は最大の補正強度であるように、また、記憶される前立腺の最大強度ボクセルは最大の補正強度を有するSPECT前立腺マスクのボクセルであるように、以下の節Bで説明されるように、識別された前立腺ボリュームに対応するSPECT画像のボクセルの強度は、標的強度値を判定する前に膀胱の「クロストーク」または「ブリード」を補正されてよい。
ある特定の実施形態では、対象の前立腺がんの状態は、対象に関して判定されたTBR値を1つまたは複数の閾値と比較することによって判定され得る。詳細には、臨床的に重要な前立腺がんのある(たとえば臨床的に重要な状態を割り当てられた)患者と臨床的に重要な前立腺がんのない(たとえば臨床的に重要でない状態を割り当てられた)患者とを区別するために、判定されたTBR値が特定の閾値(たとえばカットオフ閾値)と比較されてよい。以下の例4は、所望の感度および特異度を得るために、基準画像から計算されたTBR値に基づいてTBR閾値を判定するための例示の手法を示すものである。
B.膀胱強度のブリードスルーに対する補正
図15は膀胱から対象の前立腺への造影剤強度のクロストークを図示する概略図である。この図では、基準1502は膀胱であり、1506は膀胱からのクロストーク/ブリードの強度であって、1504は前立腺である。PSMA結合剤を含むある特定の造影剤は、膀胱における摂取が大きく、このことが病変組織(たとえば前立腺がん)の識別に影響を及ぼす可能性がある。たとえば、膀胱による、放射性核種で標識されたPSMA結合剤の摂取が、3D機能的画像における散乱をもたらして、膀胱の近くにある前立腺において測定される造影剤強度の精度が低下する可能性がある。対象の前立腺と膀胱の両方の詳細なセグメント化のために第2のCNNを訓練することにより、「ブリードスルー」もしくは「クロストーク」の影響および/または膀胱による造影剤の摂取に起因する他の影響を、自動的かつ正確に明らかにすることが可能になる。その上、第2のCNNを、3D解剖学的画像の内部のたとえば殿筋といった基準領域を識別するように訓練することにより、造影剤の強度測定値をより正確に重み付け/正規化して、対象の前立腺における摂取測定の精度および診断値を改善することが可能になる。
i.膀胱拡張
ある特定の実施形態では、膀胱のクロストーク補正に含まれるステップにおいて、識別された膀胱のボリュームが2つの繰返しを用いて(たとえば形態学的膨張によって)拡張される。この拡張は、(たとえば最大の強度として選択される)TBR値を計算する際に標的強度値を判定するために使用されるセグメント化された膀胱にかなり接近した高い強度を予防するとともに、以下で説明される膀胱抑制手法を安定化するために使用され得る。
ii.膀胱の抑制計算
ある特定の実施形態では、膀胱から機能的画像の他の領域への強度ブリードを除去するために膀胱抑制方法が使用される。抑制の量、すなわち機能的画像の特定のボクセルから除去するべき強度ブリードは、そのボクセルからコア膀胱領域(高強度のボクセルを有する膀胱の領域に対応する)までの距離に依拠するものである。
ある特定の実施形態では、膀胱(たとえば3D解剖学的画像の内部で識別された膀胱ボリュームに対応するもの、たとえば膀胱マスクによって識別されたもの)に対応するものとして識別された機能的画像のボリュームの内部の最大の機能的画像強度が、判定された背景強度値に特定の数を掛けたものよりも大きければ、膀胱抑制が行われる。本明細書で説明されたように、背景強度値は、たとえば殿筋ボリュームといった3D解剖学的画像の内部で識別された基準ボリュームに対応する3D機能的画像のボクセルの強度に基づいて判定されてよい。たとえば、識別された膀胱ボリュームに対応する領域の内部の最大の機能的画像強度が判定された背景値の15倍(たとえば膀胱の背景に対する比が少なくとも15)であれば、膀胱抑制が遂行されてよい。
ある特定の実施形態では、膀胱抑制は、識別された膀胱ボリュームのまわりの特定のサイズの膀胱抑制境界ボックスの内部にある3D機能的画像の一部分から計算され、この部分に適用される。たとえば、特定の方向に所定のサイズ(たとえば垂直方向に40mm)のマージンのある膀胱を含有して、他の方向に同数のボクセルがある膀胱抑制境界ボックスが判定されてよい。
たとえば、3D機能的画像の前立腺に対応する領域をマスクアウトした後に、コア膀胱領域は、境界ボックス(たとえばマスクアウトされた前立腺領域のボクセルは含まない)の内部の最大強度の特定の割合の範囲内の強度を有するボクセルを含む膀胱抑制境界ボックスの内部の3D機能的画像の領域として判定され得る。たとえば、コア膀胱領域は、膀胱抑制境界ボックスの内部の最大強度の50%より大きいかまたはそれと等しい強度を有するボクセルを含む領域として判定され得る。コア膀胱領域は、元の膀胱マスクには含まれていなかった高強度領域を含む可能性がある。
ある特定の実施形態では、膀胱抑制を遂行することにより、膀胱のクロストークに対して3D機能的画像のボクセルの強度を補正するために、1つまたは複数の膀胱強度ブリード関数が判定される。たとえば、膀胱抑制境界ボックスを使用して3D機能的画像がクロップされ、クロップされた画像領域の内部のボクセルの強度から、判定された背景強度値が差し引かれてよい。次いで、膀胱から1つが離れたときどれだけ膀胱強度(たとえば、対象の膀胱の内部の放射性医薬品の摂取に由来する強度)が低下するかを判定するために試料強度が収集される。試料は、コア膀胱領域の上の先端、前の先端、右の先端、および左の先端において始まって、次いで、まっすぐに上、前、右、または左へ、それぞれ一度に1つのボクセルが収集される。クロップされた画像領域のエッジに遭遇した場合には、たとえば以前の2つまたはそれよりも多くの試料から線形外挿法によって外挿された強度が試料として使用されてよい。
強度試料は、膀胱コアから強度が低下する4つの曲線(たとえばサンプリングされた強度データポイントのセット)をもたらし、その各々に、コア膀胱領域からの距離の関数として膀胱強度変化をモデル化する4つの膀胱強度ブリード関数を確立するために、テンプレート関数が当てはめられてよい。当てはめなどのさらなる解析の前に、たとえば、他のものから最も遠く離れた曲線を除去するために異常値除去が遂行されてよい。残りの3つの曲線におけるデータポイントにn次多項式(たとえば5次多項式)などのテンプレート関数が当てはめられて、膀胱強度ブリードをコア膀胱に対する距離の関数としてモデル化する関数がもたらされる。この膀胱強度ブリード関数は、補正強度を得るために、コア膀胱領域に対する距離に依拠して、元の強度からどのくらい引き去るべきかを説明するものである。
ある特定の実施形態では、膀胱強度ブリード関数が膀胱の方向のブリードを過小評価する(ブリードは異なる方向の間である程度変化する可能性がある)リスクを低減するために、サンプリングされた強度データポイントに当てはめる前に、距離に膨張係数(たとえば1から2の範囲でたとえば1.2)が掛けられ、その結果、当てはめられる膀胱強度ブリード関数が伸ばされる。膀胱強度ブリードを過小評価するリスクも、サンプリングされた強度データポイントに換算係数を掛けることによって低減され得る。換算係数は、膀胱の背景に対する強度比に依拠する値を有する可変の換算係数でよい。使用される換算係数は、たとえば膀胱の背景に対する比が十分に大きいとき特定の値を有し、膀胱の背景に対する比が低下するのにつれて(たとえば直線的に)増加するものでよい。たとえば、膀胱の背景に対する比が十分に大きいときにはサンプル強度に係数1.2を掛けてよく、より低い膀胱の背景に対する比向けには、膀胱の背景に対する比15向けの0から直線的に増加する。サンプリングされた強度データポイントに換算係数を掛けるこの手法により、膀胱抑制手法の頑健性も改善される。
ある特定の実施形態では、膀胱抑制の範囲、すなわち膀胱抑制が適用される、膀胱から最も遠い距離は、関数の減衰率が十分に小さいところに基づく。減衰率が十分に小さくならない場合、この距離は強度試料ベクトルの長さに選ばれる。ある特定の実施形態では、すべての距離における膀胱抑制が負にならないことが保証される。
膀胱強度ブリード関数は、一旦判定されると、それぞれの特定のボクセルロケーションについて膀胱強度ブリード値を判定するために、たとえば対象の前立腺の内部のロケーションに対応するボクセルロケーションといった、3D機能的画像の様々なボクセルのロケーションにおいて評価され得る。したがって、特定のボクセルの強度は、特定のボクセルの強度から特定のボクセルのロケーションにおいて判定された膀胱強度ブリード値を差し引くことによって、膀胱クロストークを補正され得る。たとえば識別された(たとえば3D解剖学的画像の内部の識別された)前立腺ボリュームに対応するロケーションといった3D機能的画像の内部の様々なロケーションにおけるボクセルの強度は、このようにして膀胱クロストークを補正され得る。
iii.補正された前立腺の最大強度およびロケーション
本明細書で説明された膀胱抑制手法は、ある特定の実施形態では、3D解剖学的画像の内部で識別された前立腺ボリュームに対応する3D機能的画像のボクセルの強度値を補正するために使用され、TBR値などの摂取メトリックは補正強度値を使用して判定される。
C.画像データおよび計算された摂取メトリックの視覚化
図16Aは、2人の対象(患者)を列記したGUIインターフェースのウィンドウを示すものである。ユーザは、所望の対象を選択して、対象の画像データを処理したり観察したりすることができる。
図16Bは、対象のデータを処理したりナビゲートしたりするためのグラフィカル制御要素を伴う例示的GUIを示し、これはユーザが対象「John Doe」を選択した後に出現する。ユーザは、選択された対象に関する画像データの処理を完了するために選択可能なボタン要素をクリックする。
図16Cにおいて、選択された対象の画像データの処理が完了した後に、ユーザは、処理された画像データを観察するために、別の選択可能なボタンをクリックして摂取メトリックを計算した。
図17A~図17Eには2Dビューアが表示されている。図17A~図17Eは、SPECT画像ならびに識別された組織ボリューム(具体的には前立腺および骨盤骨)を表すグラフィックスを重ね合わされたCT画像データの2D断面図のセットを示すものである。ユーザは、図に示されるように、断面の各スライスを通してスキャンすることができる。
CT画像およびSPECT画像は、オン/オフを切り換えることができる選択可能な層としてレンダリングされる。識別された組織ボリュームを表すグラフィックスも、選択可能なセグメント化層としてレンダリングされる。図18Aでは、ユーザは、CT画像およびセグメント化層のみが表示されるようにSPECT画像層を非表示に切り換える。図18B~図18Fでは、ユーザは各断面を通してスキャンする。
図19Aでは、ユーザは、SPECT画像層を表示に切り換え、セグメント化層を非表示にする。図19B~図19Dでは、ユーザは再び各断面図を通してスキャンし、このときはCT画像およびSPECT画像層のみが表示される。
図20A~図20Cには、SPECT画像データを重ね合わせたCT画像を観察するための回転可能かつスライス可能な3Dビューアが示されており、CT画像は柔組織のグラフィカル表現を含む。
図21A~図21Bも回転可能かつスライス可能な3Dビューアを示すものであるが、CT画像に表示されているのは骨のグラフィカル表現のみである。
図22A~図22Fは、ユーザが画像データと前立腺およびその他の組織領域の自動識別とを検査するためにこの3Dビューアを使用することができる様子を示すものである。ユーザは、図22Bの骨盤領域を注視するためにスライスをめくり、識別されてCT画像上に重ね合わされた前立腺ボリュームおよび骨盤骨ボリュームを色付けされた領域として表すグラフィックスを表示するためにセグメント化層を表示に切り換える。ユーザは、画像をスライスしたり回転させたりして前立腺領域(紫色のボリューム)におけるSPECT画像強度の輝点を観察することができる。
図23Aおよび図23Bに示されたビューアは、コントラストを改善するとともに放射線技師によるスキャンを模倣するために黒背景を伴うものである。
図24は、様々な摂取メトリックを用いた報告(たとえば自動生成された報告)を示すものである。
D.ユーザインターフェース、品質制御、および報告
本明細書で説明されたシステムおよび方法は、ある特定の実施形態では、医師などのユーザ(たとえば放射線技師、技術者)が、患者(対象)の画像をアップロードして、本明細書で説明した手法による自動解析を開始することを可能にする、GUIベースのワークフローの一部分として実施されるものであり、この手法では、前立腺ボリュームが、3D解剖学的画像において識別され、3D機能的画像の対応するボクセルを使用して摂取メトリックを判定するために使用される。次いで、ユーザは、判定された摂取メトリックと、そこから判定された何らかの予後値とを含む、自動解析の結果を観察し得る。ユーザは、品質制御ワークフローを通って導かれ得、自動解析の結果の承認/不承認を選択し、結果が承認された場合には患者向けの報告を生成する。この品質制御ワークフローにより、ユーザは、たとえばGUIとの相互作用によって、自動解析の結果を手動で調整したり更新したりすることができ、手動で更新された結果に基づいて報告を生成することができる。
図25は、ある特定の実施形態においてSPECT画像/CT画像を解析するために使用される例示のワークフロー2500を示すものである。図25に示されるように、ユーザは、2504において、特定の容認された標準フォーマット2502(具体的には図25の例におけるDICOM規格)に準拠するSPECT画像/CT画像をアップロードし得る。図26Aは、2504においてユーザが画像をアップロードすることを可能にするウェブベースのポータルの例示のGUIウィンドウ2600aを示す。図26Bに示す、図26AのGUIウィンドウの更新されたビュー2600bでは、いくつかの画像がアップロード用に選択されて、DICOM規格に準拠することが確認されている。1つの画像がDICOM規格に準拠しないと識別され、2602bに、アップロードできなかったと指示されている。
図25に戻って、別のステップ2506において、ユーザは、画像がアップロードされた患者のリストを観察し得る。図27Aは、匿名化された数的識別子によって患者を列記するGUIウィンドウのビュー2700aを示すものである。図27Bは、図27Aに示されたGUIウィンドウの別のビュー2700bを示すものであり、特定の患者に対応する患者のリストの行が選択のために強調されている。図27Cは、このGUIの別のビュー2700cを示すものであり、この特定の患者に対応する行が選択されると、この特定の患者に対して遂行された試験を列記するメニューが、ユーザが試験に関する画像データを再検討したり報告を生成したりすることを可能にする選択可能なボタンを含めて表示される。
ある特定の実施形態では、ユーザによる画像データの再検討は、画像データを使用して遂行された任意の自動解析結果とともに、報告を生成するための先行条件である。画像セグメント化の精度を確認するために、ユーザによる画像データおよび自動解析の再検討が必要とされることがある。たとえば、図25に示されるように、ユーザは、2506で患者のリストを観察して患者を選択した後に、次のステップ2508において、本明細書で説明されたように患者の画像データおよび自動処理の結果を再検討する。
詳細には、図25に示されるワークフロー2500の再検討ステップ2508において、ユーザは、GUIベースのビューアを使用して、選択された患者に関するSPECT画像データ/CT画像データを診査する。ユーザは、SPECT画像データ/CT画像データを、観察したり診査したりするために、2Dスライスのセットまたは3Dレンダリングとして選択し得る。図28Aに示されたGUIビューア2800のビューでは、SPECT画像データ/CT画像データが2Dスライスのセット2802aとして表示されている。図28Bに示されたGUIベースのビューア2800のビューでは、SPECT画像データ/CT画像データが3Dレンダリング2802bとして表示されている。
図28Aおよび図28Bに示されるように、GUIビューア2800には、SPECT画像とCT画像が、互いに重ね合わされた選択可能な層として表示されている。ユーザは、SPECT画像および/またはCT画像を単独で観察するために一度に1つの層を選択してよく、またはCT画像上に重ね合わせたSPECT画像を観察するためにCT層とSPECT層の両方を選択してもよい。ユーザは、たとえば、CT画像上に重ね合わされたSPECT画像の特徴を強調するように/強調しないように、SPECT画像の不透明度を調整し得る。ユーザは、本明細書で説明されたように第2の機械学習モジュールによってCT画像の内部の識別された様々な組織領域のロケーションを示すセグメント化層を観察してもよい。このように、ユーザは、第2の機械学習モジュールによって遂行された画像セグメント化を、たとえばCT画像層およびセグメント化層の外観検査によって確認してよい。
ユーザは、本明細書で説明した自動画像解析手法によって判定された1つまたは複数の摂取メトリックを観察したり確認したりしてもよい。たとえば、図29Aに示されたGUIビュー2900では、GUIのパネル2902が、患者に関して自動的に判定されたTBR値2904を表示している。パネルには、TBR値が臨床的に重要な前立腺がんに関連するものであることを指示する判定されたTBRベースの分類2906も表示されている。
ある特定の実施形態では、ユーザが判定された摂取メトリックを確認するのを支援するために、識別された前立腺ボリュームのボクセルのロケーションを指示するグラフィカル要素がGUIの内部に表示される。たとえば、本明細書で説明されたように、標的強度値の背景強度値に対する比としてTBR値が計算されるとき、識別された前立腺ボリュームに対応するSPECT画像におけるボクセルの最大強度が識別される。したがって、GUIは、SPECT画像の識別された前立腺ボリュームに対応する他のボクセルと比較して、SPECT画像の識別された前立腺ボリュームに対応する、最大の強度を有するボクセルのロケーションを指示するグラフィカル要素を表示し得る。このように、前立腺ボリュームの内部のロケーションに対応する最大のSPECT強度ボクセルの位置がユーザに表示される。次いで、ユーザは、たとえばCT画像と比較したグラフィカル要素の関係を検査することによって、この最大のSPECT強度ボクセルが、実際に対象の前立腺の内部にあることを視覚的に検証し得る。たとえば、図29Aに示されるように、最大のSPECT強度ボクセルのロケーションを識別する十字マークのグラフィカル要素2950、2952、および2954のセットが、画像ビューアに示された2Dスライス上に重ね合わされている。
図25に戻って、別のステップ2510において、ユーザは、アップロードされたSPECT画像/CT画像を使用して、患者について遂行された解析を要約する報告を生成することを選択してよく、品質制御ワークフローを通って導かれ得る。たとえば、図29Aに示されるように、ユーザはGUIの報告生成ボタン2908を選択してよい(たとえばクリックしてよい)。ユーザが報告生成ボタン2908を選択すると、図29Bに示されるように、品質制御グラフィカルウィジェット2910が表示される。品質制御グラフィカルウィジェット2910は、ユーザを、様々な容認基準が満たされるかどうかを確認するように導き得る。たとえば、品質制御グラフィカルウィジェット2910は、ユーザを、画像要件が満たされていること、およびTBR値を判定するのに使用される標的値および背景値が正確であることを確認するように導く。ユーザは、自動解析の結果を、ボタン2912を選択することによって承認してよく、またはボタン2914を選択することによって不承認としてもよい。
図25に示されるように、品質制御確認のユーザ承認2512の後に、患者に関する報告2532を生成するために、自動査定の結果2514が使用される。図29Cに示されるように、ユーザは、報告を生成する前に、品質制御の承認を確認することを要求するウィジェット2916が提示され得る。図29Dは例示の報告2900dを示すものである。報告は、品質制御を承認して報告2920に署名したユーザの識別とともに、品質制御の基準2918の識別を含み得る。
図25に示されるように、2516において、ユーザが、摂取メトリックの自動判定(たとえばTBR)を不承認とすると、品質制御ウィジェットは、導かれた査定2518のワークフローを開始してよい。導かれた査定のワークフローでは、ユーザは、GUIとの手動の相互作用によって、1つまたは複数の摂取メトリックを判定するのに使用される値を手動で更新し得る。ユーザは、患者に関する画像が、摂取メトリックを正確に判定するためには使用することができないと指示する入力も与えてよく、品質制御ウィジェットによって受け取られてもよい。たとえば、品質制御の不承認に対応するユーザ入力に続いて、図29Eに示されるものなどのGUI要素がユーザに提示されてよい。図29Eに示されるGUI要素2900eにより、ユーザは、ボタン2922を選択することによって、患者向けにTBR値が判定され得ないことを選択すること、またはボタン2924を選択することによって、TBR値を計算するために使用される標的強度値および背景強度値を手動で更新することを選択することが可能になる。
たとえば、ユーザは、(たとえば画像の外観検査によって)画像を、TBR値を正確に判定するために使用するには品質が低すぎると判定した場合には、GUI要素2900eにおけるボタン2922を選択して、この事例を評価できないものと識別し得る。図25に示されるように、2520において、この事例は評価できないとのユーザの識別を受け取るのに続いて、2530において、この事例は評価できないものと印をつけられ、品質制御が不合格とされたものと識別する報告2532が生成される。図29Fは、品質制御が不合格とされたものとして識別するような報告に含まれ得るグラフィックスおよびテキスト2900fの例を示すものである。
ある特定の実施形態では、ユーザは、GUIとの手動の相互作用によってTBR値を判定するために使用される標的強度値および/または背景強度値を更新することを決定してよい。2522において、ユーザが標的強度値および/または背景強度値を更新しようとしていることを指示するユーザ入力が受け取られると、ユーザは、2524における標的値の手動設定および/または2526における背景値の手動設定に導かれる。図29Gは、ユーザに表示された、標的値および/または背景値を設定することを可能にする手動入力のグラフィカルウィジェットのビュー2900gを示す。ユーザは、ボタン2926をクリックして、GUIとの相互作用によって手動で標的強度値を設定し得る。ユーザがボタン2926を選択すると、TBR値を計算する際に最大の強度ボクセルとして使用されるSPECT画像のボクセルを選択することを可能にする、ボクセル選択のグラフィカル要素が提示される。たとえば、ユーザには、SPECT画像およびCT画像における位置決めを可能にする、図29Aに示される十字マークなど可動の十字マークが提供され得る。ユーザは、十字マークを移動させ、かつ/またはビューアの内部のロケーションをクリックして、最大の強度ボクセルとして使用する特定のボクセルを選択し得る。図29Hに示されるように、更新された手動入力のグラフィカルウィジェットのビュー2900hには、更新されたTBR値を計算するための更新された標的強度値として使用される、選択された最大強度ボクセルの強度値2930が示されている。
ユーザは、ボタン2928を選択して、TBR値を計算する際に使用する背景値を設定してもよい。ユーザがボタン2928を選択するとボクセル選択要素が提示され、ユーザは、左殿筋に属するものとして識別する複数のボクセルを(たとえばGUIビューアに表示されたCT画像層および/またはセグメント化層の外観検査に基づいて)選択するように導かれ得る。TBRを計算するための背景強度値が左殿筋の内部の物理的位置に対応するSPECT画像の複数のボクセルの強度にわたる平均値であるので、ユーザは、正確な背景強度値が判定されることを保証するために十分な数のボクセルを選択するように導かれてよい。たとえば、図29Hの手動入力のグラフィカルウィジェットのビュー2900hに示されるように、ユーザが更新の背景強度値を判定する際に使用するボクセルを選択しているとき、複数の試料が背景強度2932の更新された値とともに表示され得る。ある特定の実施形態では、ユーザは、少なくとも所定の数(たとえば100)の試料を選択することを要求され、表示された背景強度値および試料の数2932は、十分な数の試料が選択されたことをユーザに知らせるための可視指示(たとえば発色変化)を含む。
図25に戻って、ユーザが、更新された標的値および/または更新された背景強度値の手動入力を完了すると、更新された値を使用して、更新されたTBR値が計算され、半自動査定2528として記憶される。次いで、半自動査定の結果を使用して報告2532が生成され得る。
E.例示のクラウドベースアーキテクチャおよびサービス構成
本明細書で説明されたシステムおよび方法は、ある特定の実施形態ではクラウドベースのアプリケーションとして実施される。クラウドベースのアプリケーションは、ユーザから入力を受け取って画像データおよび結果を提示するためのインターフェースをもたらす、クライアントと対面するモジュールなどの様々な機能性を実施するために、複数のモジュールを使用し得る。クライアントと対面するモジュールは、次に、本明細書で説明されたように前立腺ボリュームを識別して摂取メトリックを計算するように自動化された画像セグメント化を遂行するためのセグメント化サービスモジュールなど、他のモジュールとインターフェースをとってよい。
図30は、本明細書でクラウドベースのアプリケーションとして説明されたシステムおよび方法を実施するための例示のマイクロサービスネットワークアーキテクチャ3000を示すものである。この特定の例示のマイクロサービスネットワークは、本明細書で説明されたようなPioneerと称される例示のクラウドベースのアプリケーションに使用されるものである。図30の例示のマイクロサービスネットワークアーキテクチャ3000では、マイクロサービスPioneerウェブ3016はクライアントと対面するモジュールであり、(たとえばjavascriptおよびHTMLなどのコード命令にサーブすることによって)クライアント3026に対して記憶画像および解析結果と相互作用するためのインターフェースを提供するものである。図30に示されるように、Pioneerウェブ3016はまた、他のマイクロサービスと通信する。監査サービス3014は、イベントをログし、イベントログをログファイル記憶データベース3012に保存する。Cognito 3020はユーザを記憶し認証する。Authサービス3022はユーザ群およびカスタマ製品登録を追跡する。署名による登録サービス3024は、ユーザが、たとえばクラウドベースのシステムの使用に参加することを可能にするフロントエンドのサービスである。スライスボックス3004は、CT画像などの3D解剖学的画像ならびにSPECT画像およびPET画像などの3D機能的画像を含む、標準化されたDICOMフォーマットの画像ファイルを記憶する。画像は画像記憶データベース3002に記憶される。画像サービス3006は、画像(たとえばDICOMファイル)を読み取って特定の(たとえば好都合な、たとえば標準化された)フォーマットで画像および画像メタデータを記憶する。セグメント化サービス3010は、本明細書で説明されたような自動化された画像セグメント化および摂取メトリック判定を遂行する。セグメント化サービス3010は、画像サービス3006によって準備された画像データをデータ記憶データベース3008から取り出し、画像セグメント化および摂取メトリック判定を遂行して、結果をデータ記憶データベース3008に記憶する。
図30に示されるアーキテクチャは、公的に利用可能なデータセンタを含む種々のデータセンタにおいて、本明細書で説明されたアプリケーションおよびプラットフォームを実施するために使用され得るものである。データセンタは、サーバおよびネットワークの形態のインフラストラクチュアを提供し、たとえばネットワーキング、メッセージング、認証、ロギング、および記憶ためのサービスを提供する。アプリケーション用のアーキテクチャ3000は、マイクロサービスと称される範囲を限定された一連の機能ユニットを使用する。各マイクロサービスは、画像記憶、リスク指数の計算、医用画像タイプの識別、および他のタスクなどタスクの孤立集合を扱う。サービス(たとえばマイクロサービス)は、ハイパーテキスト転送プロトコル(HTTP)などの標準プロトコールを使用して互いに通信することができる。図30のアーキテクチャ3000に示されるように、アプリケーションをマイクロサービスのネットワークへと編成すると、プラットフォームの各部分が、高需要を満たすとともに最小限のダウンタイムを保証するように、個々にスケーリングされ得る。ある特定の実施形態では、そのようなアーキテクチャにより、アプリケーションの他の部分、または他のものとともにアプリケーションを含むプラットフォームに影響を及ぼすことなく、構成要素の改善または交換が可能になる。
図31は、図30に示されたものなどのマイクロサービスネットワークを使用してCT画像/SPECT画像の自動セグメント化および解析を遂行するための、例示のデータフロー3100を示すブロック流れ図である。ユーザによってアップロードされた画像はスライスボックス3110に記憶される。ユーザは、たとえばクライアント3102aによるPioneerウェブ3104aとの相互作用によって、自動化された画像セグメント化および解析を開始するために試験(たとえば患者の画像)の処理を開始してよい。試験の処理は、(たとえば画像のアップロードに続いて、たとえば一定の時間間隔で)自動的に開始されてもよい。図31に示されるように、試験の処理が開始されると、Pioneerウェブ3104aは、自動セグメント化および解析のための画像データの準備(たとえば前処理、たとえばフォーマッティング)を開始するために画像サービス3106と相互作用する。画像サービス3106は、前処理された画像をデータベースS3 3112に保存する。Pioneerウェブ3104aは、(たとえばSQSメッセージを送ることによって)セグメント化サービスによる画像セグメント化および解析を開始する。セグメント化サービス3108は、S3 3112から、CT画像/SPECT画像など、3D解剖学的画像および3D機能的画像を含む画像データを取り込む。セグメント化サービス3108は、本明細書で説明されたように、3D解剖学的画像の内部で前立腺ボリュームを含む組織ボリュームを識別するための画像セグメント化を遂行し、識別された組織ボリュームおよび3D機能的画像を使用して1つまたは複数の摂取メトリックを計算する。自動化された画像セグメント化および摂取メトリック判定の結果はS3 3112に保存される。セグメント化サービスは、結果がうまく得られたかそれとも誤り/例外が生じたかということを指示するコールバックをPioneerウェブ3104aにポストする。Pioneerウェブ3104aは、コールバックを受け取ると、チャネルPubsub
3118上に、試験に関する更新された状態を公開する。複数のPioneerウェブサービス3104aおよび3104bは、試験に関する状態更新を受け取ってクライアント3102aおよび3102bに状態更新を通知してよく、こうすることによってクライアント3102aおよび3102bと相互作用する。
図32は、マイクロサービス間のデータの流れ3200を示すものであり、クライアントが、図31を参照しながら上記で説明されたのと類似のやり方で試験の状態を要求して、試験状態更新の通知を受け得る様子を示す。図32に示されるように、クライアント3202は、Pub/Subチャネル3212を介して状態更新を受け取るPioneerウェブサービスインスタンス3204に試験idを送ってよい。Pioneerウェブには、あらゆるセグメント化サービス3208から、完了した計算(たとえば、本明細書で説明されたように完了した画像セグメント化および摂取メトリック解析)に関するコールバックが入り得る。試験のための完了した計算に関する状態はデータベース3210に保存されてよく、試験に関する更新された状態はPub/Subチャネル3212に送られる。すべてのPioneerウェブインスタンス(たとえば3204および3206)が状態更新を申し込み、相互作用するクライアント3202に状態更新(たとえば試験のための完了した計算の通知)を供給してよい。
たとえば図30および図31に関して上記で説明されたようなある特定の実施形態では、本明細書で説明されたシステムおよび方法の実装形態が含み得る画像サービスモジュールは、たとえば自動化された画像セグメント化および摂取メトリック判定を遂行するセグメント化サービスに対して、適切にフォーマットされた画像データを供給するために、画像データの前処理およびフォーマッティングを遂行する。
画像サービスモジュールは、画像を標準化したりフォーマットしたりするために、3D機能的画像および3D解剖学的画像を含む様々なモダリティからの異なった画像を前処理してよい。たとえば、3D機能的画像(たとえばSPECT画像などの核医学画像)を前処理するステップは、基本的コンプライアンスチェックを遂行するステップと、ボクセル強度値を、標準フォーマット(たとえばDICOM PS3 NM画像IOD)において規定されているように解釈するステップとを含み得る。3D機能的画像のフレームは、頭部から足への順番など、対象に沿った方向に対応する特定の順番に配置されてよい。位置は第1のボクセルの外側コーナーを表すように調整されてよい。さらなる処理に必要となる可能性がある3D機能的画像からの属性も抽出されてよい。
CT画像など3D解剖学的画像の前処理は、基本的コンプライアンスチェックを遂行するステップと、ボクセル強度値を標準フォーマット(たとえばDICOM PS3 NM画像IOD)において規定されているように解釈するステップとを含み得る。3D解剖学的画像のスライスは、頭部から足への順番など、対象に沿った方向に対応する特定の順番に配置されてよい。撮像された患者のまわりの空気に対応する3D解剖学的画像の1つまたは複数の領域を除去するためのクロップする境界も判定されてよい。位置は第1のボクセルの外側コーナーを表すように調整されてよい。さらなる処理に必要となる可能性がある3D解剖学的画像からの属性も抽出されてよい。
図33が示すアーキテクチャ3300は、クラウドベースのアプリケーションが本明細書で説明された画像セグメント化および解析手法を実施する様子を例示するものであり、クライアント/ユーザによって複数の画像解析アプリケーションのために使用され得るクラウドベースのプラットフォームを提供するために、他のタイプの画像解析を遂行するための他のシステムと組み合わされ得る。図33に示されるアーキテクチャ3300は、2つまたはそれよりも多くのアプリケーション間で共用のマイクロサービスのセット3320を含む。左側のパネル3310および右側のパネル3330は2つのアプリケーションにおけるマイクロサービスを示す。マイクロサービスネットワーク3330は、本明細書で説明されたようなPioneerクラウドベースアプリケーションのバージョンを実施して、CT画像/SPECT画像の自動解析と、TBRなどの摂取メトリックの計算と、報告の生成とを提供するものである。左パネルに示されたマイクロサービスネットワーク3310によって実施されるウェブベースのアプリケーションは、aBSIと称され、ガンマカメラで得られる全身スキャンを解析して、自動化された骨スキャンインデックス(BSI)を計算するものである。aBSIおよび自動BSI判定に関するさらなる詳細は、2017年10月10日出願の米国特許出願第15/794,220号に与えられており、その内容の全体が参照によって本明細書に組み込まれる。
F.他の目的標的ボリュームの識別および摂取メトリックの計算
図34に関して、本明細書で説明された手法は他の標的ボリューム(たとえば肺、リンパ節、骨、肝臓)を識別するために使用されてよい。他の画像タイプが使用され得る。3D機能的画像を生成するために様々な放射性医薬品が使用され得る。たとえば、ある特定の実施形態ではSPECT画像用に使用される造影剤は1404であり、ある特定の実施形態ではPET画像用に使用される造影剤はPyLである。一実施形態では、たとえばリンパ節といった組織における疾患(たとえば腫瘍)を検知するために、対象の全身にわたって撮像が遂行される。腫瘍の総数および/またはサイズならびに/あるいは病変組織(たとえばがん)の転移および/または量に関連した別のメトリックが、本明細書で説明した方法を使用して自動的に判定される。たとえば、プロセス3400では、ステップ3402において3D解剖学的画像が受け取られ、ステップ3404において対応する3D機能的画像が受け取られる。3408における第2のCNNによる詳細なセグメント化のために、3406において、初期の3D解剖学的画像の1つまたは複数の小領域を効率的に識別するように第1のCNNが使用されてよく、3410において、全体の造影剤摂取を定量化するため、ならびに/あるいは対象の疾患のレベルおよび/または程度を表す計算されたメトリックを提供するために、対応する3D機能的画像が、識別された1つまたは複数の小領域の内部で解析される。
(実施例1)
G.実施例1:SPECT撮像/CT撮像からの前立腺のPSMA摂取の自動検出および定量化
この例では、前立腺がんの臨床的に重要な疾患を検知するために、前立腺特異的膜抗原(PSMA)の小分子抑制剤である99mTc MIP-1404が使用された。この例の目的は、SPECT画像/CT画像における前立腺のMIP-1404摂取を自動検出して定量化するための深層学習モデルを開発することであった。
CT画像から前立腺および骨盤骨を自動的にセグメント化するための畳み込みニューラルネットワークに基づいて深層学習アルゴリズムが開発された。このアルゴリズムは、手動の相互作用を必要とすることなく、高用量および低用量のCT画像ならびに身体の全体および一部分の視野を処理するように設計されたものである。訓練資料は、関連する解剖学的領域に対して手動で遂行された完全なセグメント化および別個のセグメント化を伴う100の診断用CT画像(すべて男性)からなるものであった。このアルゴリズムは、全員が前立腺全摘出術前にPSMA撮像を経験した危険度の高い102人の前立腺がん患者を含むMIP-1404の第2相試験で確認された。すべての確認スキャンは、OsiriX医用画像ビューア(Pixmeo SARL)を手動で使用して、前立腺の内部で視覚的に判定された最大の摂取値を有するスライスおよび領域に配置された円形のROIにおける最大の摂取を測定することによって定量化された。この自動化アルゴリズムは、前立腺のすべてのボクセルにおける摂取を測定するために自動化アルゴリズムの体積セグメント化を使用するものであり、最大の摂取を記録する。前立腺の摂取の手動定量化と自動定量化との間の一致を査定するためにピアソンの相関係数を使用した。
この訓練資料に基づくアルゴリズムは270万のパラメータを有しており、Adam(勾配降下の変異)を使用して最適化された。テストセットにおいて、過度のCTアーチファクト、不完全なデータ、および/またはデータフォーマットの問題のために、34人の患者(33%、34/102)の1404の画像が除外された。評価できる患者(N=68)の計算時間は、商品ハードウェアに対して(1つの事例ごとに)13秒であった。自動化された最大の摂取値は、前立腺において手動で得られた値に対してかなり相関があった(相関係数=0.95、95%信頼区間=[0.91,0.97];勾配=0.89、95%信頼区間=[0.80,0.98];p<0.0001)。このアルゴリズムは決定性であって完全に自動化され、再現性は100%であった。
この例は、前立腺におけるMIP-1404摂取の客観的かつ自動化された測定の実現可能性を明示するものである。
(実施例2)
H.実施例2:自動セグメント化および摂取メトリック判定の技術的性能および臨床成績
実施例2は、Pioneerと称される例示のクラウドベースのアプリケーションによって実施される、本明細書で説明した自動化された画像セグメント化および摂取メトリック判定手法の一実施形態の技術的性能および臨床成績の評価を示すものである。Pioneer用のアルゴリズムを生成する仮説を確立するために、健康なボランティア(第1相試験:MIP-1404-1301)と前立腺全摘出術の後に入手可能な病理組織診断データを有する前立腺がん患者(第2相試験:MIP-1404-201)とを含む2つの臨床研究からのMIP-1404のSPECT画像データ/CT画像データが使用された。Pioneerによって生成された、受信者動作特性プロット(ROC)、感度、特異度、正負予測値を、従来の手読みによって得られたものと比較するデータは、PioneerがMIP-1404の画像解釈において放射線技師を支援する有効なツールであり得、それによって前立腺がん患者の評価が容易になることを示した。
i.技術的性能
このアルゴリズムのセグメント化および定量化の性能基準の解析的検証および動機付けは、それぞれOTHA-2262およびOTHA-2263において詳述されているようにあらかじめ定義されていた。総計61の1404のSPECT画像/CT画像および核医学医師から読み取れた医療のための基準が、解析的性能を評価するためのベンチマークとして使用された。すべての手読みは、別々に、技術的性能の容認基準に対して盲検的に行われた。
前立腺セグメント化の性能テストは、0.77の平均ダイスおよび0.012の標準偏差を明示した。片側95%信頼区間の下限点は0.75であり、OTHA-2262における既定の閾値(0.70)よりも大きい。背景(左大臀筋)セグメント化の性能テストは、0.94の平均ダイスおよび0.002の標準偏差を明示した。片側95%信頼区間の下限点は0.94であり、OTHA-2262における既定の閾値(0.80)よりも大きい。
自動化されたPioneerソフトウェアによって予測された合計61の標的ロケーションのうち、人間の熟達者(核医学閲覧者)によって不完全なものと分類されたのは4つ(6.6%)だけであった。この結果は、OTHA-2263の規定(10%の不合格)よりも優れたものであった。
ii.臨床成績
臨床成績の後ろ向きアドホック解析において、14人の健康なボランティア(第1相試験MIP-1404-1301)と前立腺がんを有する105人の対象(第2相試験MIP-1404-201)が、Pioneerを用いる解析のために単一の集団に組み合わされた。MIP-1404-201における、前立腺がんに対する事前の療法を受けた対象は除外された。
CTアーチファクトのある画像または自動解析のための再構成が不可能な画像も除外された。前立腺がんのある61人の対象と14人の健常ボランティアとの合計75人の画像が評価された。
Pioneerの自動査定は、前立腺がんと診察されてMIP-1404のSPECT撮像/CT撮像の後に前立腺全摘出術を経験した患者に関する病理組織診断の真標準に対して評価された。健康なボランティアについては、試験したときの正常なPSAおよび骨盤MRIに基づいて前立腺がんがないと想定された。グリーソンスコアとの相関を査定するためにスピアマンのローが使用された。前立腺における前立腺がんを検知するアルゴリズムの性能を判定するために受信者動作特性(ROC)曲線の下のエリアが採用された。感度および特異度は、ROC曲線からの最適な閾値/カットオフ値から判定された。
1404の画像の自動化された量的査定は、グリーソンスコア(ロー:0.54;p<0.0001)と相関している。このROC曲線は0.80のAUC(95%信頼区間:67~94)を明示した。臨床的に重要な前立腺がんと臨床的に重要でないがんまたは正常な前立腺とを区別する際の、2値のTBRベースの結果に関する最適な閾値は25と判定された。Pioneerは、この閾値を使用して、MIP-1404-1301およびMIP-1404-201の試験からの1404のSPECT画像/CT画像を使用して、臨床的に重要な前立腺がんと臨床的に重要でない前立腺がんまたは正常な前立腺を、75%の感度および80%の特異度で区別した。
したがって、Pioneerは、(i)すべての診断の終点にわたって、より客観的かつより再現可能な読取り性能をもたらすこと、および(ii)たとえば感度、特異度といった重要な診断パラメータに関する点推定(病理組織診断を真標準として使用して、一貫して>70%であることが示された)によって、手読みを改善するものである。
(実施例3)
I.実施例3:1404のCT画像/SPECT画像の自動解析および半自動解析のための例示のクラウドベースソフトウェア
実施例3は、Pioneerと称される、本明細書で説明した自動化された画像解析手法の一実施形態を実施するクラウドベースのソフトウェアプラットホームの例である。Pioneerは、規制基準およびデータ安全基準に従って実施されたクラウドベースのソフトウェアプラットホームであり、ユーザは、1404のSPECT画像データ/CT画像データをアップロードし、ユーザの通常のインターネットブラウザによってアクセスされる2次元や3次元の医用画像ビューアを使用してこれを観察し、TBR値を再検討してエクスポートすることができる。このソフトウェアは品質制御ワークフローも提供するものであり、ユーザは、自動解析の不合格および/または調整といった選択肢を持って解析の品質を査定することができる。
したがって、このソフトウェアは、ユーザの監督の下で目的領域(ROI)を自動的に識別して解析するために人工知能アルゴリズムを採用するものである。Pioneerは、前立腺および背景における摂取に基づく客観的な解析(標的の背景に対する比(TBR))をもたらすために、ROIから画像データを抽出する。多くの場合、前立腺におけるシグナルが膀胱(尿の中に排泄されているMIP-1404)からのシグナルによって不明瞭になるので、このソフトウェアは膀胱をセグメント化して膀胱に関連したシグナルを抑制する能力も内蔵しており、したがって前立腺のシグナルがより正確に測定され得る。
Pioneerの非臨床成績データは、テスト方法の定義を含む検証と確認(V&V)の査定を含む。所定の容認規準は、最低でも現況技術(手動査定)と同等の性能を保証するように設計された。検証は、ソフトウエアユニットテストと、結合テストと、すべてのソフトウェア要件の機能テストを伴うソフトウェアシステムテストとを含むものであった。システムがユーザ要求仕様を満たすことを保証するために確認プロセスが遂行された。V&Vテスト結果は、Pioneerが目的の用途、ユーザ要件およびソフトウェア要件を満たすことを示した。
(実施例4)
J.実施例4:臨床的に重要な所見に関するTBR閾値の選択
実施例4は、患者の前立腺がんの病状を臨床的に重要な分類と臨床的に重要でない分類とに区分するためのTBR閾値が判定され得る様子を示す例である。
適切な閾値を選択するために、SPECT画像/CT画像の2つのデータセットが組み合わされた。第1のデータセットは、1404薬物の第1相試験から得られた健常人の画像を含むものであった。このデータセットは、当初は14の画像を含有していた。本明細書で説明された手法によって画像の内部の前立腺のセグメント化が遂行され、前立腺のセグメント化が明らかに失敗した2つの画像が除外され、12の画像が残った。第2のデータセットは、1404薬物の第2相試験由来の、前立腺がんのある個人の画像を含むものであった。画像は、対象の前立腺全摘出術からの病理組織診断に関するグリーソン分類に基づいて区分された。グリーソンスコアの合計が7またはそれよりも大きければ臨床的に重要であると見なされ、6またはそれ未満であれば臨床的に重要でないと見なされた。このデータセットには、当初は65の画像(臨床的に重要なものが63、臨床的に重要でないものが2)が含有されていたが、全体の骨盤領域をカバーしていない1つの画像と、前立腺のセグメント化が明らかに失敗した1つの画像とが除外され、63の画像(臨床的に重要なものが61、臨床的に重要でないものが2)が残った。
要約すると、臨床的に重要な病状のない14の画像および臨床的に重要な病状を伴う61の画像が使用された。
画像に関するTBR値を計算するために、本明細書で説明された、自動化された画像セグメント化および摂取メトリック判定手法の一実施形態を実施するソフトウェアパッケージ(ctsegパッケージのバージョン1.0.0rcIII)が使用された。
図35Aは、臨床的に重要でない画像(x軸上で6≦)および臨床的に重要な画像(x軸上で≧7)のスウォームプロットを示す。閾値25は、テストデータ上で0.77の感度(ジェフリーズ片側95%信頼区間の下限点は0.67である)、および0.71の特異度(ジェフリーズ片側95%信頼区間の下限点は0.50である)を与える。図35Bは、TBR閾値を変化させることに基づくROC曲線を示す。TBR閾値25の点は、3502(赤い円形マーカ)とマークされている。
図35Aおよび図35Bに示されるように、閾値25は、臨床的に重要な前立腺がんのある患者をそうでない人と区別するための値をもたらした。しかしながら、閾値のすぐ近くにはデータポイントがほとんどないので、感度および特異度の推定は、データにおける小さい不規則変動に対して頑健ではない。より頑健な推定を得るために、それぞれ臨床的に重要でない画像と重要な画像に関するTBR値の対数の分布に対して滑らかな単一モードの密度を推定するように、Rパッケージ「scdensity」が使用された。これから、異なるTBR閾値に関して感度および特異度の推定値が計算されており、表1を参照されたい。
したがって、この例で説明された解析に基づいて、所望の特異度および感度に基づいてTBR閾値25が選択された。相1のデータおよび相2のデータに基づくこれらの予備試験により、自動化法を使用するMIP-1404のSPECT/CTの診断精度の、手読みに対する改善が示された。
(実施例5)
K.実施例5:第3相試験からの画像の、AIを用いる解析
この例は、相3の複数センタ、複数閲覧者の、非盲検試験の状況で、本明細書で説明された人工知能(AI)ベースの画像解析システムおよび方法の一実施形態の使用を明示するものである。詳細には、この例は、「A Phase 3 Study to Evaluate the Safety and Efficacy of 99mTC-MIP-1404 SPECT/CT Imaging and PIONEER as a combination product to Detect Clinically Significant Prostate Cancer in Men with Biopsy Proven Low-Grade Prostate Cancer (proSPECT-A1)」という名称のMIP-1404-3302試験(以下「3302試験」)によって得られた結果を説明するものである。3302試験では、医師が、(SPECT撮像用の)造影剤として99mTC-MIP-1404を使用して得られたSPECT画像/CT画像の解析および解釈に基づいて臨床的に重要な前立腺がんのある対象とない対象を識別するのを支援するために、本明細書で説明された(「PIONEER」と称される)画像解析技術のクラウドベースの実装形態が使用された。本明細書で使用されるように、「1404のSPECT画像/CT画像」および「1404のSPECT撮像/CT撮像」は、それぞれ、SPECT用の造影剤として99mTC-MIP-1404を使用して得られたSPECT画像/CT画像またはそのような画像を得るための撮像プロセスを参照する語句である。
3302試験は、「A Phase 3 Study to Evaluate the Safety and Efficacy
of 1404 SPECT/CT Imaging to Detect Clinically Significant Prostate Cancer in Men with Biopsy Proven Low-Grade Prostate Cancer who are Candidates for Active Surveillance」という名称の第3相試験MIP-1404-33
01(以下「3301試験」)に基づくものである。3301試験は、臨床的に重要な前立腺がんがある対象とない対象を識別するための1404のSPECT撮像/CT撮像の使用も査定する。しかしながら、3301試験では、医師は、PIONEERの支援なしで、従来の手読み手法(本明細書でより詳細に説明する)を使用して診断を遂行する。
この例は、2つの手法によって得られた結果を要約し、3302試験で遂行されたAI支援の診断の結果を3301試験の従来の手読み診断と比較するものである。
要するに、3301試験および3302試験は、病理組織診断結果も入手可能な対象から得られた1404のSPECT画像/CT画像の共通データセットを利用した。3301試験と3302試験のどちらにおいても、臨床的に重要な前立腺がんの状態の有/無すなわち陽性/陰性を割り当てるために、それぞれの対象のSPECT画像/CT画像が解析された。1404のSPECT撮像/CT撮像の感度および特異度を査定して臨床的に重要な前立腺がんを識別するために、1404のSPECT画像/CT画像の解析から得られた結果が、グラウンドトルース病理組織診断結果と比較された。
3301試験では、1404のSPECT画像/CT画像が従来の手読み手法で解析され、医師は、2次元のCT画像およびSPECT画像のスライスを通してスクロールするための標準的な撮像観察ソフトウェアを使用してマーカを手動で位置決めし、目的領域を識別してTBR値を計算した。対照的に、3302試験では、医師は、本明細書で説明したシステムおよび方法の一実施形態を使用してAI支援の再検討を遂行した。詳細には、3302試験のAI支援の手法では、図25に示されたものと類似のワークフローが使用され、医師はPIONEERソフトウェアの助けを借りて画像解析を遂行した。PIONEERソフトウェアは、各画像について、前立腺の3Dセグメント化を全自動で遂行し、初期のTBR値を計算して、初期のTBR値の所定の閾値との比較に基づいて、対象に初期の前立腺がんの状態を割り当てた。PIONEERソフトウェアによって実施され、図26A~図29Hに関して上記で説明された、GUIの若干修正されたバージョンによる再検討のためのこの自動解析の結果が、医師に提示された。医師は、全自動解析の結果を容認するかまたは不合格とし、標的および/または背景値を更新し、半自動のやり方でTBRを再計算するために、GUIを使用することができた。
以下で詳細に説明されるように、3302試験において使用されたAI支援の手法の結果は、3301試験の従来の手読み手法よりも正確であることが判明した。その上に、主観的な人間の判断に頼ることを低減するか、または実質的に解消することにより、3302試験のAI支援の手法は、高度に一貫した再現可能な結果を迅速にもたらし、医師は大多数の場合において全自動解析を承認するのみであった。
i.3301試験、試験の母集団、撮像、および手読みプロトコール。
3301試験は、複数センタ、複数閲覧者の非盲検試験であった。3301試験は2015年12月に開始された。3301試験は2017年12月に登録および再調査を完了した。結果の解析は本明細書に含まれている。
3301試験の目的は、3+4またはそれ未満の合計グリーソンスコアの病理組織診断の所見があり、かつ/または積極的監視の候補である、診断用の経直腸超音波(TRUS)ガイド下生検を受けたことがある男性の臨床的に重要な前立腺がんを検知するために1404のCT撮像/SPECT撮像を査定することである。
対象の2つの集団が登録された。「集団A」と称される第1の集団は、低悪性度~中悪性度の前立腺がんであることが生検で証明された(すなわち生検で3+3または3+4の合計グリーソンスコアを割り当てられた)、積極的監視の候補であったが前立腺全摘出術(RP)を受けることが決定した男性であった。「集団B」と称される第2の集団は、非常に低リスクの前立腺がんであることが生検で証明された、定期的な積極的監視の一部として定期的再生検を受ける予定の患者であった。
試験目的は、(1)臨床的に重要な前立腺がんのない(たとえば3+4またはそれ未満の合計グリーソンスコアの)対象を識別するための1404のSPECT撮像/CT撮像の特異度と、(2)臨床的に重要な前立腺がんのある(たとえば3+4よりも大きい合計グリーソンスコアの)対象を識別するための1404のSPECT撮像/CT撮像の感度とを評価することであった。
すべての登録された対象が、20±3mCi(740±111MBq)99mTC-MIP-1404の1回量を注射され、注射後3~6時間後にSPECT撮像/CT撮像および全身2次元撮像によって1404のSPECT撮像/CT撮像が遂行された。治療手順の基準に従って、対象は、試験薬物投与後の42日以内に随意のRP手術(集団A)または前立腺生検(集団B)を受け、その後に検体が組織学的に査定された。各患者のグラウンドトルース前立腺がんの状態を確立するために、前立腺検体(集団A)または生検材料(集団B)に対して病理組織診断が遂行された。主要な病理学者は、撮像結果を含むすべての臨床データを知らされていなかった。
従来の手読み手法を使用して画像が解析された。このようにして遂行された画像解析および診断は、以下で「単独」とも称される。単独解析は、ほとんどの病院において一般に見られるような、たとえば、この場合はMIM Software Inc.のMIMvistaといった従来のSPECT撮像/CT撮像ワークステーションソフトウェアを使用して遂行された。図38Aは、従来の単独ワークフローで使用されるようなMIMvista GUIのスクリーンショットを示すものである。単独ワークフローでは、画像閲覧者(たとえば医師または技術者)はCT画像およびSPECT画像を2Dスライスとして観察した。図38Aに示されるように、CTスライスのセット3802a、3802b、および3802cが、対応するSPECT画像スライス3804a、3804b、および3804cとともに示されている。閲覧者は、CT画像スライス(たとえば3802a)の中に前立腺を(たとえば手動で)配置した。次いで、閲覧者は、SPECT画像における最大の摂取スライスを識別するために、最大の摂取をとらえるように、スライスを通して手動でスクロールした。閲覧者は、この最大の摂取スライスを識別すると、目的領域を識別するために、図38Bに示されるように、CT画像における対応するスライスの中に固定サイズの円形マーカ3806を(手動で)配置した。次いで、この目的領域における(すなわち円の内部の)最大の摂取が記録された(MIMvistaなど従来のソフトウェアは、この数値を、平均摂取など他の値とともに表示するのみである)。
図38Cに移って、閲覧者は背景値を判定するために類似の手順を遂行した。閲覧者は、目的領域3808を識別するために前立腺の近くの閉鎖筋に円形マーカを配置し、この領域における摂取の平均値を背景値として記録した。次いで、最大の摂取値の背景値に対する比としてTBRが計算された。特に、この従来の手法では、自動の3Dセグメント化は遂行されなかった。代わりに、閲覧者は、CT画像スライスの内部の2次元目的領域を最終的に識別するためにSPECT画像/CT画像をスライスごとに診査した。加えて、PIONEERシステムを使用して行われるように背景値を判定するための基準組織として殿筋を使用するのとは対照的に、基準組織領域として閉鎖筋が使用された。
3301試験では、3人の独立した、盲検化された医師の閲覧者が、判定されたTBR値に基づいて1404のSPECT画像/CT画像を解析して、それぞれの対象に、前立腺がんの臨床的に重要な状態/臨床的に重要でない状態のいずれかを割り当てた。主要な病理組織診断の評価は、病理組織診断結果と比較した画像ベース解析の結果とともに、1404のSPECT撮像/CT撮像の診断性能を査定するためのグラウンドトルースとして使用された。
ii.3302試験
3302試験は3301試験に基礎を置き、同一の患者集団および画像データを使用するが、本明細書で説明されたAI支援の画像解析手法の性能を評価して、臨床的に重要な前立腺がんを検知するものである。詳細には、3302試験は、3301試験から得られたデータセット(SPECT画像/CT画像および病理組織診断)の解析に基づいてあらかじめ定義された後ろ向き試験である。3301試験のように、また本明細書で説明されたように、主要な病理組織診断の評価が、性能の査定のためのグラウンドトルースとして使用された。3302試験の2つの主要終点は、
・臨床的に重要な前立腺がんを検知するための組合せ製品としての99mTc-MIP-1404とPIONEERの、前立腺全摘出術(集団A)または前立腺生検(集団B)のいずれかの後の病理組織診断と比較されたときの特異度と、
・臨床的に重要な前立腺がんを検知するための組合せ製品としての99mTc-MIP-1404とPIONEERの、前立腺全摘出術(集団A)または前立腺生検(集団B)のいずれかの後の病理組織診断と比較されたときの感度とである。
使用された特定のワークフロー、解析プロトコール、および3302試験のAI支援の手法の性能を3301試験の単独手動手法と比較した結果が、本明細書で説明される。
iii.AI支援の画像解析ワークフロー
3302試験におけるPIONEERの支援を伴う画像の解析は、品質制御のバージョンおよび本明細書で(たとえば図25に関して)説明された報告ワークフローを使用して遂行された。図39は、3302試験において使用された特定のワークフロー3900のブロック流れ図を示すものである。示されるように、技術者が、PIONEERソフトウェアによる初期の自動解析をアップロードして開始するためのステップの群3902を遂行し、その後に、医師が、解析を再検討して品質制御の各ステップおよび報告ワークフロー3904を遂行した。
技術者は、1404のSPECT画像データ/CT画像データをアップロードし、撮像要件が満たされていることを保証することを担った。次いで、自動解析が開始され、図40A~図40Cに示されるように解析GUIのウィンドウによって提示される3つの結果のうち1つをもたらす。図40Aは、自動解析が首尾よく完了して(たとえば医師による)画像再検討のための準備ができたことを指示するように使用される解析GUIのウィンドウのスクリーンショットを示す。図40Bは、自動解析が解析誤差のために完了しなかったことを指示する解析GUIのウィンドウのスクリーンショットを示し、この場合、解析を完了するために、医師が遂行する手動の案内が使用される(そのような場合も再検討の準備ができているものと見なされた)。図40Cは、不完全なデータのために自動解析が完了せず、撮像問題の補正および/または技術者によるデータの再アップロードが必要であることを指示するように使用される解析GUIのウィンドウのスクリーンショットを示す。
医師は、画像を再検討するために、本明細書で説明されたものと類似のGUIを使用して図39のワークフローを辿った。図41~図44は、医師が画像を解析して診断を遂行するために使用するGUIの様々なウィンドウのスクリーンショットを示すものである。図41は、医師によって再検討されるべき患者のリストを示すスクリーンショットである。医師の閲覧者は、患者のデータを再検討して前立腺がんの状態を割り当てるために特定の患者を選択した。
医師の閲覧者は、患者を選択して自動解析の結果を再検討した。図42A~図42Eは、PIONEERソフトウェアによって遂行された自動解析の結果を再検討するために医師によって使用された解析GUIのビューのスクリーンショットを示すものである。3302試験で使用されたPIONEERソフトウェアにおいて実施された解析GUIは、本明細書で図29A~図29Hに示されて説明されたものに類似である。図42Aは、医師に提示された解析GUIのビューのスクリーンショットである。図42Aのスクリーンショットは、図29Aに示されたビューに類似であり、CT画像データ上にSPECT画像データを重ね合わせた2Dスライスと、前立腺を識別するセグメント化マスクとを表示している。図29Aと同様に、図42AのGUIのビューは、自動的に判定されたTBR値、および本明細書で説明されたようにTBR値と閾値との比較に基づく(たとえば「臨床的に重要」といった)前立腺がんの状態の割り当ても示す。図42Bが示す、図42Aに示されたビューアの別のスクリーンショットは、医師がSPECT画像データ/CT画像データおよびセグメント化マスクの3D体積ビューに切り換えたものである。
図42Aに示されるように、また図42Cにはより詳細に示されるように、3302試験において使用された解析GUIは、対象の結果を、臨床的重要度の4つのカテゴリのうち1つに割り当てる尤度の重症度スケールも含む。詳細には、臨床的に重要であるか否かの2項分類に加えて、対象の前立腺がんの状態が、計算されたTBR値の3つの閾値との比較に基づいて4つのカテゴリのうち1つに割り当てられた。尤度の重症度スケールにおいて、第1の閾値未満のTBR値には「可能性が非常に低い」状態が割り当てられ、第1の閾値またはそれよりも大きく第2の閾値未満のTBR値には「可能性が低い」状態が割り当てられ、第2の閾値から第3の閾値までのTBR値には「可能性が高い」状態が割り当てられ、第3の閾値よりも大きい値には「可能性が非常に高い」状態が割り当てられた。
対象を尤度の重症度スケールのカテゴリに割り当てるために使用された3つのTBR閾値は、図35Aおよび図35Bを参照しながら実施例4で説明されたROC解析を使用して判定されたものである。3つの閾値の各々が、特定の感度値と特異度値の対をもたらすように選択された。以下の表2は表1と同一のデータを示すものであるが、追加のTBR閾値に関する特異度および感度のデータを示すために使われた。図45Aおよび図45Bは、図35Aおよび図35Bに示されたデータを再プロットするものであるが、対象を、指示された尤度の重症度スケールのカテゴリに割り当てるために3つのTBR閾値が使用された。表2ならびに図45Aおよび図45Bに示されるように、第1の小さい閾値として12が選択されて0.95の標的感度をもたらし、第2の中間の閾値として25が選択されて0.75の感度および0.75の特異度をもたらし、第3の大きい閾値として45が選択されて0.9の特異度をもたらした。以下の表3は、これらの3つの閾値の各々に関して、ジェフリーズ片側95%信頼区間(CI)の下限点を示す。

図45Cおよび図45Dは、尤度の重症度スケール上のこれらの閾値および対応するカテゴリが、閾値を判定するために使用された第1相試験のおよび第2相試験の母集団の中の対象の合計グリーソンスコア(2から10の範囲)に関係する様子を示すものである。図45Cおよび図45Dに示された結果は、指示された4つのカテゴリの標識方式を用いた尤度の重症度スケールを示し、これは、後に、図42Aおよび図42Cに示された4つの等価カテゴリに更新された。「陰性」(図42Cに示されたスケールでは「可能性が非常に低い」と称される)のカテゴリ4501は12未満のTBR値に対応する。「多分陰性」(図42Cに示されたスケールでは「可能性が低い」と称される)のカテゴリ4502は12から25までの範囲のTBR値に対応する。図45Aおよび図45Bに示されるように、TBR値に基づいて「陰性」4501および「多分陰性」4502のカテゴリに割り当てられた患者は、一般的には7未満の合計グリーソンスコアを有する。「多分陽性」(図42Cに示されたスケールでは「可能性が高い」と称される)のカテゴリ4503は、25から45までの範囲のTBR値に対応し、7および8の合計グリーソンスコアを取り込む。45を超えるTBR値を有する患者は、「陽性」(図42Cに示されたスケールでは「可能性が非常に高い」と称される)のカテゴリ4504に割り当てられ、一般的には9または10の合計グリーソンスコアを有することになる。
本明細書で以前に説明されたように、医師は、自動査定を承認するか、または全自動の査定を上書きしてTBR計算のために使用された標的(最大の摂取)値および背景値を更新するための選択肢を与えられていた。図42Dは、TBRを計算するために使用された標的値および背景値を更新するために医師によって使用されたGUIビューのスクリーンショットを示す。図42Eに示されるように、医師は臨床的重要度の分類を更新するための選択肢も与えられていた。
図39に示されるように、医師が品質制御ワークフローを完了すると、3903において報告が生成された。図43Aが示す全自動査定によって生成された報告では、医師は、PIONEERソフトウェアの自動解析によって判定されたTBR計算および臨床の重要度状態を承認するのみであった。図43Bが示す半自動解析によって生成された報告では、医師は、ソフトウェアによって支援されたが、標的値および背景値を更新した。図44は評価できない事例に関して生成された報告を示す。
iv.3302試験結果
3302試験では、本明細書で説明されたワークフローによって1404のSPECT/CT画像を解析して、患者の臨床的に重要な前立腺がんの状態の有無を識別するために、(3301試験でデータ解析を遂行した者とは別の)3人の独立した新規閲覧者を使用した。3301試験における464の事例のうち13が、病状の見落とし(3つの事例)または技術的問題(10の事例)のために除外され、3302試験における解析向けに合計451の事例が残った。「AI閲覧者1」と称される第1の閲覧者が451の事例を解析し、「AI閲覧者2」と称される第2の閲覧者が450の事例を解析し、「AI閲覧者3」と称される第3の閲覧者が441の事例を解析した。
図46に示されるように、本明細書で説明されたAI支援の解析手法により、医師は、PIONEERソフトウェアによって生成された全自動査定に主として基づき、各患者の前立腺がんの臨床的な重要度および重症度を迅速に査定することができた。図46のヒストグラムは、各閲覧者が特定の時間内に処理できた事例の数を示すものである。PIONEERソフトウェアの実施形態を使用した閲覧者が3302試験において1つの事例に要した時間は、平均すると3.5分であった。対照的に、3301試験の手読み手法では、各事例について、技術者が、約5~10分を費やして、上記で説明されたように前立腺および背景(閉鎖膜)における目的領域を手動で配置し、その後、放射線技師が、これを評価して症例報告書に書き込むのにさらに5~10分を費やした。したがって、1つの事例ごとに20分程度も費やされていたのが、AI支援の手法によって平均3.5分に短縮され、効率における顕著な改善がもたらされた。
その上に、図47に示されるように、3302試験のAI支援の手法によって画像解析および前立腺がんの状態の診断を遂行すると、高度に一貫した再現可能な結果を得ることができた。結果における一貫性は、別々の閲覧者にわたる結果の類似性を指す。再現性は閲覧者内の変動性を指すものであり、すなわち、一人の閲覧者が解析を繰り返すことによって生成された結果の間の類似性の程度である。
図47におけるグラフのセットは、3302試験のAI支援の手法によって得られた結果の一貫性および再現性を明示するものである。特に、図のヒストグラム4702に示されるように、69%~85%といった大多数の事例が全自動で処理され、医師の閲覧者は、PIONEERシステムによって遂行された2項分類を承認するだけであった。残りの事例は、医師が最大の摂取標的値を更新するために介入して半自動で処理された。
閲覧者が標的値に関する新規の最大強度の画像ボクセルを選択するために介入する主要な理由は、SPECT画像における前立腺領域への膀胱強度流出によるものであった。これは主としてコンプトン散乱によって生じたものと考えられる。PIONEERシステムは、本明細書で説明されたように膀胱流出補正機能を含んでいた。しかしながら、ある特定の事例では(特に、3301試験および3302試験において診査された、前立腺における摂取が小さい軽度の患者集団では)、閲覧者が(たとえば標的ボクセルの自動選別が不正確であると考えて)自動解析に反対し、PIONEERシステムからの支援を用いて標的ボクセルの選択を更新した。
全自動診断によって閲覧者内の変動性および閲覧者間の変動性が解消する(完全に一貫した再現可能な結果が可能になる)ので、全自動の結果が容認された割合が大きいことは注目すべきである。
図4710a、図4710b、および図4710c(総称して図4710)の右側ならびに図4720a、図4720b、および図4720c(総称して図4720)の散布図は、閲覧者にわたる変動性を示す。各プロットは、特定のAI支援の閲覧者によって得られたTBR結果を、内部の基準閲覧者(この人もPIONEERソフトウェアを使用し、3302試験の3人の閲覧者と同一のプロトコールに従った)によって得られたものと比較したものである。各点が事例を表し、y軸の値は内部閲覧者によって計算されたTBR値を与え、x軸の値は特定の閲覧者によって計算されたTBR値を与える。散布図4700は全自動査定によって遂行された事例を示すものであり、完全な相関係数(r=1)によって明示されるように閲覧者間の変動性が解消され、完全に一貫した結果が可能になる。本明細書で説明された半自動のやり方で解析された事例がプロット4720に示されている。散布図および(r=0.95よりも優れている)大きい相関係数は、閲覧者が標的ボクセルの選択を更新するために介入したときさえ高度に一貫した結果が得られたことを示す。したがって、この標的ボクセルの配置は主観的なものであったが、PIONEERシステムの支援により、高度に一貫した結果が可能になった。
3302試験において画像を解析した3人のAI支援の閲覧者の成績が、3301試験からの3人の手動閲覧者の成績とともに、図48Aおよび図48Bに示されている。図48Aは、3302試験の3人のAI支援の閲覧者および3301試験の3人の手動閲覧者の各々に関する受信者動作特性(ROC)曲線を示すものである。ROC曲線は、患者の臨床的に重要な前立腺がんの陽性/陰性の2項分類を遂行するために使用されるTBR閾値を変化させたとき感度および特異度が変化する様子を示すものである。本明細書で説明されたように、病理組織診断は、3301試験と3302試験の両方において、感度および特異度を解析するためのグラウンドトルースとして使用された。以下の表4は、それぞれの特定の事例について、撮像結果が真陽性(TP)、真陰性(TN)、偽陽性(FP)、または偽陰性(FN)のうちどれであったかを判定するために、1404のSPECT撮像/CT撮像の結果を病理組織診断と比較した様子を示すものである。
陽性の前立腺病理組織の診断結果は、MIP-1404のSPECT撮像/CT撮像の後に(i)(集団Aについては)少なくとも1つの前立腺葉における、または(ii)(集団Bについては)前立腺生検における、臨床的に重要な疾患として電子的症例報告書に報告されるものと定義された。集団Aについては、臨床的に重要な疾患の主要な病理組織診断の実験的査定は、
・前立腺の内部の3+4を超える分類のあらゆるグリーソン分類の疾患、
・前立腺の内部の3+4の分類のあらゆるグリーソン分類の疾患で、分類4が10%を上回るかまたはそれと等しい疾患、
・前立腺の内部のステージT3(前立腺がんのステージ評価システムによるpT3)またはそれよりも重症のあらゆる疾患、といった所見のうち少なくとも1つによって支持された。
集団Bの対象が後にRPを受けた場合には、次いで、対象をサブグループ解析のために集団Bに残したまま、前立腺検体から得られた病理組織診断結果が参照基準として使用された。
陽性の撮像査定は、撮像閲覧者の裁定による(すなわち1404のSPECT撮像データ/CT撮像データの評価に基づく)前立腺がんの存在を指示する。
特異度は、病理組織診断で定義された臨床的に重要でない前立腺がんの対象(すなわち3+4またはそれ未満の合計グリーソンスコアを有する対象)の中の真陰性(TN)の割合として定義された。特異度は次式で計算された。
特異度=TN/(FP+TN)
感度は、病理組織診断で定義された臨床的に重要な前立腺がんの対象(すなわち3+4を超える合計グリーソンスコアを有する対象)の中の真陽性(TP)の割合である。特異度は次式で計算された。
感度=TP/(TP+FN)
TBR閾値を変化させると、TP、FP、FN、およびTNの割合が異なったものになり、したがって感度および特異度も異なるものになった。図48Aに示されるROC曲線は、各閲覧者について、TBR閾値を変化させたとき、感度および特異度に結果として生じた変化をプロットしたものである。図に示されるように、すべてのAI支援の閲覧者の曲線が手動閲覧者の曲線の上にあり、AI支援の手法は性能が改善されたことを指示している。その上に、図48Bに示されるように、各閲覧者について曲線下面積(AUC)値が計算され、AI支援の閲覧者の成績は、手動閲覧者の成績と比較して改善されていた(3人の手動閲覧者のうち1人と3人のAI支援の閲覧者のうち1人との間の9つの可能な比較のうち5つについてp<0.05のp値)。加えて、特定のTBR閾値に関して、3302試験のAI支援の手法によって計算されたTBR値をこのTBR閾値と比較すると、臨床的に重要な前立腺がんに対して陽性または陰性の2項分類を遂行する際の高い特異度が与えられた。詳細には、前立腺がんに関する非常に低いリスク、低いリスク、中位のリスクを有する患者について、それぞれ95%、96%、および96%の特異度が21%の感度で見いだされた。
図49A~図49Cは、内部基準閲覧者(3302試験の3人のAI支援の閲覧者は図47においてこの人と比較された)の成績を3301試験の手動閲覧者の各々の成績と比較するものである。図47に示されたデータによって明示されるように、内部基準閲覧者の成績は、3302試験の3人のAI支援の閲覧者と高い相関関係があり、この3人を代表するものである。図49A~図49Cは、AI支援の内部基準閲覧者(図では「PIONEER読取り」と称される)と3301試験のそれぞれの手動閲覧者の間の2項分類(TBR値の閾値との比較に基づく臨床的に重要な疾患に関する陽性/陰性)のための個々のROCモデルを比較するものである。各事例において、手動閲覧者と比較したAI支援の閲覧者のAUCメトリックにおける改善は統計的に有意であった(0.01、0.02、および0.045のp値)。
図49A~図49Cに示されるように、AI支援の内部基準閲覧者に関するAUCは0.66(95% CI:0.61~0.71)であった。ロジスティク回帰は、感度65%(95% CI:61%~70%)および特異度62%(95% CI:58%~67%)で、最適なTBR閾値が14.4であることを指示した。自動化された性能は、手動閲覧者1(AUC 0.63、p=0.0445)、手動閲覧者2(AUC 0.62、p=0.0201)、および手動閲覧者3(AUC 0.62、p=0.0122)よりも大幅に優れていた。加えて、(患者の年齢、体重、およびPSAスコアを考慮に入れた)ベースライン共変量を含む多変数モデルが使用されたとき、3302試験のAI支援の手法の性能が3301試験の手読み手法と比較された。多変数モデルに対して、AI支援の内部基準閲覧者(AUC 0.80)は、臨床的に重要な疾患を手読み手法(AUC 0.77)よりも高い精度で予測することを明示した(p=0.0014)。
したがって、この例は、医師に支援されたPIONEER査定と1404の撮像データとの組合せが、前立腺がんの臨床的重要度を査定する際に、特異度および感度において手動閲覧者に対する著しい改善を表すことを明示するものである。加えて、PIONEERに支援された医師は非常に効率的であり、撮像データを解析するとき、診断の臨床的悪性度に関する有益な情報と併せて、高度に再現可能な結果をもたらす。
(実施例6)
L.実施例6:第1の機械学習モジュール(局所化機械)および第2の機械学習モジュール(セグメント化機械)によって実施された畳み込みニューラルネットワークの訓練および確認
実施例6は、本明細書で説明された態様および実施形態によって前立腺ボリュームを含む様々な組織ボリュームを識別するためにCT画像をセグメント化するのに使用されるCNNモジュールの訓練および確認を示す例である。この例では、ニューラルネットワークは、Tensorflowバックエンドを伴うKerasフレームワークを使用して定義されかつ訓練された。
i.訓練および確認データ
訓練および確認のデータは、(i)前立腺、(ii)膀胱、(iii)直腸、(iv)左大臀筋、(v)右大臀筋、(vi)左寛骨、(vii)右寛骨、ならびに(viii)仙骨および尾骨といった身体部分のすべてまたはいくつかを輪郭づける放射線技師によって補正される半自動セグメント化と結合されたCT画像を含むものであった。
局所化CNNを訓練するために、90の高品質のCT画像が、すべての上記身体部分のセグメント化を伴って使用された。左大臀筋の高解像度セグメント化用にセグメント化CNNを訓練するために、これらのCT画像および同じタイプの10の画像が使用された。前立腺の高解像度セグメント化用にセグメント化CNNを訓練するために、前立腺および膀胱において(疾患による)より多くの解剖的変異がある73のより低品質の画像の追加データセットが使用された。これらの追加画像は前立腺および膀胱のセグメント化とのみ対応させた。これらの73の画像に対して、直腸、左寛骨および右寛骨、ならびに仙骨および尾骨に関する仮標識が生成された。仮標識は、あらかじめ訓練されたネットワーク(100の高品質のCT画像に対して訓練されたネットワーク)を使用して生成された、予測された標識である。仮標識は、訓練の前に手動の標識と合併された。
ii.訓練の構成
各訓練実行は、config.jsonという名の構成ファイルによって定義された。構成ファイルには、(i)どのデータセットを使用するかということ、(ii)データの前処理、(iii)データを訓練および確認のセットへと区分すること、(iv)モデル構造、および(v)訓練のハイパーパラメータ、に関するパラメータが含まれていた。
この構成ファイルは、訓練されたモデルが推論のために使用されるとき、推論中に訓練中と同一の画像前処理が行われることを保証するために使用される。
iii.前処理
構成ファイルは、訓練中に適用される前処理ステップを定義する。いくつかの前処理ステップが含まれていた。局所化訓練のために周囲の空気を除去し、骨盤骨、膀胱、直腸、および前立腺によって画定された境界ボックスをセグメント化のために露出させる、クロップの前処理ステップが遂行された。固定値を引き去り、次いで別の固定値で割ることによって、一定の強度正規化ステップが遂行されたが、これらの値は、平均して画像におけるボクセルの強度が平均強度0および標準偏差1を有するように選択される。画像も、リサンプリングすることによって固定サイズに再形成される。局所化のために、各方向の解像度は、各方向においてメジアン径を有する画像に関して1/4に減少された。高解像度のセグメント化に関して、解像度は、各次元においてメジアン径を有する画像については変化しない。他の前処理ステップには、セグメント化標識のone-hotエンコーディングと、以下の節ivの「最適化」で定義されるようなセグメント化標識の再重み付けと、以下の節ivの「最適化」で定義されるようなデータ拡大とが含まれていた。
いくつかの前処理ステップは訓練を速めるためにオフラインで遂行され、前処理されたデータセットをもたらした。訓練に属するconfig.jsonが定義するのは、オンラインで行われる前処理ステップのみである。
局所化訓練のために、オフライン前処理用の前処理ステップは、訓練されたCNNのディレクトリの中の個別のファイルmeta_data/prep_config.jsonに記憶されている。
iv.最適化
訓練のために使用される損失関数は、(真の標識付けにおける)1つのクラスに一緒に属するすべてのボクセルが、(標識度数がデータセットにわたって中央度数と等しいとき)任意の他のクラスに属するすべてのボクセルと同一の重みを有するように重み付けされた、ボクセルに関する分類別の交差エントロピーである。この手法はクラスのバランスをとるものであり、前立腺がたとえば背景と比較して非常に小さいので、前立腺のセグメント化に重要である。
損失は、およそ2000~3000のエポックに対してAdam最適化プログラムを用いるミニバッチ勾配降下法を使用して最適化される。バッチサイズは1である。バッチサイズが1であることは、(バッチがたった1つの試料であるため)バッチ正規化がインスタンス正規化になることを意味する。性能を改善するために、インスタンス正規化は推論中にも強化される。
学習率は、最初の少数エポックについては非常に低い学習率(たとえば1×10-5)の学習率スケジュールによって判定され、次いで、高い学習率(たとえば1×10-2)から各ステップにおいて低下する。学習率は、250エポックの後に半分にされ、次いで、続く500エポックの後に再び半分にされ、次いで、続く1000エポックの後に再び半分にされた。過剰適合を減少させるためにドロップアウトが使用される。ドロップアウト率は別々のネットワークに対して0.2~0.5の間で変化する(しかし、たとえば図13および図14に示されるように、ドロップアウト率は、所与のネットワークに適用される場合にはすべての位置において同一である)。適切なドロップアウト率は、複数の訓練の経験と、ドロップアウトが訓練および確認のセットに関する性能の差異に影響を及ぼす様子とに基づくものとなる。
ランダムな歪みを加えることによって増強された訓練画像データを使用する訓練手法より、ニューラルネットワークが画像の中の細かい詳細に的を絞ってしまうのが防止される。このように訓練されたニューラルネットワーク(たとえば局所化CNNおよびセグメント化CNN)は、画像アーチファクトのある画像に対して、アーチファクトを、訓練データに存在しないものまたは一般的でないものとして扱う(たとえば有効な局所化および/またはセグメント化を遂行する)ことができる。
訓練データを増強するために加えられるランダムな歪みは、付加的または増殖性のノイズを含み、平滑化された塩ノイズを加えられた。これらのランダムな歪みは、ある特定の確率で別々に適用される。これらのランダムな歪みは、ネットワークが最初にアーチファクトのない画像を扱うことを学習し、次いでノイズレベルが徐々に増加されるように、第1の数百のエポックには使用されないようにスケジュールされている。強度歪みは、100の高品質のCT画像にのみ適用され、73の低品質画像には既にアーチファクトがあるので適用されない。
局所化CNNは、全身画像ならびに異なる身体部分の画像を扱う(たとえば入力として受け取る)ように訓練される。この目的のために、画像の(常に骨盤の境界ボックス全体を維持した)ランダムなクロップを用いる増強が使用される。
v.計算リソース
局所化訓練はNvidia GeForce GTX 1050上で行われ、訓練に数時間かかった。
高解像度のセグメント化訓練はNvidia GeForce GTX 1080 Ti上で行われ、訓練に2~3日かかった。
vi.モデル選択
ニューラルネットワーク構造を最適化し、訓練のためのハイパーパラメータを選択するために、性能を測定するメトリックを得る必要がある。訓練の進度を評価するための主要なメトリックはソレンセン-ダイススコア(今後「ダイススコア」と称される)であり、重み付け(上記の節iv「最適化」で説明された重み付け)されたスコア、または個別の身体部分(前立腺または左大臀筋)に関するスコアである。
複数の画像にわたる結果を集約するとき、ほとんどの場合、評価されたダイススコアの平均値が(たとえばメトリックとして)使用される。ある特定の事例では、一定レベル未満のダイススコアを有する画像の度数が使用される。
それぞれの局所化訓練の実行のために、訓練画像に関して最善の平均重み付けをされたダイススコアを有するモデルが選択された。前立腺をセグメント化するセグメント化ニューラルネットワークを訓練するために使用されるセグメント化訓練のために、選択の基礎として前立腺に関するダイススコアが使用された。左大臀筋をセグメント化するセグメント化ニューラルネットワークを訓練するために使用されるセグメント化訓練のために、左大臀筋に関するダイススコアが選択の基礎であった。補助の予測を用いるセグメント化訓練のために、ダイススコアは、メイン出力(補助の予測がないときにも存在する出力)からの予測に基づくものとされた。
局所化CNNを訓練するとき、局所化CNNが訓練されていない画像を使用して局所化CNNの性能を評価することができるように、90のCT画像のうち30%が確認用に取っておかれた。高解像度の前立腺セグメント化用にセグメント化CNNを訓練するのに低品質画像のうち50しか使用されないように、低品質CT画像のうち23が確認用にとっておかれた(訓練用のCT画像は合計150になった)。
異なる局所化訓練の間で選択するとき、クロップの精度に対応するメトリックが使用された。クロップの精度はいくつかのメトリック/アスペクトに基づいて評価された。詳細には、1つのメトリックは、90の訓練および確認の画像のうち、全体の骨盤骨を包含するために0.1を超えるクロップマージンを必要とする画像をできるだけ少なくする、というものであった。別のメトリックは、境界ボックスの壁まで距離の誤差(誤りのボックスプロットを調べることによって評価された)をできるだけ小さくする、というものであった。別のメトリックは、(利用可能なグラウンドトルースセグメント化のない)102の低品質CT画像において、それらに対する粗いセグメント化の2D投影および重ね合わされた最終的な境界ボックスが、セグメント化と解剖学的構造との間の優れた一致を示すべきであり、特に、適切な領域をカバーするべきである、というものであった。
異なる高解像度のセグメント化訓練の間で選択するとき、(i)訓練および確認のデータに関するダイススコア、(ii)訓練および確認のデータに関する前立腺の精度および再現度、(iii)グラウンドトルース膀胱と予測された前立腺との間のオーバラップ、および(iv)矢状方向面、軸面、および前額面においてスライスを通してスクロールすることができるCT画像ビューアにおけるCT画像に重ね合わせたセグメント化の例といったメトリック/アスペクトが考慮に入れられた。
したがって、この例が提供する手法の例は、本明細書で説明された局所化機械学習モジュール(第1の機械学習モジュール)およびセグメント化機械学習モジュール(第2の機械学習モジュールおよび何らかの補助のセグメント化機械学習モジュール)において使用されるニューラルネットワークモデルを訓練するために使用され得るものである。
M.造影剤
ある特定の実施形態では、3D機能的画像は、放射性医薬品を含む造影剤を使用する核医学画像である。核医学画像は、患者に放射性医薬品を投与した後に得られ、患者の内部の放射性医薬品の分布に関する情報をもたらす。放射性医薬品は放射性核種を含む化合物である。
核医学画像(たとえばPETスキャン、たとえばSPECTスキャン、たとえば全身スキャン、たとえば複合PET-CT画像、たとえば複合SPECT-CT画像)は、放射性医薬品の放射性核種から放出された放射を検知して画像を形成するものである。患者の内部の特定の放射性医薬品の分布は、血流または潅流などの生物学的機構、ならびに特定の酵素または受容体の結合相互作用によって判定され得る。異なる放射性医薬品は、異なる生物学的機構および/または特定の特殊な酵素もしくは受容体の結合相互作用を利用するように設計されてよく、したがって、患者に投与されたとき、患者の内部の特定のタイプの組織および/または領域の内部に選択的に集中する。患者の内部の、放射性医薬品の濃度が他の領域よりも高い領域から多量の放射線が放射され、これらの領域は、核医学画像において、より明るく見える。したがって、核医学画像の内部の強度変化は、患者の内部の放射性医薬品の分布をマッピングするために使用され得る。患者の内部の放射性医薬品のこのマッピングされた分布は、たとえば、患者の身体の様々な領域の内部のがん組織の存在を推測するために使用され得る。
たとえば、テクネチウム-99mメチレンヂホスホン酸(99mTc MDP)は、患者に投与されると、患者の骨格領域の内部で、特に悪性の骨病変に関連した異常な骨形成を有する部位に選択的に蓄積する。これらの部位における放射性医薬品の選択的な集中は、識別可能なホットスポット(核医学画像における高強度の局所的領域)を生成する。したがって、患者の全身スキャンの内部のそのようなホットスポットを識別することによって、転移性前立腺がんに関連した悪性の骨病変の存在が推測され得る。患者の全生存期間と、病状、進行、治効等を表す他の予後のメトリックとに相関するリスク指標は、患者に99mTc MDPを投与した後に得られた全身スキャンにおける強度変化の自動解析に基づいて計算され得る。ある特定の実施形態では、99mTc MDPと類似のやり方で他の放射性医薬品も使用され得る。
ある特定の実施形態では、使用される特定の放射性医薬品は、使用される特定の核医学撮像診断法に依拠する。たとえば、18Fフッ化ナトリウム(NaF)は、これも99mTc MDPと同様に骨病変に蓄積するが、PET撮像とともに使用され得る。ある特定の実施形態では、PET撮像は、前立腺がん細胞によって容易に吸収される放射性ビタミンコリンを利用してよい。
ある特定の実施形態では、特定のタンパク質または目的の受容体に対して選択的に結合して特にがん組織における発現が増加する放射性医薬品が使用され得る。そのようなタンパク質または目的の受容体は、それだけではないが、結腸直腸がんにおいて発現するCEA、多発がんにおいて発現するHer2/neu、乳がんおよび卵巣がんにおいて発現するBRCA 1およびBRCA 2、ならびに黒色腫において発現するTRP-1およびTRP-2などの腫瘍抗原を含む。
たとえば、人間の前立腺特異的膜抗原(PSMA)は、転移性疾患を含む前立腺がんにおいて上方調節される。PSMAは実質的にすべての前立腺がんによって発現し、その発現は、分化の乏しい転移性癌およびホルモン抵抗性癌においてさらに増加する。したがって、患者の核医学画像を得るために、1つまたは複数の放射性核種で標識されたPSMA結合剤(たとえばPSMAに対する親和性が高い化合物)に対応する放射性医薬品が使用され得、これから、患者の種々の領域(たとえば、それだけではないが、骨格領域を含む)の内部の前立腺がんの存在および/または状態を査定することができる。ある特定の実施形態では、PSMA結合剤を使用して得られる核医学画像は、前立腺がんが局在化状態のとき、前立腺の内部のがん組織の存在を識別するために使用される。ある特定の実施形態では、PSMA結合剤を含む放射性医薬品を使用して得られる核医学画像は、疾患が転移性のとき適切であるので、前立腺ばかりでなく、肺、リンパ節、および骨なども含む他の器官および組織領域の内部の種々の領域のがん組織の存在を識別するために使用される。
詳細には、放射性核種で標識されたPSMA結合剤は、患者に投与されると、PSMAに対する親和性に基づいてがん組織の内部に選択的に蓄積する。患者の内部の特定の部位における放射性核種で標識されたPSMA結合剤の選択的な集中は、99mTc MDPに関して上記で説明されたのと同様に、核医学画像における検知可能なホットスポットを生成する。PSMA結合剤は、PSMAを表現している身体の種々のがん組織および領域の内部に集中するので、患者の前立腺の内部の局所的ながんおよび/または患者の身体の様々な領域における転移がんが検知され、かつ評価され得る。以下で説明されるように、患者の全生存期間と、病状、進行、治効等を表す他の予後のメトリックとに相関するリスク指標は、患者にPSMA結合剤の放射性医薬品を投与した後に得られた核医学画像における強度変化の自動解析に基づいて計算され得る。
種々の放射性核種で標識されたPSMA結合剤が、前立腺がんを検知して評価するための核医学撮像用の放射性医薬品造影剤として使用され得る。ある特定の実施形態では、特定の撮像診断法(たとえばPET、たとえばSPECT)および撮像される患者の特定の領域(たとえば器官)などの要因に依拠して、特定の放射性核種で標識されたPSMA結合剤が使用される。たとえば、PET撮像用には、ある特定の放射性核種で標識されたPSMA結合剤が適するが、SPECT撮像用には他のものが適する。たとえば、ある特定の放射性核種で標識されたPSMA結合剤は、患者の前立腺の撮像を容易にするものであり、主として疾患が局在化されるとき使用され、一方、他の結合剤は、患者の身体の全体にわたって器官および領域を撮像することを容易にし、転移性前立腺がんを評価するのに有効である。
種々のPSMA結合剤と、これらの結合剤の放射性核種で標識されたバージョンとが、米国特許第8,778,305号、米国特許第8,211,401号、および米国特許第8,962,799号に説明されており、これらの各々の全体が参照によって本明細書に組み込まれる。
i.放射性核種で標識されたPSMA結合剤のPET撮像
ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は、PET撮像用に適切な、放射性核種で標識されたPSMA結合剤である。
ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は[18F]DCFPyL(PyL(商標)とも称される、DCFPyL-18Fとも称される):

または薬学的に許容されるその塩を含む。
ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は、[18F]DCFBC:

または薬学的に許容されるその塩を含む。
ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は、68Ga-PSMA-HBED-CC(68Ga-PSMA-11とも称される):

または薬学的に許容されるその塩を含む。
ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は、PSMA-617:

または薬学的に許容されるその塩を含む。ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は、68Ga-PSMA-617を含み、これは、68Gaで標識されたPSMA-617、または薬学的に許容されるその塩である。ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は、177Lu-PSMA-617を含み、これは、177Luで標識されたPSMA-617、または薬学的に許容されるその塩である。
ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は、PSMA-I&T:

または薬学的に許容されるその塩を含む。ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は、68Ga-PSMA-I&Tを含み、これは、68Gaで標識されたPSMA-I&T、または薬学的に許容されるその塩である。
ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は、PSMA-1007:

または薬学的に許容されるその塩を含む。ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は、18F-PSMA-1007を含み、これは、18Fで標識されたPSMA-1007、または薬学的に許容されるその塩である。
ii.放射性核種で標識されたPSMA結合剤のSPECT撮像
ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は、SPECT撮像用に適切な、放射性核種で標識されたPSMA結合剤である。
ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は1404(MIP-1404とも称される):

または薬学的に許容されるその塩を含む。
ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は1405(MIP-1405とも称される):

または薬学的に許容されるその塩を含む。
ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は1427(MIP-1427とも称される):

または薬学的に許容されるその塩を含む。
ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は1428(MIP-1428とも称される):

または薬学的に許容されるその塩を含む。
ある特定の実施形態では、PSMA結合剤は、金属の放射性同位元素[たとえばテクネチウム(Tc)の放射性同位元素(たとえばテクネチウム-99m(99mTc))、たとえばレニウム(Re)の放射性同位元素(たとえばレニウム-188(188Re)、たとえばレニウム-186(186Re))、たとえばイットリウム(Y)の放射性同位元素(たとえば90Y)、たとえばルテチウム(Lu)の放射性同位元素(たとえば177Lu)、たとえばガリウム(Ga)の放射性同位元素(たとえば68Ga、たとえば67Ga)、たとえばインジウムの放射性同位元素(たとえば111In)、たとえば銅(Cu)の放射性同位元素(たとえば67Cu)]とキレート化することによって放射性核種で標識される。
ある特定の実施形態では、1404は、放射性核種で標識される(たとえば金属の放射性同位元素とキレート化される)。ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は、99mTcで標識された(たとえばキレート化された)1404である99mTc-MIP-1404:

または薬学的に許容されるその塩を含む。ある特定の実施形態では、1404は、他の金属放射性同位元素[たとえばレニウム(Re)の放射性同位元素(たとえばレニウム-188(188Re)、たとえばレニウム-186(186Re)、たとえばイットリウム(Y)の放射性同位元素(たとえば90Y)、たとえばルテチウム(Lu)の放射性同位元素(たとえば177Lu)、たとえばガリウム(Ga)の放射性同位元素(たとえば68Ga、たとえば67Ga)、たとえばインジウムの放射性同位元素(たとえば111In)、たとえば銅(Cu)の放射性同位元素(たとえば67Cu)]とキレート化され得、99mTcを他の金属放射性同位元素で置換した、99mTc-MIP-1404に関して上記で示された構造に類似の構造を有する化合物を形成する。
ある特定の実施形態では、1405は、放射性核種で標識される(たとえば金属の放射性同位元素とキレート化される)。ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は、99mTcで標識された(たとえばキレート化された)1405である99mTc-MIP-1405:

または薬学的に許容されるその塩を含む。ある特定の実施形態では、1405は、他の金属放射性同位元素[たとえばレニウム(Re)の放射性同位元素(たとえばレニウム-188(188Re)、たとえばレニウム-186(186Re))、たとえばイットリウム(Y)の放射性同位元素(たとえば90Y)、たとえばルテチウム(Lu)の放射性同位元素(たとえば177Lu)、たとえばガリウム(Ga)の放射性同位元素(たとえば68Ga、たとえば67Ga)、たとえばインジウムの放射性同位元素(たとえば111In)、たとえば銅(Cu)の放射性同位元素(たとえば67Cu)]とキレート化され得、99mTcを他の金属放射性同位元素で置換した、99mTc-MIP-1405に関して上記で示された構造に類似の構造を有する化合物を形成する。
ある特定の実施形態では、1427は、金属の放射性同位元素で標識されて(たとえばキレート化されて)次式による化合物:

または薬学的に許容されるその塩を形成し、ここにおいて、Mは金属放射性同位元素[たとえばテクネチウム(Tc)の放射性同位元素(たとえばテクネチウム-99m(99mTc))、たとえばレニウム(Re)の放射性同位元素(たとえばレニウム-188(188Re)、たとえばレニウム-186(186Re))、たとえばイットリウム(Y)の放射性同位元素(たとえば90Y)、たとえばルテチウム(Lu)の放射性同位元素(たとえば177Lu)、たとえばガリウム(Ga)の放射性同位元素(たとえば68Ga、たとえば67Ga)、たとえばインジウムの放射性同位元素(たとえば111In)、たとえば銅(Cu)の放射性同位元素(たとえば67Cu)]であって、1427を標識する。
ある特定の実施形態では、1428は、金属の放射性同位元素で標識されて(たとえばキレート化されて)次式による化合物:

または薬学的に許容されるその塩を形成し、ここにおいて、Mは金属放射性同位元素[たとえばテクネチウム(Tc)の放射性同位元素(たとえばテクネチウム-99m(99mTc))、たとえばレニウム(Re)の放射性同位元素(たとえばレニウム-188(188Re)、たとえばレニウム-186(186Re))、たとえばイットリウム(Y)の放射性同位元素(たとえば90Y)、たとえばルテチウム(Lu)の放射性同位元素(たとえば177Lu)、たとえばガリウム(Ga)の放射性同位元素(たとえば68Ga、たとえば67Ga)、たとえばインジウムの放射性同位元素(たとえば111In)、たとえば銅(Cu)の放射性同位元素(たとえば67Cu)]であって、1428を標識する。
ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は、PSMA-I&S:

または薬学的に許容されるその塩を含む。ある特定の実施形態では、放射性核種で標識されたPSMA結合剤は、99mTcで標識されたPSMA I&Sである99mTc-PSMA I&S、または薬学的に許容されるその塩を含む。
N.コンピュータシステムおよびネットワークアーキテクチャ
図36に示されるように、本明細書で説明されたシステム、方法、およびアーキテクチャを提供するのに使用するネットワーク環境3600の実装形態が示されて説明される。概要では、ここで図36を参照して、例示的クラウドコンピューティング環境3600のブロック図が示されて説明される。クラウドコンピューティング環境3600は1つまたは複数のリソースプロバイダ3602a、3602b、3602c(総称して3602)を含み得る。それぞれのリソースプロバイダ3602がコンピューティングリソースを含み得る。いくつかの実装形態では、コンピューティングリソースは、データを処理するのに使用されるあらゆるハードウェアおよび/またはソフトウェアを含み得る。たとえば、コンピューティングリソースに含まれ得るハードウェアおよび/またはソフトウェアは、アルゴリズム、コンピュータプログラム、および/またはコンピュータアプリケーションを実行することができる。いくつかの実装形態では、例示的コンピューティングリソースは、記憶および検索の能力を有するアプリケーションサーバおよび/またはデータベースを含み得る。それぞれのリソースプロバイダ3602は、クラウドコンピューティング環境3600における任意の他のリソースプロバイダ3602に接続され得る。いくつかの実装形態では、リソースプロバイダ3602はコンピュータネットワーク3608を通じて接続され得る。それぞれのリソースプロバイダ3602は、コンピュータネットワーク3608を通じて、1つまたは複数のコンピューティングデバイス3604a、3604b、3604c(総称して3604)に接続され得る。
クラウドコンピューティング環境3600はリソースマネージャ3606を含み得る。リソースマネージャ3606は、コンピュータネットワーク3608を通じて、リソースプロバイダ3602およびコンピューティングデバイス3604に接続され得る。いくつかの実装形態では、リソースマネージャ3606は、1つまたは複数のリソースプロバイダ3602が1つまたは複数のコンピューティングデバイス3604にコンピューティングリソースを提供するのを容易にし得る。リソースマネージャ3606は、特定のコンピューティングデバイス3604からコンピューティングリソースに関する要求を受け取ってよい。リソースマネージャ3606は、コンピューティングデバイス3604によって要求されたコンピューティングリソースを提供することができる1つまたは複数のリソースプロバイダ3602を識別し得る。リソースマネージャ3606は、コンピューティングリソースを提供するためにリソースプロバイダ3602を選択してよい。リソースマネージャ3606は、リソースプロバイダ3602と特定のコンピューティングデバイス3604との間の接続を容易にし得る。いくつかの実装形態では、リソースマネージャ3606は、特定のリソースプロバイダ3602と特定のコンピューティングデバイス3604との間の接続を確立し得る。いくつかの実装形態では、リソースマネージャ3606は、特定のコンピューティングデバイス3604を、要求されたコンピューティングリソースを有する特定のリソースプロバイダ3602に向け直してよい。
図37は、本開示で説明された技術を実施するために使用され得るコンピューティングデバイス3700およびモバイルコンピューティングデバイス3750の例を示すものである。コンピューティングデバイス3700は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなどのデジタルコンピュータの様々な形態を表すように意図されている。モバイルコンピューティングデバイス3750は、携帯情報端末、携帯電話、スマートフォン、および他の類似のコンピューティングデバイスなどのモバイルデバイスの様々な形態を表すように意図されている。ここに示された構成要素、それらの接続および関係、ならびにそれらの機能は単なる例示であり、限定することを意味するわけではない。
コンピューティングデバイス3700は、プロセッサ3702と、メモリ3704と、記憶デバイス3706と、メモリ3704および複数の高速拡張ポート3710に接続する高速インターフェース3708と、低速拡張ポート3714および記憶デバイス3706に接続する低速インターフェース3712とを含む。プロセッサ3702、メモリ3704、記憶デバイス3706、高速インターフェース3708、高速拡張ポート3710、および低速インターフェース3712の各々が、様々なバスを使用して相互接続されており、共通のマザーボード上に、または他の適切なやり方で、取り付けられてよい。プロセッサ3702は、高速インターフェース3708に結合されたディスプレイ3716などの外部入出力デバイス上のGUI向けのグラフィカル情報を表示する命令を含む、コンピューティングデバイス3700の内部で実行するための、メモリ3704または記憶デバイス3706に記憶された命令を処理することができる。他の実装形態では、複数のメモリおよび複数のタイプのメモリと併せて、必要に応じて複数のプロセッサおよび/または複数のバスが使用され得る。また、複数のコンピューティングデバイスが接続されてよく、各デバイスが、(たとえばサーババンク、一群のブレードサーバ、またはマルチプロセッサシステムとしての)必要な動作の一部分をもたらす。したがって、複数の機能が「プロセッサ」によって遂行されるものとして説明される場合、この用語が本明細書で使用されるように、これは、複数の機能が、任意数のコンピューティングデバイス(1つまたは複数)の任意数のプロセッサ(1つまたは複数)によって遂行される実施形態を包含する。その上、機能が「プロセッサ」によって遂行されると説明される場合、これは(たとえば分散コンピューティングシステムにおける)任意数のコンピューティングデバイス(1つまたは複数)の任意数のプロセッサ(1つまたは複数)によって機能が遂行される実施形態を包含する。
メモリ3704は、コンピューティングデバイス3700の内部の情報を記憶する。いくつかの実装形態では、メモリ3704は揮発性メモリユニットである。いくつかの実装形態では、メモリ3704は不揮発性メモリユニットである。メモリ3704は、磁気ディスクまたは光ディスクなど、コンピュータ可読媒体の別の形態でもよい。
記憶デバイス3706は、コンピューティングデバイス3700に大量記憶をもたらすことができる。いくつかの実装形態では、記憶デバイス3706は、ストレージエリアネットワークにおけるデバイスまたは他の構成を含めて、フロッピー(登録商標)ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、テープデバイス、フラッシュメモリもしくは他の類似の固体メモリデバイス、またはデバイスの配列などのコンピュータ可読媒体でよく、またはこれらを含有してよい。命令は情報担体に記憶され得る。命令は、1つまたは複数の処理デバイス(たとえばプロセッサ3702)によって実行されたとき、上記で説明されたものなどの1つまたは複数の方法を遂行する。命令は、コンピュータ可読媒体または機械可読媒体(たとえばメモリ3704、記憶デバイス3706、またはプロセッサ3702上のメモリ)などの1つまたは複数の記憶デバイスによって記憶され得る。
高速インターフェース3708は、コンピューティングデバイス3700に関する帯域幅に集中する動作を管理し、低速インターフェース3712はより低い帯域幅に集中する動作を管理する。そのような機能の割り当ては単なる例である。いくつかの実装形態では、高速インターフェース3708に結合されるのは、メモリ3704、ディスプレイ3716(たとえばグラフィックスプロセッサまたはアクセラレータを介して)、および様々な拡張カード(図示せず)を受け入れ得る高速拡張ポート3710である。この実装形態では、低速インターフェース3712は、記憶デバイス3706および低速拡張ポート3714に結合されている。様々な通信ポート(たとえばUSB、Bluetooth(登録商標)、イーサネット(登録商標)、無線イーサネット(登録商標))を含み得る低速拡張ポート3714は、たとえばネットワークアダプタを介して、キーボード、ポインティングデバイス、スキャナ、またはスイッチもしくはルータなどのネットワーキングデバイスなど1つまたは複数の入出力デバイスに結合され得る。
コンピューティングデバイス3700は、図に示されるように、複数の異なる形態で実施され得る。たとえば、コンピューティングデバイス3700は、標準的なサーバ3720として実施されてよく、またはそのようなサーバの群において複数回実施されてもよい。加えて、コンピューティングデバイス3700はラップトップコンピュータ3722などのパーソナルコンピュータで実施され得る。コンピューティングデバイス3700はラックサーバシステム3724の一部分として実施されてもよい。あるいは、コンピューティングデバイス3700の構成要素は、モバイルコンピューティングデバイス3750などのモバイルデバイス(図示せず)の他の構成要素と組み合わされてよい。そのようなデバイスの各々が、コンピューティングデバイス3700およびモバイルコンピューティングデバイス3750のうち1つまたは複数を含有してよく、全体のシステムは、互いに通信する複数のコンピューティングデバイスで構成され得る。
モバイルコンピューティングデバイス3750は、数ある構成要素のなかで、プロセッサ3752、メモリ3764、ディスプレイ3754などの入出力デバイス、通信インターフェース3766、およびトランシーバ3768を含む。モバイルコンピューティングデバイス3750は、追加記憶機構を設けるために、マイクロドライブまたは他のデバイスなどの記憶デバイスも備え得る。プロセッサ3752、メモリ3764、ディスプレイ3754、通信インターフェース3766、およびトランシーバ3768の各々が、様々なバスを使用して相互接続されており、構成要素のうちいくつかが、必要に応じて、共通のマザーボード上に、または他のやり方で、取り付けられてよい。
プロセッサ3752は、メモリ3764に記憶された命令を含めて、モバイルコンピューティングデバイス3750の内部の命令を実行することができる。プロセッサ3752は、複数の個別のアナログプロセッサおよびデジタルプロセッサを含むチップのチップセットとして実施され得る。プロセッサ3752は、たとえばユーザインターフェースの制御、モバイルコンピューティングデバイス3750によって実行されるアプリケーション、およびモバイルコンピューティングデバイス3750による無線通信など、モバイルコンピューティングデバイス3750の他の構成要素の協調をもたらし得る。
プロセッサ3752は、制御インターフェース3758、およびディスプレイ3754に結合されたディスプレイインターフェース3756を通じて、ユーザと通信し得る。ディスプレイ3754は、たとえばTFT(薄膜トランジスタ駆動液晶ディスプレイ)ディスプレイもしくはOLED(有機発光ダイオード)ディスプレイ、または他の適切なディスプレイ技術でよい。ディスプレイインターフェース3756は、ユーザにグラフィカル情報や他の情報を提示するために、ディスプレイ3754を駆動するための適切な回路を備え得る。制御インターフェース3758は、ユーザからコマンドを受け取って、プロセッサ3752に対するサブミッションに変換してよい。加えて、外部インターフェース3762は、モバイルコンピューティングデバイス3750の他のデバイスとの至近エリア通信を可能にするように、プロセッサ3752との通信をもたらし得る。外部インターフェース3762は、たとえば、いくつかの実装形態では有線通信を提供してよく、または他の実装形態では無線通信を提供してよく、複数のインターフェースが使用されてもよい。
メモリ3764は、モバイルコンピューティングデバイス3750の内部の情報を記憶する。メモリ3764は、コンピュータ可読媒体、揮発性メモリユニット、または不揮発性メモリユニットのうち1つまたは複数として実施され得る。たとえばSIMM(シングルインラインメモリモジュール)カードインターフェースを含み得る拡張メモリ3774も設けられてよく、拡張インターフェース3772を介してモバイルコンピューティングデバイス3750に接続され得る。拡張メモリ3774は、モバイルコンピューティングデバイス3750のために追加の記憶空間をもたらしてよく、またはモバイルコンピューティングデバイス3750のためにアプリケーションもしくは他の情報を記憶してもよい。具体的には、増設メモリ3774は、上記で説明された処理を実行するかまたは補足するための命令を含み得、安全情報も含み得る。したがって、たとえば、拡張メモリ3774はモバイルコンピューティングデバイス3750のためのセキュリティモジュールとして設けられてよく、モバイルコンピューティングデバイス3750の安全な使用を可能にする命令を用いてプログラムされ得る。加えて、セキュアアプリケーションが、付加情報とともに、SIMMカード上にハッキング不可能なやり方で識別情報を配置するように、SIMMカードによって与えられてよい。
以下で論じられるように、メモリは、たとえばフラッシュメモリおよび/またはNVRAMメモリ(不揮発性ランダムアクセスメモリ)を含み得る。いくつかの実装形態では、情報担体に記憶された命令が1つまたは複数の処理デバイス(たとえばプロセッサ3752)によって実行されたとき、上記で説明されたものなどの1つまたは複数の方法を遂行する。命令は、1つまたは複数のコンピュータ可読媒体または機械可読媒体(たとえばメモリ3764、拡張メモリ3774、またはプロセッサ3752上のメモリ)などの1つまたは複数の記憶デバイスによって記憶され得る。いくつかの実装形態では、命令は、伝播するシグナルで、たとえばトランシーバ3768または外部インターフェース3762を通じて受け取られ得る。
モバイルコンピューティングデバイス3750は、必要に応じてデジタル信号処理回路を含み得る通信インターフェース3766を介して無線通信してよい。通信インターフェース3766は、とりわけ、GSM(登録商標)音声通話(グローバル移動体通信システム)、SMS(ショートメッセージサービス)、EMS(拡張メッセージサービス)、またはMMSメッセージ(マルチメディアメッセージングサービス)、CDMA(符号分割多元接続)、TDMA(時分割多重アクセス)、PDC(パーソナルデジタルセルラー)、WCDMA(登録商標)(広帯域符号分割多元接続)、CDMA2000、またはGPRS(汎用パケット無線システム)など、様々なモードまたはプロトコールの下で通信をもたらし得る。そのような通信は、たとえば、トランシーバ3768を通じて無線周波数を使用して生じ得る。加えて、Bluetooth(登録商標)、Wi-FiTMまたは他のそのようなトランシーバ(図示せず)などを使用して、近距離通信が生じ得る。加えて、GPS(全地球測位システム)受信器モジュール3770が、モバイルコンピューティングデバイス3750に、さらなるナビゲーション関連、ロケーション関連の無線データを供給してよく、これはモバイルコンピューティングデバイス3750上で実行されるアプリケーションによって必要に応じて使用され得る。
モバイルコンピューティングデバイス3750は、ユーザが話した情報を受け取って使用可能なデジタル情報に変換し得る音声コーデック3760を使用して音声通信してもよい。音声コーデック3760は、たとえばモバイルコンピューティングデバイス3750のハンドセットの中のスピーカなどを通じて、ユーザ向けの可聴音を同様に生成してよい。そのような音は、音声電話発呼からの音、録音された音(たとえば音声メール、音楽ファイルなど)、およびモバイルコンピューティングデバイス3750上で動作するアプリケーションによって生成された音も含み得る。
モバイルコンピューティングデバイス3750は、図に示されるように、複数の異なる形態で実施され得る。たとえば、モバイルコンピューティングデバイス3750は携帯電話3780として実施され得る。モバイルコンピューティングデバイス3750は、スマートフォン3782、携帯情報端末、または他の類似のモバイルデバイスの一部分としても実施され得る。
ここで説明したシステムおよび技術の様々な実装形態は、デジタル電子回路、集積回路、特別に設計されたASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組合せで実現され得る。これらの様々な実装形態は、記憶システム、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスに対して命令およびデータを送受するように結合された特殊用途または汎用の少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能かつ/または解釈可能な1つまたは複数のコンピュータプログラムにおける実装形態を含み得る。
(プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても公知である)これらのコンピュータプログラムは、プログラマブルプロセッサ向けの機械命令を含み、高レベルの手続き型プログラミング言語および/またはオブジェクト指向プログラミング言語、および/またはアセンブリ言語/機械語で実施され得るものである。本明細書で使用されるように、機械可読媒体およびコンピュータ可読媒体という用語は、プログラマブルプロセッサに対して、機械命令および/またはデータを供給するために使用される任意のコンピュータプログラム製品、装置および/またはデバイス(たとえば磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス(PLD))を指すものであり、機械可読シグナルとして機械命令を受け取る機械可読媒体を含む。機械可読シグナルという用語は、プログラマブルプロセッサに機械命令および/またはデータを供給するために使用される任意のシグナルを指す。
ここで説明したシステムおよび技術は、ユーザとの相互作用をもたらすために、ユーザに情報を表示するためのディスプレイデバイス(たとえばCRT(ブラウン管)またはLCD(液晶ディスプレイ)モニタ)、キーボード、およびユーザがコンピュータに入力を供給することができるポインティングデバイス(たとえばマウスまたはトラックボール)を有するコンピュータ上で実施され得る。ユーザとの相互作用もたらすために他の種類のデバイスも使用され得、たとえば、ユーザに与えられるフィードバックは任意の形態の感覚フィードバック(たとえば視覚フィードバック、聴覚フィードバック、または触覚フィードバック)であり得て、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形態で受け取られ得る。
ここで説明したシステムおよび技術を実施することができるコンピューティングシステムは、(たとえばデータサーバとしての)バックエンド構成要素を含むもの、またはミドルウェア構成要素(たとえばアプリケーションサーバ)を含むもの、またはフロントエンド構成要素(たとえばユーザがここで説明されたシステムおよび技術の実装形態と相互作用することができるグラフィカルユーザインターフェースまたはウエブブラウザを有するクライアントコンピュータ)を含むもの、あるいはそのようなバックエンド構成要素、ミドルウェア構成要素、またはフロントエンド構成要素の任意の組合せであり得る。システムの構成要素は、デジタルデータ通信の任意の形態または媒体(たとえば通信ネットワーク)によって相互接続され得る。通信ネットワークの例には、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、およびインターネットが含まれる。
コンピューティングシステムはクライアントおよびサーバを含むことができる。クライアントとサーバは一般に互いにから遠隔であり、一般的には通信ネットワークを介して相互作用する。クライアントとサーバの関係は、互いにクライアントとサーバの関係を有するそれぞれのコンピュータ上で実行されるコンピュータプログラムによって生じる。
いくつかの実装形態では、本明細書で説明された様々なモジュールは、単一のモジュールまたは組み合わされたモジュールへと分離すること、組み合わせること、または組み込むことができる。図に表されたモジュールは、本明細書で説明されたシステムを、そこに示されたソフトウェアアーキテクチャに限定するようには意図されていない。
本明細書で説明された異なる実装形態の要素は、上記で具体的には説明されていない他の実装形態を形成するために組み合わされてよい。本明細書で説明された処理、コンピュータプログラム、データベースなどから、それらの動作に悪影響を及ぼすことなく、要素が省略され得る。加えて、図に表された論理の流れは、望ましい結果を達成するために、示された特定の順番または順序を必要とするわけではない。本明細書で説明された機能を遂行するために、様々な個別要素が、1つまたは複数の個々の要素へと組み合わされてよい。
説明の全体にわたって、装置およびシステムが、特定の構成要素を有するか、含むか、もしくは備えると説明された場合、またはプロセスおよび方法が、特定のステップを有するか、含むか、もしくは備えると説明された場合には、列挙された構成要素からなる、もしくは本質的になる、本発明の装置、およびシステムがさらにあること、ならびに列挙された処理ステップからなる、もしくは本質的になる、本発明によるプロセスおよび方法がさらにあることが企図されている。
ステップの順番またはある特定のアクションを遂行するための順番は、本発明が動作可能である限り重要ではないことを理解されたい。その上に、2つまたはそれよりも多くのステップまたはアクションが同時に行われてよい。
本発明が、特定の好ましい実施形態を参照しながら詳細に示されて説明されてきたが、添付の特許請求の範囲によって定義されるような本発明の趣旨および範囲から逸脱することなく、形態および詳細における様々な変更形態が作製され得ることが当業者には理解されるはずである。

Claims (1)

  1. 本明細書に記載の発明。
JP2023083859A 2018-01-08 2023-05-22 高速ニューラルネットワークベースの画像セグメント化および放射性医薬品摂取判定のためのシステムおよび方法 Pending JP2023116486A (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201862614935P 2018-01-08 2018-01-08
US62/614,935 2018-01-08
US16/003,006 US10973486B2 (en) 2018-01-08 2018-06-07 Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination
US16/003,006 2018-06-07
US201862749574P 2018-10-23 2018-10-23
US62/749,574 2018-10-23
PCT/US2019/012486 WO2019136349A2 (en) 2018-01-08 2019-01-07 Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination
JP2020537168A JP7448476B2 (ja) 2018-01-08 2019-01-07 高速ニューラルネットワークベースの画像セグメント化および放射性医薬品摂取判定のためのシステムおよび方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020537168A Division JP7448476B2 (ja) 2018-01-08 2019-01-07 高速ニューラルネットワークベースの画像セグメント化および放射性医薬品摂取判定のためのシステムおよび方法

Publications (1)

Publication Number Publication Date
JP2023116486A true JP2023116486A (ja) 2023-08-22

Family

ID=67144460

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020537168A Active JP7448476B2 (ja) 2018-01-08 2019-01-07 高速ニューラルネットワークベースの画像セグメント化および放射性医薬品摂取判定のためのシステムおよび方法
JP2023083859A Pending JP2023116486A (ja) 2018-01-08 2023-05-22 高速ニューラルネットワークベースの画像セグメント化および放射性医薬品摂取判定のためのシステムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020537168A Active JP7448476B2 (ja) 2018-01-08 2019-01-07 高速ニューラルネットワークベースの画像セグメント化および放射性医薬品摂取判定のためのシステムおよび方法

Country Status (6)

Country Link
EP (1) EP3738097A2 (ja)
JP (2) JP7448476B2 (ja)
CN (1) CN111602174A (ja)
AU (1) AU2019205766A1 (ja)
CA (1) CA3085441A1 (ja)
WO (1) WO2019136349A2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018081354A1 (en) 2016-10-27 2018-05-03 Progenics Pharmaceuticals, Inc. Network for medical image analysis, decision support system, and related graphical user interface (gui) applications
US10973486B2 (en) 2018-01-08 2021-04-13 Progenics Pharmaceuticals, Inc. Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination
CN113272859A (zh) 2019-01-07 2021-08-17 西尼诊断公司 用于平台中立性全身图像分段的系统及方法
WO2020219619A1 (en) 2019-04-24 2020-10-29 Progenics Pharmaceuticals, Inc. Systems and methods for interactive adjustment of intensity windowing in nuclear medicine images
JP2022530039A (ja) 2019-04-24 2022-06-27 プロジェニクス ファーマシューティカルズ, インコーポレイテッド 転移を検出するための骨スキャン画像の自動化された対話型の分析のためのシステムおよび方法
JP2022544229A (ja) * 2019-08-14 2022-10-17 ジェネンテック, インコーポレイテッド オブジェクト検出を用いて位置特定された医用画像の三次元オブジェクトセグメンテーション
US11564621B2 (en) 2019-09-27 2023-01-31 Progenies Pharmacenticals, Inc. Systems and methods for artificial intelligence-based image analysis for cancer assessment
US11544407B1 (en) 2019-09-27 2023-01-03 Progenics Pharmaceuticals, Inc. Systems and methods for secure cloud-based medical image upload and processing
US11900597B2 (en) 2019-09-27 2024-02-13 Progenics Pharmaceuticals, Inc. Systems and methods for artificial intelligence-based image analysis for cancer assessment
TWI709147B (zh) * 2019-10-16 2020-11-01 中國醫藥大學附設醫院 基於全身骨掃描影像之深度學習攝護腺癌骨轉移辨識系統
CN110942439B (zh) * 2019-12-05 2023-09-19 北京华恒盛世科技有限公司 基于卫星图片缺陷的图像复原和增强方法
CN111325714B (zh) * 2020-01-21 2024-03-26 上海联影智能医疗科技有限公司 感兴趣区域的处理方法、计算机设备和可读存储介质
US11282601B2 (en) 2020-04-06 2022-03-22 International Business Machines Corporation Automatic bounding region annotation for localization of abnormalities
US11321844B2 (en) 2020-04-23 2022-05-03 Exini Diagnostics Ab Systems and methods for deep-learning-based segmentation of composite images
US11386988B2 (en) 2020-04-23 2022-07-12 Exini Diagnostics Ab Systems and methods for deep-learning-based segmentation of composite images
JP2023532761A (ja) 2020-07-06 2023-07-31 エクシーニ ディアグノスティクス アーべー 病変の検出および特性評価のための人工知能ベースの画像分析のためのシステムならびに方法
US11721428B2 (en) * 2020-07-06 2023-08-08 Exini Diagnostics Ab Systems and methods for artificial intelligence-based image analysis for detection and characterization of lesions
RU2743316C1 (ru) * 2020-08-14 2021-02-17 Автономная некоммерческая образовательная организация высшего образования Сколковский институт науки и технологий Способ идентификации участков связывания белковых комплексов
EP4016453B1 (en) * 2020-12-21 2023-08-09 Siemens Healthcare GmbH Method and system for automated segmentation of biological object parts in mri
CN112767299B (zh) * 2021-04-07 2021-07-06 成都真实维度科技有限公司 一种多模态三维图像配准融合方法
CN113256784B (zh) * 2021-07-02 2021-09-28 武大吉奥信息技术有限公司 一种基于gpu进行超高效绘制gis空间三维体素数据的方法
WO2023004489A1 (en) * 2021-07-30 2023-02-02 Ventripoint Diagnostics Ltd. System, method and/or computer-readable medium for mapping and displaying anatomical structures in a user-friendly manner
CN113781636B (zh) * 2021-09-14 2023-06-20 杭州柳叶刀机器人有限公司 盆骨建模方法与系统、存储介质、计算机程序产品
WO2023092124A1 (en) * 2021-11-22 2023-05-25 Genentech, Inc. Machine-learning based segmentation of biological objects in medical images
CN114119558B (zh) * 2021-11-29 2024-05-03 桂林电子科技大学 一种自动生成鼻咽癌影像诊断结构化报告方法
EP4202827A1 (en) * 2021-12-21 2023-06-28 Koninklijke Philips N.V. System and method for classifying lesions
WO2023117740A1 (en) * 2021-12-21 2023-06-29 Koninklijke Philips N.V. System and method for classifying lesions
WO2023232897A1 (en) * 2022-06-02 2023-12-07 Antaros Medical Ab Automated image inference from whole-body medical images
CN116259414B (zh) * 2023-05-09 2023-08-18 南京诺源医疗器械有限公司 转移性淋巴结区分模型、构建方法及应用

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7935055B2 (en) * 2003-09-19 2011-05-03 Siemens Medical Solutions Usa, Inc. System and method of measuring disease severity of a patient before, during and after treatment
CN102171187B (zh) 2008-08-01 2017-07-28 约翰.霍普金斯大学 Psma‑结合剂及其用途
WO2010065899A2 (en) 2008-12-05 2010-06-10 Molecular Insight Pharmaceuticals, Inc. Technetium-and rhenium-bis(heteroaryl)complexes and methods of use thereof
WO2010065902A2 (en) 2008-12-05 2010-06-10 Molecular Insight Pharmaceuticals, Inc. Technetium- and rhenium-bis(heteroaryl) complexes and methods of use thereof for inhibiting psma
US20100158332A1 (en) * 2008-12-22 2010-06-24 Dan Rico Method and system of automated detection of lesions in medical images
CN101639937B (zh) * 2009-09-03 2011-12-14 复旦大学 一种基于人工神经网络的超分辨率方法
US9547061B2 (en) * 2012-01-27 2017-01-17 Koninklijke Philips N.V. Tumor segmentation and tissue classification in 3D multi-contrast
US10339648B2 (en) * 2013-01-18 2019-07-02 H. Lee Moffitt Cancer Center And Research Institute, Inc. Quantitative predictors of tumor severity
EP2816525A1 (en) * 2013-06-18 2014-12-24 Thomson Licensing Method and apparatus for generating a super-resolved image from a single image
US20150110716A1 (en) 2013-10-18 2015-04-23 Molecular Insight Pharmaceuticals, Inc. Methods of using spect/ct analysis for staging cancer
CN106127819B (zh) * 2016-06-30 2019-10-08 上海联影医疗科技有限公司 医学图像中提取血管中心线的方法及其装置

Also Published As

Publication number Publication date
CA3085441A1 (en) 2019-07-11
EP3738097A2 (en) 2020-11-18
TW201941218A (zh) 2019-10-16
WO2019136349A2 (en) 2019-07-11
AU2019205766A1 (en) 2020-06-18
JP2021509721A (ja) 2021-04-01
CN111602174A (zh) 2020-08-28
WO2019136349A3 (en) 2019-08-15
JP7448476B2 (ja) 2024-03-12

Similar Documents

Publication Publication Date Title
JP7448476B2 (ja) 高速ニューラルネットワークベースの画像セグメント化および放射性医薬品摂取判定のためのシステムおよび方法
US10973486B2 (en) Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination
US20200342600A1 (en) Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination
US11941817B2 (en) Systems and methods for platform agnostic whole body image segmentation
US11937962B2 (en) Systems and methods for automated and interactive analysis of bone scan images for detection of metastases
Pezzano et al. CoLe-CNN: Context-learning convolutional neural network with adaptive loss function for lung nodule segmentation
TW202207241A (zh) 用於偵測及表徵化病變之基於人工智慧的影像分析系統與方法
WO2021126370A1 (en) Automated tumor identification and segmentation with medical images
US20230115732A1 (en) Systems and methods for automated identification and classification of lesions in local lymph and distant metastases
TWI835768B (zh) 用於基於神經網路之快速影像分段及放射性藥品之攝取的測定之系統及方法
US20230351586A1 (en) Systems and methods for artificial intelligence-based image analysis for detection and characterization of lesions
Allapakam et al. A hybrid feature pyramid network and Efficient Net-B0-based GIST detection and segmentation from fused CT-PET image
US20230410985A1 (en) Systems and methods for assessing disease burden and progression

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230522