JP2021536330A - 深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定 - Google Patents

深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定 Download PDF

Info

Publication number
JP2021536330A
JP2021536330A JP2021513260A JP2021513260A JP2021536330A JP 2021536330 A JP2021536330 A JP 2021536330A JP 2021513260 A JP2021513260 A JP 2021513260A JP 2021513260 A JP2021513260 A JP 2021513260A JP 2021536330 A JP2021536330 A JP 2021536330A
Authority
JP
Japan
Prior art keywords
voi
dataset
voxel
neural network
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021513260A
Other languages
English (en)
Other versions
JP7346553B2 (ja
Inventor
マルク−ヤン・ハルテ
ヘルベン・ファン・フェーネンダール
Original Assignee
アイデンス・アイピー・ベー・フェー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイデンス・アイピー・ベー・フェー filed Critical アイデンス・アイピー・ベー・フェー
Publication of JP2021536330A publication Critical patent/JP2021536330A/ja
Application granted granted Critical
Publication of JP7346553B2 publication Critical patent/JP7346553B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

3Dデータセット内のオブジェクトの成長率の自動決定のための方法が説明され、方法は、第1の訓練された3D検出深層ニューラルネットワーク(DNN)が、現在の3Dデータセット内の1つまたは複数の第1のVOIと、前の3Dデータセット内の第2のVOIとを決定するステップであって、VOIが異常に関連付けられている、ステップと、位置合わせアルゴリズム、好ましくは訓練された3D位置合わせDNNに基づく位置合わせアルゴリズムが、1つまたは複数の第1のVOIと第2のVOIとの間のマッピングを決定するステップであって、マッピングが、現在の3Dデータセット内の第1のVOIに対して、前の3Dデータセット内の対応する第2のVOIを提供する、ステップと、第2の訓練された3DセグメンテーションDNNが、第1のVOIのボクセルを異常を表す第1のボクセルにセグメント化し、対応する第2のVOIのボクセルを異常を表す第2のボクセルにセグメント化するステップと、第1のボクセルに基づいて異常の第1の体積を決定し、第2のボクセルに基づいて異常の第2の体積を決定し、成長率を決定するために第1および第2の体積を使用するステップとを含み得る。

Description

本発明は、深層学習を使用する3Dデータセット内のオブジェクトの成長率の自動決定に関し、特に、排他的にではないが、深層学習を使用する3Dデータセット内のオブジェクトの成長率の自動決定のための方法およびシステム、3Dデータセット内のオブジェクトの成長率の自動決定のための深層ニューラルネットワークを訓練するための訓練方法、ならびにそのような方法を実行するコンピュータプログラム製品に関する。
異常および病変は、がんの前兆である。したがって、これらの病変の早期検出は、治療的介入を可能にする重要な放射線学的課題である。肺小結節のスクリーニングの費用対効果は、米国国立がん研究所(US National Cancer Institute)の全米肺スクリーニング試験(National Lung Screening Trial(NLST))によって証明された。したがって、効率的で信頼性の高いスクリーニングスキームをセットアップする際に役立つことができるコンピュータ支援検出および診断(CAD)システムが開発された。そのようなCADシステムは、ここ数年間市場に出ており、肺小結節の(半)自動検出を可能にしている。典型的には、これらのシステムは、低感度(または逆に非常に高い偽陽性率)に苦しみ、したがって、医療専門家による採用が少なかった。深層学習技法における最近の進歩により、肺小結節検出は、より正確になり、AIベースのシステムが、いくつかの企業によって開発中である。3Dデータセット、例えば、CTスキャンシステムなどのスキャンシステムによって生成された3D X線データにおける異常を検出するための高精度検出モデルが、出願人によって正常に開発されており、規制目的(regulatory use)について許可されている。
医療専門家が3Dデータセットから導出することができる情報は、異常のサイズ、体積、および形状を含む。加えて、3Dデータセットの時系列に基づいて、異常の成長率が導出され得る。そのようなパラメータは、診断上非常に重要なものであり得る。しかしながら、そのようなパラメータの自動検出は、コンピュータにとってささいなタスクではない。現れる各画像内の異常を手動で検出し、セグメント化することは、理論的には可能であるが、実際には、そのような手法は、非常に時間がかかり、エラーまたは少なくとも不正確になりがちである。したがって、従来のコンピュータ支援検出および診断システムは、そのような異常の境界を半自動的に見つけるために、資格のあるユーザが「シード点」を手動で選択し、周知の「領域成長」アルゴリズムを適用することによって、異常のセグメンテーションを作成するために、コンピュータビジョンおよび機械学習アルゴリズムを使用する。例えば、R. Wiemkerらは、彼らの論文、Aspects of computer-aided detection (CAD) and volumetry of pulmonary nodules using multislice CT、The British Journal of Radiology、78(2005)において、小結節の検出、セグメンテーション、および位置合わせのためのシステムについて説明している。検出、セグメンテーション、および位置合わせは、人間のオペレータによって実行される別個のタスクであり、単一の自動化されたパイプラインを提供しない。さらに、セグメンテーションは、領域成長方法に基づき、位置合わせは、剛体アフィン変換に基づく。そのようなスキームは、ユーザがユーザの読み取りフローから離れて放射線学的ワークフローを切り替え、異なるソフトウェアアプリケーションにおいて手動アクションを実行する必要があるという重大な欠点を有する。これには数分かかり、しばしば、実際には行われない。代わりに、放射線科医によって画像から導出された情報があまり正確ではないように、デジタルノギスを使用する2D測定が必要に迫られて近似として実行される。より一般的には、従来の画像処理技法に依存するCTスキャンにおける小結節の検出および体積定量化のための既知のCADシステムは、少なくとも医療専門家の精度と一致する精度で小結節に関する体積情報を提供する完全に自動化されたシステムを提供しない。
最近、深層学習技法が、肺小結節の自動検出に成功裏に使用されている。Zhaoらは、彼らの論文「A deep-learning based automatic pulmonary nodule detection system」、SPIE、Medical Imaging 2018:Computer-Aided Diagnosis、2018年2月27日において、2つの深層ニューラルネットワークを備えるCT画像内の小結節を検出するためのシステムについて説明している。この論文は、深層ニューラルネットワークが3D CTスキャンなどの複雑な3Dデータセットを分析するのに有用であることを示している。しかしながら、これらのシステムは、CTスキャンにおける異常の検出および位置特定のみに対処する。これらのシステムは、深層学習に基づいてCTスキャンなどの3Dデータセット内の異常の成長率の自動かつ正確な決定に対処せず、すなわち、人間の介入なしに、少なくとも医療専門家の精度と同様の精度で、検出された異常に関するパラメータを導出するシステムに対処しない。したがって、上記から、3Dデータセット内のオブジェクト、例えば異常の自動位置合わせ、および深層学習を使用する3Dデータにおける位置合わせされたオブジェクトの成長率の自動決定のための改善された方法およびシステムに対する当該技術分野での必要性が存在するということになる。
R. Wiemkerら、Aspects of computer-aided detection (CAD) and volumetry of pulmonary nodules using multislice CT、The British Journal of Radiology、78(2005) Zhaoら、「A deep-learning based automatic pulmonary nodule detection system」、SPIE、Medical Imaging 2018:Computer-Aided Diagnosis、2018年2月27日
当業者によって理解されるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として具体化され得る。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、またはソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態をとり得、これらはすべて、全体として本明細書において「回路」、「モジュール」、または「システム」と呼ばれる場合がある。本開示において説明される機能は、コンピュータのマイクロプロセッサによって実行されるアルゴリズムとして実装され得る。さらに、本発明の態様は、そこに具体化された、例えば記憶されたコンピュータ可読プログラムコードを有する1つまたは複数のコンピュータ可読媒体において具体化されたコンピュータプログラム製品の形態をとり得る。
1つまたは複数のコンピュータ可読媒体の任意の組合せが利用され得る。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、例えば、限定はしないが、電子、磁気、光学、電磁気、赤外線、または半導体システム、装置、またはデバイス、または上記の任意の適切な組合せであり得る。コンピュータ可読記憶媒体のより具体的な例(網羅的ではないリスト)は、以下の、1つまたは複数のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラム可能な読み出し専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM)、光記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組合せを含む。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを含むか、または記憶することができる任意の有形媒体であり得る。
コンピュータ可読信号媒体は、例えば、ベースバンドにおいて、または搬送波の一部として、コンピュータ可読プログラムコードがその中に具体化された伝搬データ信号を含み得る。そのような伝搬信号は、限定はしないが、電磁的、光学的、またはそれらの任意の適切な組合せを含む、様々な形態のいずれかをとり得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを通信、伝播、または転送することができる任意のコンピュータ可読媒体であり得る。
コンピュータ可読媒体上に具体化されたプログラムコードは、限定はしないが、ワイヤレス、有線、光ファイバ、ケーブル、RFなど、または上記の任意の適切な組合せを含む任意の適切な媒体を使用して送信され得る。本発明の態様のための動作を実行するためのコンピュータプログラムコードは、Java(登録商標)、Scala、C++、Pythonなどの関数型またはオブジェクト指向プログラミング言語と、「C」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語とを含む、1つまたは複数のプログラミング言語の任意の組合せにおいて記述され得る。プログラムコードは、完全にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして部分的にユーザのコンピュータ上でおよび部分的にリモートコンピュータ上で、または完全にリモートコンピュータ、サーバ、もしくは仮想化サーバ上で実行され得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)もしくはワイドエリアネットワーク(WAN)を含む、任意のタイプのネットワークを介してユーザのコンピュータに接続され得、または接続は、(例えば、インターネットサービスプロバイダを使用してインターネットを介して)外部コンピュータに対してなされ得る。
本発明の態様について、本発明の実施形態による方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照して以下に説明する。フローチャート図および/またはブロック図の各ブロック、ならびにフローチャート図および/またはブロック図内のブロックの組合せは、コンピュータプログラム命令によって実装され得ることが理解されよう。これらのコンピュータプログラム命令は、コンピュータのプロセッサ、他のプログラム可能なデータ処理装置、または他のデバイスを介して実行される命令がフローチャートおよび/またはブロック図のブロックにおいて指定された機能/行為を実装するための手段を作成するように、マシンを生成するために、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサ、特に、マイクロプロセッサもしくは中央処理装置(CPU)、またはグラフィックス処理装置(GPU)に提供され得る。
これらのコンピュータプログラム命令はまた、コンピュータ可読媒体内に記憶された命令がフローチャートおよび/またはブロック図のブロックにおいて指定された機能/行為を実装する命令を含む製品を製造するように、特定の方法で機能するように、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスに指示することができるコンピュータ可読媒体内に記憶され得る。
コンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能な装置上で実行される命令がフローチャートおよび/またはブロック図のブロックにおいて指定された機能/行為を実装するためのプロセスを提供するように、コンピュータ実装プロセスを生成するために、コンピュータ、他のプログラム可能な装置、または他のデバイス上で一連の動作ステップを実行させるために、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされ得る。
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を示す。これに関して、フローチャートまたはブロック図における各ブロックは、指定された論理機能を実装するための1つまたは複数の実行可能命令を含む、モジュール、セグメント、またはコードの一部を表し得る。いくつかの代替実装形態では、ブロックにおいて示されている機能は、図中に示された順序とは異なって発生し得ることにも留意すべきである。例えば、連続して示されている2つのブロックは、実際には、実質的に同時に実行され得、またはブロックは、時には、関連する機能に応じて逆の順序で実行され得る。ブロック図および/またはフローチャート図の各ブロック、ならびにブロック図および/またはフローチャート図内のブロックの組合せは、指定された機能もしくは行為を実行する専用のハードウェアベースのシステム、または専用ハードウェアおよびコンピュータ命令の組合せによって実装され得ることにも留意されたい。
一態様では、本発明は、3Dデータセット内のオブジェクトの成長率の自動決定のための方法に関する。一実施形態では、方法は、第1の訓練された3D検出DNNが、現在の3Dデータセット内の1つまたは複数の第1のVOIと、前の3Dデータセット内の第2のVOIとを決定するステップであって、VOIが異常に関連付けられている、ステップと、位置合わせアルゴリズム、好ましくは訓練された3D位置合わせDNNに基づく位置合わせアルゴリズムが、1つまたは複数の第1のVOIと第2のVOIとの間のマッピングを決定するステップであって、マッピングが、現在の3Dデータセット内の第1のVOIに対して、前の3Dデータセット内の対応する第2のVOIを提供する、ステップと、第2の訓練された3DセグメンテーションDNNが、第1のVOIのボクセルを異常を表す第1のボクセルにセグメント化し、対応する第2のVOIのボクセルを異常を表す第2のボクセルにセグメント化するステップと、第1のボクセルに基づいて異常の第1の体積を決定し、第2のボクセルに基づいて異常の第2の体積を決定し、成長率を決定するために第1および第2の体積を使用するステップとを含み得る。
さらなる実施形態では、方法は、プロセッサが、第1の時間インスタンスに関連付けられた現在の3Dデータセットを第1の3D深層ニューラルネットワーク(DNN)システムの入力に提供するステップであって、現在の3Dデータセットが患者の身体部分のボクセル表現を定義し、第1の3D DNNシステムが、3Dデータセットを受信し、3Dデータセットが1つまたは複数の異常(例えば、小結節または病変)を含む場合、3Dデータセット内の1つまたは複数のVOIをそれぞれ出力するように訓練されており、入力に応答して、プロセッサが、第1の3D DNNの出力から現在の3Dデータセット内の1つまたは複数の第1のVOIを受信するステップと、プロセッサが、第2の時間インスタンスに関連付けられた前の3Dデータセットを第1の3D深層ニューラルネットワーク(DNN)システムの入力に提供するステップであって、前の3Dデータセットが患者の身体部分のボクセル表現を定義し、入力に応答して、プロセッサが、第1の3D DNNの出力から前の3Dデータセット内の1つまたは複数の第2のVOIを受信する、ステップと、プロセッサが、1つまたは複数の第1のVOIを1つまたは複数の第2のVOIに位置合わせするために位置合わせアルゴリズムを使用するステップであって、位置合わせアルゴリズムがマッピングを生成し、マッピングが現在の3Dデータセット内の第1のVOIに対して前の3Dデータセット内の対応する第2のVOIを決定し、プロセッサが同じ異常に関連するボクセルを含む第1および第2のVOIを決定するためにマッピングを使用する、ステップと、プロセッサが、第1のVOIおよび対応する第2のVOIのボクセルを第2の3D DNNの入力に提供するステップであって、第2の3D DNNがVOIのボクセルを受信し、VOIのボクセルに関する確率を定義する3Dマップを出力するように訓練されており、ボクセルに関連付けられた確率が、ボクセルが異常の一部である可能性を定義し、プロセッサが、第2の3D DNNの出力から第1の3Dマップと第2の3Dマップとを受信し、異常を表す現在の3Dデータセット内の第1のボクセルを識別するために第1の3Dマップを使用し、異常を表す前のデータセット内の第2のボクセルを識別するために第2の3Dマップを使用する、ステップと、プロセッサが、第1のボクセルに基づいて異常の第1の体積を決定し、第2のボクセルに基づいて異常の第2の体積を決定し、成長率を決定するために第1の体積と第2の体積とを使用するステップとを含み得る。したがって、本発明は、3Dデータセット、例えば、スキャンデバイスによって生成された3D CTスキャン内の異常、例えば、小結節または病変の成長率を正確に決定するための完全に自動化されたプロセスを提供する。訓練された深層ニューラルネットワークの使用は、少なくとも医療専門家と同じくらい正確に異常の成長率と体積とを決定することができるシステムを提供する。CTスキャンの正確かつ迅速な解釈のための貴重な情報が、自動的かつオンザフライで提供され得る。
一実施形態では、方法は、プロセッサが1つまたは複数の第1のVOIを受信した後、プロセッサが、要求メッセージを構築し、要求メッセージをデータベース、好ましくは画像保存通信システム(picture archiving and communication system)(PACS)に送信するために、現在の3Dデータセットに関連付けられたメタデータを使用するステップであって、要求メッセージが同じ患者および同じ身体部分の前の3Dデータセットをプロセッサに送信するようにデータベースに指示する、ステップをさらに含み得る。したがって、前の3Dデータセットは、現在の3Dデータセットのメタデータに基づいて自動的に取得される。
一実施形態では、第1の訓練された3D深層ニューラルネットワークシステムは、その入力において3Dデータセットを受信し、その出力において1つまたは複数の候補VOIの3Dデータセット内の位置を決定するように訓練された少なくとも第1の3D深層畳み込みニューラルネットワーク(CNN)、好ましくは深層完全畳み込みニューラルネットワークであって、各候補VOIが、異常が存在する可能性がある3Dデータセット内の位置を定義する、少なくとも第1の3D CNNと、第1の3D CNNの出力から候補VOIを受信し、候補VOIのボクセルが異常を表す可能性に関する確率を決定するように訓練された少なくとも第2の3D深層CNNとを含み得る。したがって、異常を検出するための深層ニューラルネットワークシステムは、候補VOIを生成するための第1の3D CNNと、偽陽性を減らすための候補VOIを評価する第2の3D CNNとを含む。
一実施形態では、位置合わせアルゴリズムは、現在の3Dデータセットのボクセルを前の3Dデータセットのボクセルに位置合わせするための非剛体変換を含み得る。
一実施形態では、位置合わせアルゴリズムは、その入力において現在の3Dデータセットの第1のVOIと前の3Dデータの第2のVOIとを受信し、その出力において類似性スコアを決定するように訓練された第3の3D深層ニューラルネットワーク(DNN)システムを備え得、類似性スコアは、第1のVOIのボクセルと第2のVOIのボクセルとの間の類似性に関する尺度を定義する。両方の3Dデータセットのすべてのボクセルを位置合わせする既存の位置合わせアルゴリズムとは対照的に、訓練されたDNNに基づく位置合わせは、3Dデータセット内のVOIを位置合わせする。したがって、このプロセスは、計算負荷が大幅に少ない。
一実施形態では、第3の3D DNNは、3D深層シャムニューラルネットワークとして構成され得、シャムニューラルネットワークは、第1のVOIを受信および処理するための第1の3D深層ニューラルネットワーク部分、好ましくは第1の3D深層CNNと、第2の3D深層ニューラルネットワーク部分、好ましくは第2の3D深層CNNとを含み、第1および第2の3D深層ニューラルネットワーク部分は、同じ重みを共有する。
一実施形態では、マッピングを生成する位置合わせアルゴリズムは、現在の3Dデータセット内の1つまたは複数の第1のVOIから選択された第1のVOIと前の3Dデータセット内の1つまたは複数の第2のVOIから選択された第2のVOIとの組合せに関連する確率スコアを含む類似性マトリックスを決定することと、現在の3Dデータセットの1つまたは複数の第1のVOIと前の3Dデータセットの1つまたは複数の第2のVOIとの間の最適なマッピングを決定するために、類似性マトリックスに基づく線形最適化アルゴリズムを使用することとを含み得る。
一実施形態では、それぞれ、現在の3Dデータセット内の第1のボクセルを識別する第1のバイナリ3Dマップを形成するために、第1の3Dマップ内の確率に第1のしきい値が適用され得、前の3Dデータセット内の第2のボクセルを識別する第2の3Dバイナリマップを形成するために、第2の3Dマップ内の確率に第2のしきい値が適用される。
一実施形態では、第1のしきい値は、第1の3Dバイナリマップによって識別されたボクセル体積の合計が現在の3Dデータセット内の異常の体積を表すように選択され得、第2のしきい値は、第2の3Dバイナリマップによって識別されたボクセル体積の合計が前の3Dデータセット内の異常の体積を表すように選択され得る。したがって、この実施形態では、VOIに基づいて3D DNNによって生成された確率的3Dマップ(ここで、マップの確率の合計は、異常の体積Vの尺度を表す)は、バイナリ3Dマップに変換され、ここで、バイナリ3Dマップによって識別されたボクセルの合計は、異常の体積の推定値を表す。
一実施形態では、方法は、現在の3Dデータセットおよび前の3Dデータセットに関連するデジタルレポートを生成するステップをさらに含み得、デジタルレポートは、現在の3Dデータセット内の異常の3Dグラフィカル表現と、前の3Dデータセット内の異常の3Dグラフィカル表現と、異常の成長率とを含む。
一実施形態では、第1の3D DNNシステムおよび/または第2のDNNは、畳み込み層の1つまたは複数のブロックを備え得、各ブロックは、3D CNNと2D CNNとを含み、再成形演算は、3D CNNのスライスを複数の2Dスライスに再成形し、各スライスは、2D CNNによって処理される。
一実施形態では、2D CNNは、2D残余CNNとして構成され得る。
一実施形態では、第1の3D DNNシステムまたは第3の3D深層ニューラルネットワークは、3D残余畳み込みニューラルネットワークを備え得る。
一実施形態では、現在および前の3Dデータセットの記憶および取得は、DICOM規格に基づき得る。
さらなる態様では、本発明は、複数の3D深層ニューラルネットワークを訓練する方法に関し得、方法は、プロセッサが、複数の3D DNNを訓練するための訓練セットを受信するステップであって、訓練セットが、患者の身体部分の3Dデータセット、好ましくは3D CTスキャンであって、3Dデータセットの各々がゼロまたは1つもしくは複数の異常(例えば、病変または小結節)のいずれかを含む、3Dデータセットと、3Dデータセットの少なくとも一部に関する1つまたは複数の関心体積(VOI)であって、各VOIが異常に関連付けられている、VOIとを含む、ステップと、各VOIについて、VOIのボクセル表現と、VOIが3Dデータセット内のどの位置にあるかを示す位置情報と、VOIのボクセルに関する確率を定義する確率的3Dマップとを受信するステップであって、ボクセルに関連付けられた確率が、ボクセルが異常の一部である可能性を定義する、ステップと、3Dデータセットのボクセル表現を入力として使用し、位置情報を目標として使用して第1の3D深層ニューラルネットワークを訓練するステップと、VOIのボクセル表現を入力として使用し、VOIのボクセル表現に関連付けられた確率的3Dマップを目標として使用して第2の3D深層ニューラルネットワークを訓練するステップと、VOIのボクセル表現とVOIのボクセル表現の非線形画像変換とを入力として使用し、類似性スコアを目標として使用して第3の3D深層ニューラルネットワークを訓練するステップであって、類似性スコアがVOIのボクセル表現とボクセル表現の非線形画像変換との間の類似性を定義する、ステップとを含む。
一態様では、本発明は、3Dデータセット内のオブジェクトの成長率の自動決定のためのコンピュータシステムに関し得、コンピュータシステムは、具体化されたコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体であって、プログラムコードが少なくとも1つの訓練された3D深層ニューラルネットワークを含む、コンピュータ可読記憶媒体と、コンピュータ可読記憶媒体に結合された少なくとも1つのプロセッサ、好ましくはマイクロプロセッサとを備え、コンピュータ可読プログラムコードの実行に応答して、少なくとも1つのプロセッサは、第1の時間インスタンスに関連付けられた現在の3Dデータセットを第1の3D深層ニューラルネットワーク(DNN)システムの入力に提供する動作であって、現在の3Dデータセットが患者の身体部分のボクセル表現を定義し、第1の3D DNNシステムが、3Dデータセットを受信し、3Dデータセットが1つまたは複数の異常(例えば、小結節または病変)を含む場合、それぞれ3Dデータセット内の1つまたは複数のVOIを出力するように訓練されており、入力に応答して、プロセッサが、第1の3D DNNの出力からの現在の3Dデータセット内の1つまたは複数の第1のVOIを受信する、動作と、第2の時間インスタンスに関連付けられた前の3Dデータセットを第1の3D深層ニューラルネットワーク(DNN)システムの入力に提供する動作であって、前の3Dデータセットが患者の身体部分のボクセル表現を定義し、入力に応答して、プロセッサが、第1の3D DNNの出力から前の3Dデータセット内の1つまたは複数の第2のVOIを受信する、動作と、1つまたは複数の第1のVOIを1つまたは複数の第2のVOIに位置合わせするために位置合わせアルゴリズムを使用する動作であって、位置合わせアルゴリズムがマッピングを生成し、マッピングが現在の3Dデータセット内の第1のVOIに対して前の3Dデータセット内の対応する第2のVOIを決定し、プロセッサが同じ異常に関連するボクセルを含む、第1および第2のVOIを決定するためにマッピングを使用する、動作と、第1のVOIおよび対応する第2のVOIのボクセルを第2の3D DNNの入力に提供する動作であって、第2の3D DNNが、VOIのボクセルを受信し、VOIのボクセルに関する確率を定義する3Dマップを出力するように訓練されており、ボクセルに関連付けられた確率が、ボクセルが異常の一部である可能性を定義し、プロセッサが、第2の3D DNNの出力から第1の3Dマップと第2の3Dマップとを受信し、異常を表す現在の3Dデータセット内の第1のボクセルを識別するために第1の3Dマップを使用し、異常を表す前のデータセット内の第2のボクセルを識別するために第2の3Dマップを使用する、動作と、第1のボクセルに基づいて異常の第1の体積を決定し、第2のボクセルに基づいて異常の第2の体積を決定し、成長率を決定するために第1の体積と第2の体積とを使用する動作とを含む実行可能な動作を実行するように構成される。
一実施形態では、3Dデータセット内のオブジェクトの成長率の自動決定のためのコンピュータシステムは、上記で説明した方法ステップのうちのいずれかを実装し得る。
本発明は、コンピュータのメモリ内で実行されると、上記で説明した請求項のいずれかによる方法ステップを実行するように構成されたソフトウェアコード部分を備えるコンピュータプログラム製品にも関し得る。
さらなる態様では、本発明は、コンピュータのメモリ内で実行されると、上記で説明したプロセスステップのうちのいずれかを実行するように構成されたソフトウェアコード部分を備えるコンピュータプログラム製品にも関し得る。
本発明について、本発明による実施形態を概略的に示す添付図面を参照してさらに説明する。本発明は、これらの特定の実施形態になんら限定されないことが理解されよう。
本発明の一実施形態による3Dデータセット内の異常の成長率を自動決定するためのシステムを示す図である。 本発明の一実施形態による3D深層ニューラルネットワークシステムに基づく検出モジュールを示す図である。 本発明の一実施形態による検出モジュールのための3D深層ニューラルネットワークのネットワークアーキテクチャを示す図である。 本発明の一実施形態による検出モジュールのための3D深層ニューラルネットワークのネットワークアーキテクチャを示す図である。 本発明の一実施形態による3Dデータセット内のVOIをマッピングするためのシステムの概略図である。 本発明の一実施形態によるセグメンテーションモジュールを示す図である。 本発明の一実施形態によるセグメンテーションモジュールのための3D深層ニューラルネットワークのネットワークアーキテクチャを示す図である。 本発明の一実施形態による位置合わせモジュールを示す図である。 本発明の別の実施形態による位置合わせモジュールを示す図である。 本発明の一実施形態による位置合わせモジュールのための3D深層ニューラルネットワークのネットワークアーキテクチャを示す図である。 本発明の一実施形態による成長率を決定するためのモジュールを示す図である。 本発明の一実施形態による3Dデータセット内の異常の検出、セグメンテーション、および位置合わせの深層ニューラルネットワークを訓練するための訓練モジュールを示す図である。 3Dデータセットの記憶および取得のためのクライアントサーバシステムの例を示す図である。 3Dデータセットの取得のための一連のプロトコルメッセージを示す図である。 本発明の一実施形態による3Dデータセット内の異常の成長率を自動決定するためのプロセスのフロー図である。 本発明の別の実施形態による3Dデータセット内の異常の成長率を自動決定するためのプロセスのフロー図である。 本発明の一実施形態による3Dデータセット内の異常の成長率を自動決定するためのシステムによって生成された電子レポートの例を示す図である。 本出願で説明する方法およびソフトウェア製品を実行するために使用され得る例示的なデータ処理システムを示すブロック図である。
本開示では、スキャンシステム、例えば、CTスキャンシステムまたはCBCTスキャンシステムなどのX線スキャンシステムによって生成された3Dデータセット内の1つまたは複数のオブジェクト、例えば、病変または小結節などの1つまたは複数の組織異常の自動検出のための3D深層ニューラルネットワーク(DNN)を使用するコンピュータシステムおよびコンピュータ実装方法の実施形態について説明する。一般に、そのようなスキャンシステムは、3Dデータセットを生成するように構成され、各3Dデータセットは、患者の身体部分の3D表現を定義する。システムは、深層学習に基づく3Dデータセット内の組織異常の自動検出のために構成されたモジュールを含み得る。さらに、システムは、深層学習に基づく3Dデータセット内で検出された組織異常のセグメンテーションのために構成されたモジュールを含み得る。加えて、システムは、深層学習に基づく、同じ患者の異なる3Dデータセット、例えば、前の3Dデータセットおよび現在の3Dデータセット内で検出された組織異常の位置合わせのためのモジュールを含み得る。最後に、システムは、位置合わせされた組織異常の成長率を決定するためのモジュールを含み得る。モジュールは、深層学習または別のアルゴリズムに基づき得る。システムのプロセッサは、現在の3Dデータセットにおいて検出された組織異常の成長率がいかなる人間の介入もなしに完全に自動的に決定され得るように、モジュールを制御し得る。システムによって決定される成長率は、例えば、ソフトウェアアプリケーションを使用して3Dデータを解釈および処理する医療従事者に基づくゴールデンスタンダード(グラウンドトゥルース)に少なくとも匹敵する精度を有し得る。本発明の例示的な実施形態について、以下により詳細に説明する。
図1は、本発明の一実施形態によるシステムを示す。具体的には、図1は、3Dデータセット内のオブジェクトの成長率の自動決定のためのシステム100を示す。システムは、1つまたは複数の3Dデータセット(の一部)を受信し、訓練モデルに従ってデータを入力および処理するように訓練され得る3D深層ニューラルネットワークを含む、複数のモジュールを実行するように構成された1つまたは複数のコンピュータ上に実装され得る。システムは、PACSシステムの1つまたは複数の記憶ユニット103、例えば、データベースを含むデータ記憶および取得システム102、例えば、データベースシステムなどに接続されたスタンドアロンシステム(例えば、サーバシステム、またはクラウドアプリケーションなどのネットワークアプリケーション)として実装され得る。3Dデータセットは、現在の3Dデータセット104、すなわち、システムによって処理されるべき患者の3Dデータセットと、1つまたは複数の前の3Dデータセット106、すなわち、同じ患者の以前の3Dデータセットとを含み得る。医療分野では、そのようなデータ記憶および取得システムは、画像保存通信システム(PACS)と呼ばれる場合がある。代替的には、システムの少なくとも一部は、スキャンシステム、例えば、CTスキャンシステムなどの一部であり得る。
PACSシステムは、ネットワーク接続、例えば、インターネットを介して、他のコンピュータ(図示せず)、例えば、異なる病院に配置されたスキャンシステムの1つまたは複数のサーバに接続され得る。3Dデータセットは、患者の身体部分の3D表現を定義し得、データは、特定のデータフォーマットに従って配置され得る。例えば、一実施形態では、3Dデータセットは、(CB)CTスキャナによって生成されたX線データのボクセル表現を定義し得る。各ボクセルは、3Dグリッド内の特定の寸法の単位体積を定義し得、各ボクセルは、ハウンスフィールド単位(Hounsfield Unit)(HU)において測定されたボクセル値、例えば、無線密度に関連付けられ得る。3Dデータセットは、特定のフォーマット、例えば、DICOMフォーマットのファイルとして記憶され得る。3Dデータセットは、各2Dデータセットが(例えば、矢状または冠状タイプの)異なる取得平面を有する一連の2Dデータセットとみなされ得る。典型的には、3Dデータセットのボクセルは、解像度の点で異方性であり、すなわち、xy方向における解像度は、z方向における解像度よりも大幅に高い。
さらに、3Dデータセットは、取得平面のタイプに関する情報と、3Dデータセットを生成したスキャンシステムの画像処理コンピュータによって使用された再構成カーネルと、データがスキャンシステムによって生成された時間を定義する時間情報、例えば、タイムスタンプとを含むメタデータを含み得る。ここで、再構成カーネルは、スキャンシステムの検出器出力からボクセル表現を生成するために使用されたフィルタ補正投影アルゴリズム(filtered- forward projection algorithm)に関連付けられ得る。メタデータは、DICOMフォーマットを有し得る。
システムは、PACSシステムを含む外部システムとインターフェースするためのインターフェースプロセッサ108を含み得る。以下でより詳細に説明するように、プロセッサは、例えば、データベースにアクセスするためのクライアント-サーバプロトコルを使用してPACSシステムと通信するように構成されたアプリケーション、例えば、クライアントアプリケーションを含み得る。PACSシステムとの通信は、既知のプロトコルに基づき得る。例えば、DICOMフォーマットを有する3Dデータセットにアクセスするために、DICOM Query/Retrieveプロトコルが使用され得る。インターフェースプロセッサは、システムによって処理される3Dデータセットを含むファイルに関連付けられたメタデータを処理し、システム内のモジュールに関連するメタデータを提供するようにさらに構成され得る。インターフェースプロセッサは、訓練された3D深層ニューラルネットワークを備えるモジュールのデータ処理パイプラインにさらに接続される。データセットがデータ処理パイプラインのモジュールの1つの入力に提供される前に、前処理モジュール109が、3Dデータセットを前処理するように構成され得る。前処理は、データ処理パイプライン内のさらなるモジュールによって処理される予定の3Dデータセット(現在のおよび前の)がすべての3D次元においてすべて同じ解像度を有することに注意する正規化プロセスを含み得る。
システムは、組織異常、例えば、病変の成長率を(例えば、「体積倍加時間」または「VDT」として)自動的に決定するように構成される。そのために、システム、例えば、中央プロセッサは、インターフェースプロセッサがPACSシステムから(時間インスタンスT1において生成された)患者の現在の3Dデータセットを受信し、受信した現在の3Dデータセットを、現在の3Dデータセット内の1つまたは複数のVOIを決定するための検出モジュールに転送し、各VOIは、異常に関連付けられたボクセルを含むことを決定し得る。そのようなVOIが検出された場合、中央プロセッサは、(以前の時間インスタンスT0において生成された)同じ患者の関連する前の3Dデータセットを探すようにインターフェースプロセッサに指示し得る。さらに、中央プロセッサが、インターフェースプロセッサが関連する前の3Dデータセットを決定したと判断した場合、中央プロセッサは、前の3Dデータセット内の1つまたは複数のVOIを決定するために、前の3Dデータセットを検出モジュールに転送し得る。1つまたは複数のVOIが現在の3Dデータセットと前の3Dデータセットの両方において検出された場合、中央プロセッサは、現在のデータセット内のVOIのボクセルおよび前のデータ内のVOIのボクセルが同じ異常を表しているかどうかを判定するために、現在および前の3Dデータセット内で検出されたVOIを評価するように位置合わせモジュールに指示し得る。さらに、中央プロセッサは、検出された異常の一部であるものとして、検出されたVOI内のボクセルを分類するようにセグメンテーションモジュールに指示し得る。異常に属するボクセルとして分類されたボクセルの体積は、異常の体積を導出するために使用され得る。アルゴリズムにおける変動がセグメント化されたボクセルから導出され得る体積における変動を引き起こす可能性があることが知られているので、好ましくは、現在および前の3Dデータセットのセグメンテーションは、セグメンテーションアルゴリズムの同じバージョンに基づいて実行される。
さらに、処理された3Dデータセットに関連付けられたメタデータに基づいて、スキャン間の経過時間が決定され得る。異常の体積および経過時間は、異常の成長率に関する尺度を決定するために使用され得る。例えば、診断および/または治療のための成長率パラメータは、いわゆる「体積倍加時間」であり、これは、以下の式、
Figure 2021536330
によって定義され、ここで、V0およびV1は、それぞれ時間インスタンスT0およびT1における組織異常の体積である。V0=V1の場合、またはV0とV1との間の差が非常に小さい場合、VDTの数値は、数値的に不安定になる。その場合、例えば、成長パーセンテージ(GP)などの別のメトリックがシステムによって計算され得る。
Figure 2021536330
システムは、現在の3Dデータセットに基づいて成長率を自動的に決定するので、システムは、関連する前の3Dデータセットを自動的に取得し得る。そのために、インターフェースプロセッサは、データベースにアクセスするためのプロトコルメッセージを生成し、クエリ基準と、現在の3Dデータセットのメタデータ、例えば、DICOMメタデータタグの評価とに基づいて、3Dデータセットを取得し得る。システムは、少なくとも医療専門家による3Dデータセットに基づく成長率の決定と同じくらい正確な精度で成長率を決定するように構成される。
異常の成長率の正確な尺度を自動的に決定することができるシステムを実現するために、システムは、3Dデータセット内の異常を検出するために訓練された3D深層ニューラルネットワークを含む検出モジュール110と、検出モジュールによって検出された異常をセグメント化するために訓練された3D深層ニューラルネットワークを含むセグメンテーションモジュール112と、現在および前の3Dデータセット内で検出された異常に基づいて異常を位置合わせするように構成された位置合わせモジュール114とを含み得る。セグメンテーションモジュールの出力(現在および前の3Dデータセット内で検出された異常のセグメント化されたボクセル)および位置合わせモジュールの出力(現在および前の3Dデータセット内で検出された異常の類似性に関する尺度)は、成長率モジュール116の入力に供給され得る。成長率モジュールは、成長率122に関する尺度を決定するために必要とされるモジュールによって処理される3Dデータセットのメタデータ(例えば、現在の3Dデータセットのメタデータ118および前の3Dデータセットのメタデータ120)を受信するようにさらに構成され得る。システム内のモジュールによる3Dデータセットの取得および3Dデータセットの処理は、中央プロセッサ101によって制御され得る。
したがって、専門家が画像処理システムによって提供された情報に基づいて成長率を推定する従来技術とは対照的に、本発明は、システムの入力に提供される3Dデータセット内の異常の成長率を自動的に決定するシステムを提供する。成長率の精度は、医療専門家が、3Dデータセットの2Dスライスの手動検査およびセグメンテーションによって、ならびにそのようにセグメント化された3Dデータに基づいて体積を決定することによって3Dデータセットを処理するゴールデンスタンダードと少なくとも同じくらい正確である。精度は、システムのデータ処理パイプライン内の特定の機能のために特別に設計および訓練された深層ニューラルネットワークのセットによって提供される。モジュール、深層ニューラルネットワーク、およびモジュールによって実行されるプロセスについて、以下により詳細に説明する。
図2は、本発明の一実施形態による3D深層ニューラルネットワークシステムに基づく検出モジュールを示す。この図に示すように、検出モジュール202は、(少なくとも)2つの3D深層ニューラルネットワーク、第1の3D深層ニューラルネットワークと第2の3D深層ニューラルネットワーク210とを備え得る。第1の3D深層ニューラルネットワーク206は、3Dデータセット204の空間、例えば、ボクセル空間内の関心体積(VOI)の1つまたは複数の位置を決定するように訓練され得、各VOIは、異常を含み得る。ボクセルのセット203(例えば、3Dデータセットまたは少なくともその実質的な部分)の形態における入力データは、訓練された第1の深層ニューラルネットワークの入力に供給され得、それに応答して、第1の3D深層ニューラルネットワークは、異常を含む可能性がある候補VOIの位置を識別し得る。候補VOIの位置の周りのボクセルのセットは、3Dデータセット内の候補VOIのボクセルのセットをその入力において受信し、VOIが異常を含むかどうかに関する確率を生成するように訓練された第2の3D深層ニューラルネットワークによって評価され得る。ネットワークによって決定された確率が、VOIが異常を表すボクセルを含むと検出モジュールが結論付けるのに十分な高さであるかどうかを判定するために、しきい値が使用され得る。このように、検出モジュールの出力データ214は、3Dデータセット203内の1つまたは複数のVOI218、220の1つまたは複数のボクセルセットを含み得、各ボクセルセットの一部は、異常を表す。セグメンテーションモジュールは、その後、これらのボクセルを分類およびセグメント化し得る。
検出モジュールの深層ニューラルネットワークは、検出モジュールが異なるサイズの入力データ、ボクセルの体積を扱うことができるように構成され得る。したがって、一実施形態では、第1の3D深層ニューラルネットワークは、有効なパディング層のみを含み、ストライド層またはプーリング層を含まない場合がある完全畳み込みネットワークアーキテクチャを有し得る。加えて、3Dデータセットを生成するスキャナシステムのイメージング設定により、(CB)CTデータセットなどの多くのイメージングモダリティは、高度に異方性なボクセルをしばしば含み、これは、3次元すべてが同じ解像度を有していないことを意味する。xy平面(スライス)における画像解像度は、z方向における解像度よりもはるかに高い(10倍よりも高い)場合がある。したがって、z方向よりもはるかにより多い情報がxy平面内で利用可能である。そのような高度に異方性なボクセルのセットへの3D畳み込みニューラルネットワーク(CNN)の直接の適用は、多くの3D CNNによって使用される3×3×3カーネルおよび1×1×1カーネルを使用して有用な3D特徴を学習することが困難である場合があるので、問題を引き起こす場合がある。
3D深層ニューラルネットワーク、例えば、3D CNNによって高度に異方性な3Dデータセットを処理することの問題は、2D畳み込み層と3D畳み込み層の両方と、それらの間で変換する再成形演算を使用することによって対処され得る。
図3Aおよび図3Bは、本発明の一実施形態による検出モジュールのための3D深層ニューラルネットワークのネットワークアーキテクチャを示す。具体的には、この図は、高度に異方性な3Dデータセットを処理するように訓練された3D深層ニューラルネットワークのアーキテクチャを示し、すなわち、z次元において、xおよびy次元における解像度よりも実質的に低い解像度を有し、入力データの体積における関心体積VOIの位置の予測を導出する。
図3Aに示すように、深層ニューラルネットワークは、3D CNNと2D CNNとを含み得、周知の再成形演算が、3D CNNと2D CNNとの間の遷移を処理する。例えば、第1の再成形演算R1が、第1の3D(入力)ブロック300のスライスを複数の2Dスライスに再成形し得、各スライスは、スライスの寸法が縮小される第1の2D CNN302によって処理され得る。その後、第2の再成形演算R2が、縮小されたxy寸法の第2の3Dブロック304を構築するために、処理されたスライスを使用し得る。第1の3D畳み込み演算が、その後、3Dブロックを3次元において縮小された寸法の第2の3Dブロック308に処理し得る。その後、第2の3Dブロックは、上記で説明したのと同様の方法で第2の2D CNN310によって処理され得る。このプロセスは、数回繰り返され得る。2D畳み込み層の包含は、xy平面においてのみ動作することによってネットワークの深さを拡張し得る。このように、高度に異方性な3Dデータセットの有用な特徴を学習するネットワークの能力が改善される。
一実施形態では、2D CNNのネットワークアーキテクチャは、残差ネットワークブロック(ResNet)、またはResNetブロックのような機能を提供するブロック、例えば、ResNeXtブロックを含み得、残差ネットワークに典型的なように、ブロックの入力がクロップされ、出力に追加される。追加は、「追加」層を使用して達成される。残差ブロックは、いわゆる「勾配消失」問題に陥ることなく、ネットワークの深さ(および、したがって、有用な特徴を決定するその能力)を改善し得る。
別の実施形態では、2D CNNは、メモリ使用量および計算リソースの点で典型的には効率が低い非常に大きい畳み込みフィルタを必要とすることなく、特徴ごとにより大きい視野を得るために、拡張畳み込みを使用するように構成され得る。例えば、2D CNNは、データを処理するために拡張畳み込みを使用し得るブロックを備え得る。例えば、第1の2D CNN302は、拡張1の畳み込み層を含み得、第2の2D CNN310は、拡張2の畳み込み層を含み得、第3の2D CNN(図示せず)は、拡張3の畳み込み層を含み得る、などである。
図3Bは、本発明の一実施形態によるニューラルネットワークの実装形態の概要を示す。ネットワークの層およびそれらの寸法について、Table 1(表1)を参照して以下により詳細に説明する。図3Bに示すように、ネットワークは、所定の寸法(この例では、7×128×128)の入力3D入力層320を有し得る。入力層に供給される3Dデータセットの入力形状は、可変であるので、ネットワークは、完全畳み込みネットワーク(ネットワークの3D部分と2D部分の両方)として実装され得る。したがって、入力層の寸法は、ネットワークの入力に提供される3Dデータセットの寸法に適応する。入力層は、3D入力層のスライスが残差ネットワーク構成内の複数の2D畳み込み層C1〜C9を含む第1の2D CNN322によって処理され得るように、再成形演算R1が続けられ得る。例えば、C1〜C3は、3×3畳み込みカーネルに基づく2つの層C1、C2と、1×1畳み込みカーネルに基づく層C3とを有する第1の残差ブロックを形成し得、C1は、128×128の寸法を有し、C2は、126×126の寸法を有し、C3は、124×124の寸法を有する。ここで、第1の2D CNNは、第1の残差ブロックを備え得、層C1への入力は、追加動作M1を使用してC3層の出力に追加される。同様に、第1の2D CNNは、第2および第3の残差ブロックを含み得る。第2の残差ブロックは、それぞれ3×3および1×1畳み込みカーネルに基づく2つの層C4、C5を含み得、C4は、124×124の寸法を有し、C5は、122×122の寸法を有し、層C4への入力は、追加動作M2を使用してC5層の出力に追加される。同様に、第3の残差ブロックは、それぞれ3×3および1×1畳み込みカーネルに基づく2つの層C6、C7を含み得、C6は、122×122の寸法を有し、C7は、120×120の寸法を有し、層C6への入力は、追加動作M3を使用してC7層の出力に追加される。その後、入力ブロックの処理されたスライスを使用する7×120×120の3Dブロックへの再成形演算R2が実行され得る。さらなる3D畳み込み演算が、3Dブロックを5×118×118の3Dブロックに縮小し得る。2D CNNについて3Dブロックを再成形し、2D CNNによって3Dブロックのスライスを処理し、処理されたスライスを縮小された寸法の処理された3Dブロックに再成形するプロセスは、数回繰り返され得る。プロセスの最後に、最後の再成形演算R6が、この例では、シグモイド演算が行われる1×58×58のブロックを構成する。シグモイド演算の結果は、入力の体積内の候補VOIを定義する長方形ブロックである。シグモイドは、ボクセルごとの確率を提供する。しきい値に基づく後処理が、候補VOIの位置を表す最大値を位置特定するために使用される。Table 1(表1)は、例示的なネットワークアーキテクチャの層について説明している。
Figure 2021536330
Table 1(表1)の例は、ネットワークの入力層に提供された7×128×128の3Dデータセットがその後1×58×58データセットに縮小される例について説明しているが、ネットワークは、可変サイズの3Dデータセットを受信するように構成されている。例えば、約150×500×500ボクセルを含む最新技術のスキャンシステムによって生成された3Dデータセットが、144×430×430ボクセルの出力ラベルを生成するニューラルネットワークの入力に供給され得、各ボクセルは、ボクセルが異常の一部である確率を定義する。入力データセットは、出力ラベルが入力データセットと同じ形状を有するようにパディングされ得る。ボクセル値は、十分に高い確率のボクセルの位置がネットワークの入力層に提供された3Dデータセットのボクセル空間内の候補VOIの1つまたは複数の位置を識別するために使用され得るように、しきい値に基づいて評価され得る。
図4は、本発明の一実施形態による検出モジュールのための3D深層ニューラルネットワークのネットワークアーキテクチャを示す。このネットワークは、その入力において3Dデータセット内の候補VOIのボクセル(のセット)を受信するように訓練され得る。3Dデータセット内の候補VOIの位置は、図3Aおよび図3Bを参照して説明したように、深層ニューラルネットワークの出力に基づいて決定され得、VOIが異常を含むかどうかの指標を決定し得る。ネットワークの入力は、ストライディングおよびパディングなどの技法が使用され得るように固定される。さらに、3D深層ニューラルネットワークは、ネットワークの深さを改善するために、残差ネットワークタイプの構成において3D CNN層を含む一連の「スーパー」残差ネットワーク(レスネット(resnet))ブロック(例えば、ブロック402)を含む。同じ寸法のブロックの追加を可能にするために、レスネットブロックは、ダウンサンプリング動作を含む(Table 2(表2)において、解像度が次の層において半分になるので、2×2×2のストライドがダウンサンプリング動作とみなされ得る)。最後に、最後の層のうちの1つとして、追加の畳み込み層の必要なしに単一の値を効率的に取得するために、周知のグローバル平均プーリング層が使用される。Table 2(表2)は、例示的なネットワークアーキテクチャの層を示す。
Figure 2021536330
Figure 2021536330
図5は、本発明の一実施形態によるセグメンテーションモジュールを示す。この図に示すように、モジュールは、先に説明した検出モジュールによって検出されるように3Dデータセット内の1つまたは複数のVOIを含むデータストレージ502を含み得る。モジュールは、VOIからの異常をセグメント化するために3D深層ニューラルネットワークを使用し得る。したがって、3D深層ニューラルネットワークは、その入力においてVOIのボクセルを受信し、VOIのボクセルの各々が異常に属するかどうかを判定するように訓練され得る。ネットワークの出力は、VOI506の中心の周りに配置されたボクセルの3Dブロックを定義する確率的マップであり得る。各ボクセルは、確率値に関連付けられており、ボクセルが異常に属するかどうかを判定するために、しきい値が使用され得る。VOIのボクセルの確率の合計は、小結節の体積Vの推定値を提供する。確率的出力に基づいてバイナリセグメンテーションを作成するために、しきい値を超える確率を有するボクセルの体積の合計が可能な限りVに近くなるように、しきい値が選択され得る。そのようなしきい値は、セグメンテーションごとに異なるので、探索アルゴリズムに基づいてしきい値を推定するために適応型しきい値設定方式が使用され得る。この適応型しきい値設定方式は、セグメンテーション推論の後処理ステップとして実行され得る。このように、セグメンテーションモジュールは、ボクセル表現のどのボクセルが異常に属し、どのボクセルが小結節の周りのコンテキストに属するかを示す、VOIのボクセル表現に関する3Dバイナリボクセルマップを決定し得る。3Dバイナリボクセルマップは、VOIの中心の周りに配置され得、その寸法は、VOIのボクセル表現の寸法よりも小さい場合がある。
図6は、本発明の一実施形態によるセグメンテーションモジュールのための3D深層ニューラルネットワークのネットワークアーキテクチャを示す。セグメント化深層ニューラルネットワークは、解像度の点で高度に異方性なボクセルのセットを処理することができる必要がある。その理由のため、VOI候補を生成するために訓練された検出モジュール内のネットワークのネットワークアーキテクチャと同様のネットワークアーキテクチャが使用され得る。したがって、ネットワークは、ニューラルネットワークの入力に提示されたVOIのボクセルから有用な特徴を導出するために、3D CNNと2D CNNの両方、残差ネットワークブロック、および/または拡張畳み込み演算を含み得る。しかしながら、この場合、ネットワークの入力の寸法は、固定されており、VOIのボクセル表現のサイズと同じであり得る。Table 3(表3)は、例示的なネットワークアーキテクチャの層を示す。
Figure 2021536330
図7は、本発明の一実施形態による位置合わせモジュールを示す。図1を参照して説明したように、異常に関連するボクセルを含む少なくとも1つの第1のVOI704が現在の3Dデータセット内で検出された場合、システムは、同じ患者の関連する前の3Dデータセットを探し、異常を表す少なくとも1つの第2のVOI702が前の3Dデータセット内に存在するかどうかを判定し得る。少なくとも1つのVOIが現在の3Dデータセットと前の3Dデータセットの両方において検出された場合、検出されたVOIは、VOIが同じ異常に関連しているかどうかを判定するために、位置合わせモジュール704によって評価され得る。そのために、位置合わせモジュールは、少なくとも2つの入力、例えば、現在の3Dデータセット内のVOIのボクセルセットと前の3Dデータセット内のVOIのボクセルセットとを受信するための第1の入力を備える。両方のセットは、2つの3Dデータセットのボクセル空間全体に適用される非剛体変換に基づいて評価され得る。非剛体変換は、両方の3Dデータセット内のVOIを含む、両方の3Dデータセットのボクセル空間を位置合わせする。位置合わせされたVOIに基づいて、マッピングM関数が決定され得る。検出モジュールによって検出された異常aを含むVOIに基づいて、マッピングM関数は、前の3Dデータセット内の対応する異常bを含むVOIを返し、すなわち、b=M(a)である。例えば、Bスプライン変換などの周知の非剛体変換が、3Dデータセットを位置合わせするために使用され得る。このように、現在の3Dデータセット内の第1のVOIが、前の3Dデータセット内の第2のVOIにリンクされ得る。
図7に示す位置合わせモジュールの1つの欠点は、非剛体変換による3Dデータセット全体の処理が計算集約的である可能性があることである。したがって、一実施形態では、3D深層ニューラルネットワークに基づく位置合わせプロセスが使用され得る。そのような位置合わせモジュールの概略図が、図8Aおよび図8Bにおいて示されている。図8Aに示すように、モジュールは、前の3Dデータセット802内の1つまたは複数のVOIの位置と現在の3Dデータセット804の1つまたは複数のVOIの位置とを記憶するためのストレージと、2つのボクセル表現、現在の3DデータセットのVOIのボクセル表現と前の3DデータセットのVOIのボクセル表現との間の類似性スコアを決定するように訓練された3D深層ニューラルネットワーク806とを備える。次いで、記憶されたVOIに基づいて、モジュールは、前の3DデータセットのVOIおよび現在の3DデータセットのVOIのボクセル表現のセットのすべての組合せを決定し得、各セットのボクセル表現を3D深層ニューラルネットワークの入力に提供することによって、これらのセットの各々について、類似性スコアを決定し得る。このように、位置合わせモジュールは、前および現在の3DデータセットからのVOIのすべての可能な組合せについて類似性スコア808を決定し得、類似性スコアは、現在の3Dデータセット内のVOIのボクセル表現および前の3Dデータセット内のVOIのボクセル表現が同じ異常を表している確率を定義する。類似性スコアは、類似性マトリックスにおいて並べられ得る。さらに、図8Bに示すように、第2の段階において、位置合わせモジュールのプロセッサ812は、現在の3DデータセットのVOIと前の3DデータセットのVOIとの間の最適なマッピング関数M814を決定するために、類似性マトリックスS810に基づいて線形最適化アルゴリズムを実行するように構成され得る。したがって、マッピング関数の決定は、以下のようになり得る。
入力:それぞれタイムスタンプT0およびT1における3Dデータセットに関する異常位置L0およびL1のリスト。
L0における各異常A0ごとに
L1における各異常A1ごとに
類似性スコアS(A0,A1)を計算する
出力:寸法|L0|×|L1|を有する類似性マトリックスS
類似性マトリックスSが与えられた場合、最適なマッピングMの決定を線形計画問題として定式化し、シンプレックスアルゴリズムを適用することによって、マッピング尤度を最大化するL0とL1との間の最適なマッピングMを計算する。
L0における5つの異常とL1における4つの異常とに関連する類似性マトリックスの一例は、以下のようになり得る。
[1. 0.47 0. 0. 0.]
[0.34 1. 0. 0. 0.]
[0. 0. 1. 0. 0.]
[0. 0. 0. 0.2 0.04]
マッピング関数Mは、前の3Dデータセット内の対応する異常bを含むVOIを返し、すなわち、b=M(a)である。したがって、図8Aおよび図8Bの位置合わせモジュールは、前の3DデータセットのVOIを現在の3DデータセットのVOIと比較するように構成された訓練された3D深層ニューラルネットワークに基づいてマッピング関数を決定する。このように、位置合わせモジュールは、3Dデータセット全体の位置合わせを決定する必要はない。代わりに、前および現在の3Dデータセットのパッチ(小さいサブ部分)のみが位置合わせされ、それによって、従来の非剛体変換位置合わせアルゴリズムに基づく位置合わせモジュールと比較した場合、位置合わせモジュールの計算負荷を大幅に低減する。
図9は、本発明の一実施形態による位置合わせモジュールのための3D深層ニューラルネットワークのネットワークアーキテクチャを示す。深層ニューラルネットワークは、VOIの第1のボクセル表現を処理するように訓練された第1の深層ニューラルネットワークブランチ902と、VOIの第2のボクセル表現を処理するように訓練された第2のニューラルネットワークブランチ904とを含む、いわゆるシャム双生児ネットワークとして構成され得、第1および第2のニューラルネットワークは、同一(同じ重み)である。第1および第2のニューラルネットワークの出力は、両方のネットワークの出力を比較し、類似性尺度を決定する第3のニューラルネットワーク906によって処理される。Table 4(表4)は、例示的なネットワークアーキテクチャの層を示す。
Figure 2021536330
Figure 2021536330
この表に示すように、第1および第2の深層ニューラルネットワークブランチは、(図4を参照して説明したネットワークアーキテクチャと同様に)ネットワークの深さを改善するために、残差ネットワークタイプの構成において3D畳み込みを含む一連の「スーパー」残差ネットワーク(レスネット)ブロックを含み得る。
図10は、本発明の一実施形態による成長率モジュールを示す。図1を参照して説明したように、成長率モジュールは、現在の3Dデータセット内で検出された異常および前の3Dデータセット内の対応する異常に関する体積を決定するように構成される。体積は、セグメンテーションマップによって決定されたバイナリマップに基づいて決定され得る。図5を参照してすでに説明したように、3Dバイナリマップは、異常に属するボクセルとして適格なVOI内のボクセルを識別し、バイナリマップによって識別されたボクセルの体積の合計は、異常の体積の推定値を提供する。したがって3Dバイナリマップと、現在の3DデータセットのVOIのボクセル表現と、前の3Dデータセットの対応するVOIのボクセル表現とに基づいて、前の3Dデータセットおよび現在の3Dデータセット内の異常の体積V0およびV11010がそれぞれ決定され得る。ここで、異常の体積は、バイナリマップによって異常に属するものとして識別されたボクセルの体積を合計することによって決定され得る。これらの体積と、オプションで追加のメタデータとに基づいて、成長率メトリック1012が決定され得る。例えば、成長率(GP)が計算され得る。加えて、前および現在の3Dデータセットに関連付けられたメタデータに基づいて、具体的には、3Dデータセットが生成された時間インスタンスT0およびT1は、体積倍加時間(VDT)を決定するために、体積とともに使用され得る。
システムのモジュールの出力は、現在および前の3Dデータセット内の異常の3Dレンダリングを生成するために使用され得る。例えば、VOIのセグメント化されたボクセルに基づいて、異常の3D表面メッシュが決定され得る。さらに、3Dレンダリングと、3Dレンダリングに関連する成長率メトリックとを含むデジタルレポートが生成され得る。
図11Aは、システム内のモジュールの3D深層ニューラルネットワークを訓練するための訓練モジュールを示す。図11Bは、システムの検出モジュールの訓練された3D DNNシステムのFROC曲線を示す。3D DNNの訓練段階中、3D訓練データセット1108、すなわち、適切な3Dデータセット、典型的には3D CTスキャンの大規模なデータセットは、手動および/またはコンピュータで作成されたラベルとともに、(ニューラルネットワークのネットワークパラメータ、例えば、重みによって表される)モデルを多数回反復的に更新するために使用される。ニューラルネットワークの出力と正しいラベルとの間の誤差を減少させることによって、3D DNNの各々のネットワークパラメータの正しい値をゆっくりと学習するために、周知の確率的勾配降下最適化法が使用され得る。誤り率が低下を停止すると、ネットワークの訓練段階が完了する。
このプロセスは、少なくとも、異常を検出するための3D深層ニューラルネットワーク1110と、VOI内の異常をセグメント化するための3D DNN1114と、前および現在の3Dデータセットの異常を位置合わせするための3D DNN1118とを含むシステムの各3D DNNに適用される。
訓練段階は、以下のステップのうちの1つまたは複数を含み得る前処理ステップを含み得る。
1.3Dデータセットの大規模なセット、例えば、訓練セットとして関連する身体部分の3D CTスキャンを含む異なる患者の研究を決定するステップであって、研究は、典型的には、各々が異なる取得平面(例えば、矢状または冠状)でとられたいくつかの3Dデータセットおよび再構成カーネルから構成され得る。
2.病変の検出に最も高い関連性を有する放射線学的専門知識に基づいて1つまたは複数の3Dデータセットを選択するステップであって、好ましくは、選択された3Dデータセットは、DICOMフォーマット(または別の適切な規格)を有するか、またはDICOMフォーマット(または別の適切な規格)に変換される。
3.1つまたは複数の選択された3Dデータセットを、システム内のモジュールによるその後の処理に適したフォーマットに変換するステップであって、具体的には、変換の一部として、1つまたは複数の選択された3Dデータセットの解像度は、3次元において標準化され得る。
次に、選択された3Dデータセットに対して注釈1122が生成される。注釈は、3Dデータセットの各々のスライス内の異常を示すように適格な読み手(典型的には経験豊かな放射線科医)によって決定され得る。スライスに注釈を付けるために、コンピュータ支援画像注釈システムが使用され得る。注釈システムは、3Dデータセットのスライスをナビゲートし、スライスを選択および表示し、スライスに画像処理(複数の平面における画像再構成と最大強度投影(MIP)とを含む)を適用するように構成され得る。注釈システムは、ユーザがスライス内の異常の位置をグラフィカルに決定し、3D訓練データセットのスライス内の各異常の輪郭を決定することを可能にし得る。セグメンテーションのために、注釈システムは、3Dデータセットのスライス内の異常の輪郭を描くためのタッチ感応ペンシルまたはスタイラスを含み得る。さらに、位置合わせモデルについて、読み手は、前の3Dデータセットのスライス内のどの異常が現在のデータセットのスライス内の異常に属するかを示し得る。注釈、すなわち、決定された異常の位置1112、異常のセグメンテーション1116、および異常の位置合わせ1120は、システムの3D深層ニューラルネットワークを訓練するために訓練モジュールによって記憶および使用され得る。
決定モジュールは、2つの3D深層ニューラルネットワーク(DNN)、すなわち、入力として3Dデータセット(またはその大部分)を受信し、1つまたは複数の潜在的な異常の位置の3D座標を表すターゲットラベルを出力する、VOI候補の生成のための第1の3D DNNと、3Dデータセット内のVOIに関連するボクセルを受信し、ここでVOIの位置が第1の(候補生成)3D DNNによって提供される、VOIのボクセルが異常を表す確率に対応するスコアを表すターゲットラベルを出力する、偽陽性低減のための第2の3D DNNとを含む。第1の3D DNNと第2の3D DNNの両方は、典型的には少なくとも数千の、手動で注釈が付けられた位置1112の大規模なセットにおいて訓練される。
セグメンテーションモジュールの3D DNNは、3D入力データセット内のVOIに関連付けられたボクセルを受信するように訓練される。ネットワークの出力は、入力データセットにおけるボクセルが異常に属する確率を示す3D確率的マスクである。このネットワークは、手動でセグメント化された異常1116の大規模なセット(典型的には約1000)において訓練される。
位置合わせモジュールの3D DNNは、その入力において(検出モジュールによって決定される)第1および第2のVOIの第1および第2のボクセルセットを受信するように構成され、2つのボクセルセットが同じ異常に関連する異常を含む確率を示す0と1との間のスコアを出力するように訓練される。このネットワークは、手動で注釈が付けられた異常の位置合わせ1120の大規模なセットにおいて訓練され、元の第1のVOIに対して3D非線形変換を適用することによって、第2のVOIが作成される。
例えば、図11Aのスキームに基づくセグメンテーションモジュールの3D DNNの訓練は、以下のスキームを含み得る。
1.訓練データセットの複数の一連のスライスにおけるROIおよびROIの位置の抽出。ここで、一連のスライスは、3Dデータセットを形成し得、異なるスライスのROIは、3Dデータセット内の異なる位置におけるVOIのボクセルを形成し得、VOIのボクセルは、異常を表すボクセルを含む。
2.各VOIに関連付けられたターゲットラベルの決定であって、ターゲットラベルは、3D DNNの入力に提供されたVOIのボクセルのブロックと同じまたは類似の寸法の確率的3Dマップを表す。3Dマップの要素は、VOIのボクセルに対応し、各要素は、対応するボクセルが異常に属する可能性に関する確率に関連付けられる。
3.訓練セットのVOIのボクセルを3D DNNの入力に提供し、3D DNNの出力とVOIに関連付けられた正しい出力ラベルとに基づいて誤差を決定するために損失関数を使用するステップ。
4.ネットワークパラメータを改善するために逆伝播を適用し、予測された出力ラベルと正しい出力ラベルとの間の誤差が収束するまでこのプロセスを繰り返すステップ。
3D DNNの各々は、(図11Aによって示すように)適切な入力データとターゲットラベルとに基づいて同様の方法において訓練され得る。訓練された3D DNNのパフォーマンスは、訓練された3D DNNと医療専門家(典型的には放射線科医)の両方によって処理された3Dデータセットに基づいて評価された。
VOIをセグメント化するための3D DNNのパフォーマンスは、Table 1(表5)において提供されている。表は、医療専門家によって実行された小結節のセグメンテーション(すなわち、標準的なソフトウェアツールを使用してVOIのスライスを処理することによる「手動」セグメンテーション)と、(本出願内で説明するように)VOIのセグメンテーションを実行するように訓練された3D DNNによって実行されたセグメンテーションとの間の比較を示す。結果は、組成およびサイズ分布の点で臨床診療の適切な表現であり、したがって、臨床評価パフォーマンスの目的に適しているとみなされ得る小結節のセットを表す428の小結節に基づいて導出される。表は、両方のセグメンテーション結果、ならびにセグメンテーション結果に基づく体積および直径の決定を含む。
Figure 2021536330
Table 1(表5)に示すように、医療専門家によって決定された体積と、VOIをセグメント化するように訓練された3D DNNに基づいてシステムによって決定された体積との間にわずかな差異しか存在しない。結果は、システムが少なくとも医療専門家の精度に匹敵する精度で小結節の体積を決定することができることを示している。したがって、セグメンテーションモジュールのパフォーマンスは、臨床診療に受け入れられ得ると考えられる放射線科医の精度と同等である。さらに、ニューラルネットワークの訓練を改善することによって、システムの改善が達成され得る。
検出の3D DNNのパフォーマンスは、図11Bによって示されるように、FROC曲線の形態において与えられる。曲線は、医療専門家と訓練された3D CNNの対、すなわち、3Dデータセット内のVOI候補を決定するように訓練された3D CNNおよび候補VOIを評価するように訓練された3D CNNの両方によって評価された269の小結節(5mmよりも大きい直径および80mm3よりも大きい体積)の分析に基づく。図は、感度と偽陽性率との間のトレードオフを示す。FROC曲線が高いほど優れている。FROC曲線上の各点は、しきい値に対応する(左端において、しきい値は、1であり、右端において、しきい値は、ゼロである)。検出モジュールは、検出しきい値が平均で研究あたり≧1の偽陽性に設定されている場合、医療専門家よりも優れている。FROC曲線によって示されているように、感度は、スキャンあたり平均4つの偽陽性において約94%である。検出モジュールのパフォーマンスは、臨床診療に受け入れられ得ると考えられる。
VOIを位置合わせするための3D DNNのパフォーマンスが、Table 2(表6)において提供されている。表は、26対の小結節の位置合わせ間の比較の結果を示す。一致する3D DNNが陽性の対を識別した場合、それは、真陽性対(TP対)としてスコアリングされた。一致する3D DNNが参照標準による対ではない小結節と一致した場合、偽陽性対(FP対)がスコアリングされた。表において示されているように、偽陽性対は、ニューラルネットワークによって予測されなかった。
Figure 2021536330
パフォーマンスは、現在の研究の小結節を前の研究と一致するための位置合わせモジュールが臨床診療に受け入れられ得ると考えられることを示している。したがって、訓練されたニューラルネットワークのパフォーマンスは、システムが、少なくとも医療専門家による3Dデータセットの評価と同様の精度で3Dデータセット内の異常を検出、セグメント化、および位置合わせすることができることを示している。
図1を参照して説明したように、システムは、患者の現在の3Dデータセットを受信することができ、システムが現在の3Dデータセットが1つまたは複数の異常を含むと判断した場合、現在の3Dデータセットのメタデータに基づいて同じ患者の前の3Dデータセットを自動的に決定する。そのために、システムのインターフェースプロセッサおよびPACSシステムは、適切なプロトコルに基づいて互いに通信し得る。好ましくは、プロトコルは、医用イメージング情報を送信、記憶、取得、処理、および表示するための国際規格であるDICOM規格に基づき得る。
図12は、標準化されたデータフォーマット、例えば、DICOMデータフォーマットにおいて3Dデータセットを記憶するためのサーバ1202を含むクライアントサーバシステムの一例を示す。3Dデータセットは、標準化されたプロトコル1204に基づいてサーバと通信するように構成されたクライアントデバイス1206によってアクセスされ得る。DICOMプロトコルなど。典型的な構成において、図1のシステムのインターフェースプロセッサは、クライアントデバイスを含み得、サーバは、PACSシステムの一部であり得る。クライアントサーバシステムは、異常の成長率を評価するための比較に使用され得る前の研究、前の3Dデータセットを取得するように構成される。
3Dデータセットの取得のためのプロトコルメッセージの典型的なシーケンスを図13に示す。例は、DICOM規格に基づいて示されているが、プロセスは、任意の適切なデータベースクエリプロトコルにおいて実装され得る。第1のステップ1302において、クライアントデバイスは、現在の3Dデータセットに関連付けられたファイル名を受信し得る。クライアントデバイスは、現在の3Dスキャンデータセットに関連付けられた1つまたは複数の前の3Dスキャンデータセットに関する情報を決定するようにサーバに要求するための要求メッセージを決定するために、ファイル名に関連付けられたメタデータを使用し得る(ステップ1304)。その後、クライアントデバイスは、要求メッセージC-FIND-RQをサーバに送信し得る(ステップ1306)。要求メッセージは、サーバに送信される1つまたは複数のQ/Rクエリを含み得る。そのようなクエリの一例は、以下のようになり得る。
クエリ取得レベル:研究
クエリモデル:P(患者)
クエリパラメータ:
PatientID=<patient_id>
StudyDate=<range>(例えば、'20080101-20180505')
StudyInstanceUID=''#empty(応答メッセージにおいてPACSによって提供される)
AccessionNumber=''#empty(応答メッセージにおいてPACSによって提供される)
サーバは、患者の1つまたは複数の前の研究を決定し得(ステップ1308)、応答メッセージC-FIND-RSP内の情報をクライアントデバイスに送り返し得る(ステップ1310)。クライアントデバイスは、リストを、CTモダリティに関連し、身体の胸部に関する情報を含む研究に減らすために、情報をフィルタリングし得る。好ましくは、リストは、現在の研究よりも少なくとも2ヶ月早い前の研究を含む。複数の前の研究が存在する場合、最新の研究が選択され得る。クライアントデバイスは、サーバによって提供された情報に基づいてさらなる要求メッセージを構築し得る(ステップ1312)。さらなる要求メッセージC-MOVE-RQは、サーバに送信され得(ステップ1314)、それに応答して、サーバは、現在の3Dスキャンデータセットに関連付けられた選択された前の3Dデータセットを送信する(ステップ1316)。
図14は、本発明の一実施形態による、3Dデータセット内の異常の成長率を自動決定するためのプロセスのフロー図を示す。具体的には、フロー図は、図12および図13を参照して説明したように、PACSシステムからの前の3Dデータセットの自動取得を示す。この図に示すように、プロセスは、システムの様々なモジュールを制御および実行するシステムの中央プロセッサCPUによって管理される。プロセスは、異常の成長率の推定値を含め、異常の存在に関して臨床的に主張される必要がある現在の研究、例えば、現在の3Dデータセットを取得するようにCPUがインターフェースプロセッサに指示することで開始し得る。インターフェースプロセッサは、(少なくとも)現在の3Dデータセットを要求するためのPACSシステムへの要求メッセージを送信し得(ステップ1402)、要求に応答して、PACSシステムは、(少なくとも)現在の3Dデータセットと現在の3Dデータセットに関連付けられたメタデータとを含む応答メッセージをインターフェースプロセッサに送信し得る(ステップ1404)。インターフェースプロセッサとPACSシステムとの間の通信のために実装されるプロトコルに応じて、インターフェースプロセッサとPACSシステムとの間の通信は、例えば、DICOMプロトコルに関して図13に示すように、複数の要求および応答メッセージを含み得る。選択された3Dデータセットは、プリプロセッサによって正規化され得(ステップ1406)、その後、検出モジュールおよびセグメンテーションモジュールによって処理され得る(ステップ1408)。ここで、検出モジュールは、3Dデータセット内の1つまたは複数のVOIを検出し、各VOIは、異常に関連付けられたボクセルを含み、セグメンテーションモジュールは、各々の検出されたVOIのボクセルをセグメント化し、VOIのボクセルの確率的3Dマップを生成する。確率的3Dマップは、例えば、適応型しきい値設定プロセスに基づいて、バイナリ3Dマップに変換され得る。バイナリ3Dマップは、異常の一部である現在の3Dデータセット内のボクセルを識別し、バイナリ3Dマップによって識別されたボクセルのボクセル体積の合計は、異常の体積を表し得る。
CPUが、1つまたは複数のVOIが検出およびセグメント化されたと判断した場合、CPUは、同じ患者の前の研究、例えば、前の3Dデータセットを取得するようにインターフェースプロセッサに指示する。そのために、インターフェースプロセッサは、現在の3Dデータセットのメタデータに基づいて要求メッセージを構築し、適切な前の3Dデータセットを探すために要求メッセージ内のメタデータを使用するPACSに要求メッセージを送信する(ステップ1412)。PACSシステムが適切な前の3Dデータセットを見つけた場合、PACSシステムは、前のデータセットおよび前のデータセットに関連付けられたメタデータを応答メッセージにおいてインターフェースプロセッサに送信する(ステップ1414)。また、この場合、使用されるプロトコルに基づいて、インターフェースプロセッサとPACSとの間のメッセージ交換は、複数のメッセージを含み得る。次いで、前の3Dデータセットは、正規化(ステップ1416)と検出およびセグメンテーション(ステップ1418)とを含む、現在の3Dデータセットと同じ方法において処理され得、異常を含む1つまたは複数のVOIと、各VOIについて、異常に属する前の3Dデータ内のボクセルを識別するバイナリ3Dマップとを結果として生じる。したがって、CPUが、前の3Dデータセットが異常を含むと判断した場合、CPUは、現在および前の3DデータセットのVOIを、現在および前のデータセットの異常を位置合わせするための位置合わせモジュールに送信する(ステップ1420)。位置合わせモジュールは、現在および前の3Dデータセット内のVOI間のマッピングMを生成し得、マッピングMは、異常に関連付けられた現在の3Dデータセット内のVOIを、同じ異常に関連付けられた前の3Dデータセット内のVOIにリンクする。その後、成長率モジュールが、VOIの1つまたは複数の対を示すマッピングMと、同じ異常に関連する現在の3Dデータセットのうちの1つおよび前の3Dデータセットのうちの1つと、現在および前の3Dデータセットに関連付けられたメタデータ(具体的には、どの時間インスタンスにおいてデータが生成されたかの情報)と、VOIの1つまたは複数の対の各々のバイナリ3Dマップとを受信し得、各バイナリ3Dマップは、異常の体積の尺度を提供する。この情報に基づいて、成長率モジュールは、各異常に関する成長率メトリックを決定し得る(ステップ1422)。プロセスの結果は、人間が読めるフォーマットにおいて専門家に通信され得る。そのために、モジュールによって決定された情報、例えば、成長率メトリック、現在および前の3Dデータセット内の異常の3Dセグメント化VOIなどを含む電子レポートが生成され得る。プロセス全体が完全に自動化されているので、成長率メトリックの計算が正確に実行されたことを医療専門家が検証することを情報が可能にすることが重要である。したがって、レポートは、セグメンテーションモジュールの視覚化、現在および前の3Dデータセットの2Dまたは3Dレンダリングも含む。システムによって決定された検出された現在および前の小結節のメトリック1602(体積および直径)と、小結節(の形状および位置)が輪郭によって視覚的に識別される現在および前の3Dデータセットのスライス1604と、検出された現在および前の小結節の3Dレンダリング1606とを示す電子レポートの一例を図16に示す。
図15は、本発明の一実施形態による、3Dデータセット内の異常の成長率を自動決定することの全体的なフロー図を示す。この図に示すように、本発明は、第1の3D DNNが、現在の3Dデータセット内の1つまたは複数の第1のVOIと前の3Dデータセット内の第2のVOIとを決定するステップであって、VOIが異常に関連付けられている、ステップ(ステップ1502)と、位置合わせアルゴリズム、好ましくは、第3の3D DNNを含む位置合わせアルゴリズムが、1つまたは複数の第1のVOIと第2のVOIとの間のマッピングを決定するステップであって、マッピングが、現在の3Dデータセット内の第1のVOIに対して、前の3Dデータセット内の対応する第2のVOIを提供する、ステップ(ステップ1504)と、第2の3D DNNが、第1のVOIのボクセルを異常を表す第1のボクセルにセグメント化し、対応する第2のVOIのボクセルを異常を表す第2のボクセルにセグメント化するステップ(ステップ1506)と、第1のボクセルに基づいて異常の第1の体積を決定し、第2のボクセルに基づいて異常の第2の体積を決定し、成長率を決定するために第1および第2の体積を使用するステップ(ステップ1508)とを含む。
図16は、本開示で説明したように使用され得る例示的なデータ処理システムを示すブロック図である。データ処理システム1600は、システムバス1606を介してメモリ要素1604に結合された少なくとも1つのプロセッサ1602を含み得る。したがって、データ処理システムは、メモリ要素1604内にプログラムコードを記憶し得る。さらに、プロセッサ1602は、システムバス1606を介してメモリ要素1604からアクセスされるプログラムコードを実行し得る。一態様において、データ処理システムは、プログラムコードを記憶および/または実行するのに適したコンピュータとして実装され得る。しかしながら、データ処理システム1600は、本明細書内に記載された機能を実行することができる、プロセッサとメモリとを含む任意のシステムの形態において実装され得る。
メモリ要素1604は、例えば、ローカルメモリ1608および1つまたは複数のバルク記憶デバイス1610などの、1つまたは複数の物理メモリデバイスを含み得る。ローカルメモリは、プログラムコードの実際の実行中に一般的に使用されるランダムアクセスメモリまたは他の非永続的メモリデバイスを指し得る。バルク記憶デバイスは、ハードドライブまたは他の永続的データ記憶デバイスとして実装され得る。処理システム1600は、実行中にプログラムコードがバルク記憶デバイス1610から取得されなければならない回数を減らすために、少なくとも一部のプログラムコードの一時的な記憶を提供する1つまたは複数のキャッシュメモリ(図示せず)も含み得る。
入力デバイス1612および出力デバイス1614として示されている入力/出力(I/O)デバイスが、オプションでデータ処理システムに結合され得る。入力デバイスの例は、限定はしないが、例えば、キーボード、マウスなどのポインティングデバイスなどを含み得る。出力デバイスの例は、限定はしないが、例えば、モニタまたはディスプレイ、スピーカなどを含み得る。入力デバイスおよび/または出力デバイスは、直接、または介在するI/Oコントローラを介してデータ処理システムに結合され得る。データ処理システムが介在するプライベートまたはパブリックネットワークを介して他のシステム、コンピュータシステム、リモートネットワークデバイス、および/またはリモート記憶デバイスに結合されるようになることを可能にするために、ネットワークアダプタ1616もデータ処理システムに結合され得る。ネットワークアダプタは、前記システム、デバイス、および/またはネットワークによって前記データ処理システムに送信されたデータを受信するためのデータ受信機と、前記システム、デバイス、および/またはネットワークにデータを送信するためのデータ送信機とを備え得る。モデム、ケーブルモデム、およびイーサネットカードが、データ処理システム1600で使用され得る様々なタイプのネットワークアダプタの例である。
図16において描かれているように、メモリ要素1604が、アプリケーション1618を記憶し得る。データ処理システム1600は、アプリケーションの実行を容易にすることができるオペレーティングシステム(図示せず)をさらに実行し得ることが理解されるべきである。実行可能なプログラムコードの形態において実装されているアプリケーションは、データ処理システム1600によって、例えば、プロセッサ1602によって実行され得る。アプリケーションを実行することに応答して、データ処理システムは、本明細書においてさらに詳細に説明する1つまたは複数の動作を実行するように構成され得る。
一態様において、例えば、データ処理システム1600は、クライアントデータ処理システムを表し得る。その場合、アプリケーション1618は、実行されると、「クライアント」を参照して本明細書で説明した様々な機能を実行するようにデータ処理システム1600を構成するクライアントアプリケーションを表し得る。クライアントの例は、限定はしないが、パーソナルコンピュータ、ポータブルコンピュータ、携帯電話などを含むことができる。
本明細書で使用される用語は、特定の実施形態を説明することのみを目的とし、本発明の限定であることを意図していない。本明細書で使用される場合、単数形「a」、「an」、および「the」は、文脈が明らかにそうでないことを示さない限り、複数形も同様に含むことを意図している。本明細書で使用されるとき、「備える」および/または「備えている」という用語は、記載された特徴、整数、ステップ、動作、要素、および/または構成要素の存在を指定するが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはそれらのグループの存在または追加を排除しないことがさらに理解されよう。
以下の特許請求の範囲におけるすべての手段またはステッププラス機能(means or step plus function)要素の対応する構造、材料、行為、および均等物は、具体的に特許請求された他の特許請求された要素と組み合わせて機能を実行するための任意の構造、材料、または行為を含むことを意図している。本発明の説明は、例示および説明の目的のために提示されているが、網羅的であること、または開示された形態における発明に限定されることを意図していない。多くの修正および変形が、本発明の範囲および要旨から逸脱することなく当業者には明らかであろう。実施形態は、本発明の原理と実際の適用とを最もよく説明し、当業者が、企図された特定の使用に適した様々な変更を伴う様々な実施形態について本発明を理解することを可能にするために選択および説明された。
100 システム
101 中央プロセッサ
102 データ記憶および取得システム
103 記憶ユニット
104 現在の3Dデータセット
106 前の3Dデータセット
108 インターフェースプロセッサ
109 前処理モジュール
110 検出モジュール
112 セグメンテーションモジュール
114 位置合わせモジュール
116 成長率モジュール
118 メタデータ
120 メタデータ
122 成長率
202 検出モジュール
203 ボクセルのセット、3Dデータセット
204 3Dデータセット
206 第1の深層ニューラルネットワーク
210 第2の深層ニューラルネットワーク
214 出力データ
218 VOI
220 VOI
300 第1の3D(入力)ブロック
302 第1の2D CNN
304 第2の3Dブロック
308 第2の3Dブロック
310 第2の2D CNN
502 データストレージ
506 VOI
702 第2のVOI
704 第1のVOI、位置合わせモジュール
802 前の3Dデータセット
804 現在の3Dデータセット
806 3D深層ニューラルネットワーク
808 類似性スコア
810 類似性マトリックスS
812 プロセッサ
814 マッピング関数M
902 第1の深層ニューラルネットワークブランチ
904 第2のニューラルネットワークブランチ
906 第3のニューラルネットワーク
1010 異常の体積V0およびV1
1012 成長率メトリック
1108 3D訓練データセット
1110 異常を検出するための3D深層ニューラルネットワーク
1112 決定された異常の位置、手動で注釈が付けられた位置
1114 VOI内の異常をセグメント化するための3D DNN
1116 異常のセグメンテーション、手動でセグメント化された異常
1118 前および現在の3Dデータセットの異常を位置合わせするための3D DNN
1120 異常の位置合わせ、手動で注釈が付けられた異常の位置合わせ
1122 注釈
1202 サーバ
1204 標準化されたプロトコル
1206 クライアントデバイス

Claims (15)

  1. 3Dデータセット内のオブジェクトの成長率の自動決定のための方法であって、
    プロセッサが、第1の時間インスタンスに関連付けられた現在の3Dデータセット、好ましくは3D CTスキャンを第1の3D深層ニューラルネットワーク(DNN)システムの入力に提供するステップであって、前記現在の3Dデータセットが患者の身体部分のボクセル表現を定義し、前記第1の3D DNNシステムが、3Dデータセットを受信し、前記3Dデータセットが1つまたは複数の異常(例えば、小結節または病変)を含む場合、前記3Dデータセット内の1つまたは複数の関心体積(VOI)を出力するように訓練されており、前記1つまたは複数のVOIが前記1つまたは複数の異常に関連付けられており、前記入力に応答して、前記プロセッサが、前記第1の3D DNNの前記出力から前記現在の3Dデータセット内の1つまたは複数の第1のVOIを受信する、ステップと、
    前記プロセッサが、第2の時間インスタンスに関連付けられた前の3Dデータセット、好ましくは3D CTスキャンを前記第1の3D深層ニューラルネットワーク(DNN)システムの前記入力に提供するステップであって、前記前の3Dデータセットが前記患者の前記身体部分のボクセル表現を定義し、前記入力に応答して、前記プロセッサが、前記第1の3D DNNの前記出力から前記前の3Dデータセット内の1つまたは複数の第2のVOIを受信する、ステップと、
    前記プロセッサが、前記1つまたは複数の第1のVOIを前記1つまたは複数の第2のVOIに位置合わせするために位置合わせアルゴリズムを使用するステップであって、前記位置合わせアルゴリズムがマッピングを生成し、前記マッピングが前記現在の3Dデータセット内の第1のVOIに対して前記前の3Dデータセット内の対応する第2のVOIを決定し、前記第1のVOIおよび前記対応する第2のVOIが前記同じ異常に関連する、ステップと、
    前記プロセッサが、前記第1のVOIおよび前記対応する第2のVOIのボクセルを第2の3D DNNの前記入力に提供するステップであって、前記第2の3D DNNがVOIのボクセルを受信し、前記VOIのボクセルに関する確率を定義する3Dマップを出力するように訓練されており、ボクセルに関連付けられた確率が、前記ボクセルが異常の一部である可能性を定義し、前記プロセッサが、前記第2の3D DNNの前記出力から第1の3Dマップと第2の3Dマップとを受信し、前記異常を表す前記現在の3Dデータセット内の第1のボクセルを識別するために前記第1の3Dマップを使用し、前記異常を表す前記前のデータセット内の第2のボクセルを識別するために前記第2の3Dマップを使用する、ステップと、
    前記プロセッサが、前記第1のボクセルに基づいて前記異常の第1の体積を決定し、前記第2のボクセルに基づいて前記異常の第2の体積を決定し、成長率を決定するために前記第1の体積と第2の体積とを使用するステップと
    を含む方法。
  2. 前記プロセッサが前記1つまたは複数の第1のVOIを受信した後、前記プロセッサが、要求メッセージを構築し、前記要求メッセージをデータベース、好ましくは画像保存通信システム(PACS)に送信するために、前記現在の3Dデータセットに関連付けられたメタデータを使用するステップであって、前記要求メッセージが前記同じ患者および前記同じ身体部分の前の3Dデータセットを前記プロセッサに送信するように前記データベースに指示する、ステップをさらに含む、請求項1に記載の方法。
  3. 前記第1の訓練された3D深層ニューラルネットワークシステムが、その入力において3Dデータセットを受信し、その出力において1つまたは複数の候補VOIの前記3Dデータセット内の位置を決定するように訓練された少なくとも第1の3D深層畳み込みニューラルネットワーク(CNN)、好ましくは深層完全畳み込みニューラルネットワークであって、各候補VOIが、異常が存在する可能性がある前記3Dデータセット内の位置を定義する、少なくとも第1の3D CNNと、前記第1の3D CNNの前記出力から候補VOIを受信し、候補VOIのボクセルが異常を表す可能性に関する確率を決定するように訓練された少なくとも第2の3D深層CNNとを含む、請求項1または2に記載の方法。
  4. 前記位置合わせアルゴリズムが、前記現在の3Dデータセットのボクセルを前記前の3Dデータセットのボクセルに位置合わせするための非剛体変換を含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記位置合わせアルゴリズムが、その入力において前記現在の3Dデータセットの第1のVOIと前記前の3Dデータの第2のVOIとを受信し、その出力において類似性スコアを決定するように訓練された第3の3D深層ニューラルネットワーク(DNN)システムを備え、前記類似性スコアが、前記第1のVOIのボクセルと前記第2のVOIのボクセルとの間の類似性に関する尺度を定義し、
    好ましくは、前記第3の3D DNNが3D深層シャムニューラルネットワークとして構成され、前記シャムニューラルネットワークが、前記第1のVOIを受信および処理するための第1の3D深層ニューラルネットワーク部分、好ましくは第1の3D深層CNNと、第2の3D深層ニューラルネットワーク部分、好ましくは第2の3D深層CNNとを含み、前記第1および第2の3D深層ニューラルネットワーク部分が同じ重みを共有する、請求項1から3のいずれか一項に記載の方法。
  6. マッピングを生成する前記位置合わせアルゴリズムが、
    前記現在の3Dデータセット内の前記1つまたは複数の第1のVOIから選択された第1のVOIと前記前の3Dデータセット内の前記1つまたは複数の第2のVOIから選択された第2のVOIとの組合せに関連する確率スコアを含む類似性マトリックスを決定するステップと、
    前記現在の3Dデータセットの前記1つまたは複数の第1のVOIと前記前の3Dデータセットの前記1つまたは複数の第2のVOIとの間の最適なマッピングを決定するために、前記類似性マトリックスに基づく線形最適化アルゴリズムを使用するステップ
    とを含む、請求項5に記載の方法。
  7. それぞれ、前記現在の3Dデータセット内の前記第1のボクセルを識別する第1のバイナリ3Dマップを形成するために、第1の3Dマップ内の前記確率に第1のしきい値が適用され、前記前の3Dデータセット内の前記第2のボクセルを識別する第2の3Dバイナリマップを形成するために、前記第2の3Dマップ内の前記確率に第2のしきい値が適用され、好ましくは、前記第1のしきい値が、前記第1の3Dバイナリマップによって識別されたボクセル体積の前記合計が前記現在の3Dデータセット内の前記異常の前記体積を表すように選択され、前記第2のしきい値が、前記第2の3Dバイナリマップによって識別されたボクセル体積の合計が前記前の3Dデータセット内の前記異常の前記体積を表すように選択される、請求項1から6のいずれか一項に記載の方法。
  8. 前記方法が、
    前記現在の3Dデータセットおよび前記前の3Dデータセットに関連するデジタルレポートを生成するステップをさらに含み、前記デジタルレポートが、前記現在の3Dデータセット内の前記異常の3Dグラフィカル表現と、前記前の3Dデータセット内の前記異常の3Dグラフィカル表現と、前記異常の前記成長率とを含む、請求項1から7のいずれか一項に記載の方法。
  9. 前記第1の3D DNNシステムおよび/または前記第2のDNNが、畳み込み層の1つまたは複数のブロックを備え、各ブロックが3D CNNと2D CNNとを含み、再成形演算が、前記3D CNNのスライスを複数の2Dスライスに再成形し、各スライスが、前記2D CNN、好ましくは2D残余CNNとして構成された前記2D CNNによって処理される、請求項1から8のいずれか一項に記載の方法。
  10. 前記第1の3D DNNシステムまたは前記第3の3D深層ニューラルネットワークが、3D残余畳み込みニューラルネットワークを備える、請求項1から9のいずれか一項に記載の方法。
  11. 前記現在および前の3Dデータセットの記憶および取得が、DICOM規格に基づく、請求項1から8のいずれか一項に記載の方法。
  12. 複数の3D深層ニューラルネットワークを訓練する方法であって、
    複数の3D DNNを訓練するための訓練セットを受信するステップであって、前記訓練セットが、患者の身体部分の3Dデータセット、好ましくは3D CTスキャンであり、前記3Dデータセットの各々がゼロまたは1つもしくは複数の異常(例えば、病変または小結節)のいずれかを含む、3Dデータセットと、前記3Dデータセットの少なくとも一部に関する1つまたは複数の関心体積(VOI)であり、各VOIが異常(例えば、病変または小結節)に関連付けられている、VOIとを含む、ステップと、
    各VOIについて、前記VOIのボクセル表現と、前記VOIが3Dデータセット内のどの位置にあるかを示す位置情報と、前記VOIのボクセルに関する確率を定義する確率的3Dマップとを受信するステップであって、ボクセルに関連付けられた確率が、前記ボクセルが異常の一部である可能性を定義する、ステップと、
    前記3Dデータセットのボクセル表現を入力として使用し、前記位置情報を目標として使用して第1の3D深層ニューラルネットワークを訓練するステップと、
    前記VOIのボクセル表現を入力として使用し、前記VOIの前記ボクセル表現に関連付けられた確率的3Dマップを目標として使用して第2の3D深層ニューラルネットワークを訓練するステップと、
    前記VOIのボクセル表現と前記VOIの前記ボクセル表現の非線形画像変換とを入力として使用し、類似性スコアを目標として使用して第3の3D深層ニューラルネットワークを訓練するステップであって、類似性スコアがVOIのボクセル表現と前記ボクセル表現の非線形画像変換との間の類似性を定義する、ステップと
    を含む方法。
  13. 具体化されたコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体であって、前記プログラムコードが少なくとも1つの訓練された3D深層ニューラルネットワークを含む、コンピュータ可読記憶媒体と、前記コンピュータ可読記憶媒体に結合された少なくとも1つのプロセッサ、好ましくはマイクロプロセッサとを備える、3Dデータセット内のオブジェクトの成長率の自動決定のためのコンピュータシステムであって、
    前記コンピュータ可読プログラムコードの実行に応答して、前記少なくとも1つのプロセッサが、
    第1の時間インスタンスに関連付けられた現在の3Dデータセット、好ましくは3D CTスキャンを第1の3D深層ニューラルネットワーク(DNN)システムの入力に提供する動作であって、前記現在の3Dデータセットが患者の身体部分のボクセル表現を定義し、前記第1の3D DNNシステムが、3Dデータセットを受信し、前記3Dデータセットが1つまたは複数の異常(例えば、小結節または病変)を含む場合、前記3Dデータセット内の1つまたは複数の関心体積(VOI)を出力するように訓練されており、前記1つまたは複数のVOIが前記1つまたは複数の異常に関連付けられており、前記入力に応答して、前記プロセッサが、前記第1の3D DNNの前記出力からの前記現在の3Dデータセット内の1つまたは複数の第1のVOIを受信する、動作と、
    第2の時間インスタンスに関連付けられた前の3Dデータセット、好ましくは3D CTスキャンを前記第1の3D深層ニューラルネットワーク(DNN)システムの入力に提供する動作であって、前記前の3Dデータセットが前記患者の前記身体部分のボクセル表現を定義し、前記入力に応答して、前記プロセッサが、前記第1の3D DNNの出力から前記前の3Dデータセット内の1つまたは複数の第2のVOIを受信する、動作と、
    前記1つまたは複数の第1のVOIを前記1つまたは複数の第2のVOIに位置合わせするために位置合わせアルゴリズムを使用する動作であって、前記位置合わせアルゴリズムがマッピングを生成し、前記マッピングが前記現在の3Dデータセット内の第1のVOIに対して前記前の3Dデータセット内の対応する第2のVOIを決定し、前記第1のVOIおよび前記対応する第2のVOIが前記同じ異常に関連する、動作と、
    前記第1のVOIおよび前記対応する第2のVOIのボクセルを第2の3D DNNの入力に提供する動作であって、前記第2の3D DNNが、VOIのボクセルを受信し、前記VOIのボクセルに関する確率を定義する3Dマップを出力するように訓練されており、ボクセルに関連付けられた確率が、前記ボクセルが異常の一部である可能性を定義し、前記プロセッサが、前記第2の3D DNNの出力から第1の3Dマップと第2の3Dマップとを受信し、前記異常を表す前記現在の3Dデータセット内の第1のボクセルを識別するために前記第1の3Dマップを使用し、前記異常を表す前記前のデータセット内の第2のボクセルを識別するために前記第2の3Dマップを使用する、動作と、
    前記第1のボクセルに基づいて前記異常の第1の体積を決定し、前記第2のボクセルに基づいて前記異常の第2の体積を決定し、成長率を決定するために前記第1の体積と前記第2の体積とを使用する動作と
    を含む実行可能な動作を実行するように構成される、コンピュータシステム。
  14. 前記第1の訓練された3D深層ニューラルネットワークシステムが、その入力において3Dデータセットを受信し、その出力において1つまたは複数の候補VOIの前記3Dデータセット内の位置を決定するように訓練された少なくとも第1の3D深層畳み込みニューラルネットワーク(CNN)、好ましくは深層完全畳み込みニューラルネットワークであって、各候補VOIが、異常が存在する可能性がある前記3Dデータセット内の位置を定義する、少なくとも第1の3D CNNと、前記第1の3D CNNの前記出力から候補VOIを受信し、候補VOIのボクセルが異常を表す可能性に関する確率を決定するように訓練された少なくとも第2の3D深層CNNとを含み、および/または
    前記位置合わせアルゴリズムが、その入力において前記現在の3Dデータセットの第1のVOIと前記前の3Dデータの第2のVOIとを受信し、その出力において類似性スコアを決定するように訓練された第3の3D深層ニューラルネットワーク(DNN)システムを備え、前記類似性スコアが、前記第1のVOIのボクセルと前記第2のVOIのボクセルとの間の類似性に関する尺度を定義し、好ましくは、前記第3の3D DNNが3D深層シャムニューラルネットワークとして構成され、前記シャムニューラルネットワークが、前記第1のVOIを受信および処理するための第1の3D深層ニューラルネットワーク部分、好ましくは第1の3D深層CNNと、第2の3D深層ニューラルネットワーク部分、好ましくは第2の3D深層CNNとを含み、前記第1および第2の3D深層ニューラルネットワーク部分が同じ重みを共有する、
    請求項13に記載のコンピュータシステム。
  15. コンピュータのメモリ内で実行されると、請求項1から12のいずれか一項に記載の方法ステップを実行するように構成されたソフトウェアコード部分を備えるコンピュータプログラム製品。
JP2021513260A 2018-09-04 2019-09-04 深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定 Active JP7346553B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NL2021559 2018-09-04
NL2021559A NL2021559B1 (en) 2018-09-04 2018-09-04 Determination of a growth rate of an object in 3D data sets using deep learning
PCT/NL2019/050574 WO2020050721A1 (en) 2018-09-04 2019-09-04 Determination of a growth rate of an object in 3d data sets using deep learning

Publications (2)

Publication Number Publication Date
JP2021536330A true JP2021536330A (ja) 2021-12-27
JP7346553B2 JP7346553B2 (ja) 2023-09-19

Family

ID=64607249

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021513260A Active JP7346553B2 (ja) 2018-09-04 2019-09-04 深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定

Country Status (8)

Country Link
US (1) US11996198B2 (ja)
EP (1) EP3847665A1 (ja)
JP (1) JP7346553B2 (ja)
CN (1) CN113168912B (ja)
AU (1) AU2019334755A1 (ja)
CA (1) CA3111320A1 (ja)
NL (1) NL2021559B1 (ja)
WO (1) WO2020050721A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7203000B2 (ja) * 2019-11-12 2023-01-12 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
CN111767390A (zh) * 2020-06-28 2020-10-13 北京百度网讯科技有限公司 技能词评估方法及装置、电子设备、计算机可读介质
US11972348B2 (en) * 2020-10-30 2024-04-30 Apple Inc. Texture unit circuit in neural network processor
US20220172073A1 (en) * 2020-11-26 2022-06-02 Zecang Gu Simulated deep learning method based on sdl model
CN115439423B (zh) * 2022-08-22 2023-09-12 北京医准智能科技有限公司 一种基于ct图像的识别方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008173213A (ja) * 2007-01-17 2008-07-31 Hitachi Medical Corp 医用画像診断支援装置
JP2011177517A (ja) * 2010-03-03 2011-09-15 Medicsight Plc 画像処理方法、画像処理装置、コンピュータが読取り可能な媒体及びコンピュータプログラム
US20140016845A1 (en) * 2011-04-08 2014-01-16 Tiferet T. Gazit Image analysis for specific objects
JP2017023551A (ja) * 2015-07-24 2017-02-02 富士通株式会社 画像処理プログラム、画像処理装置及び画像処理方法
WO2018026431A1 (en) * 2016-08-01 2018-02-08 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
US20180143275A1 (en) * 2016-11-22 2018-05-24 Hyperfine Research, Inc. Systems and methods for automated detection in magnetic resonance images

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920152B2 (en) * 2004-11-04 2011-04-05 Dr Systems, Inc. Systems and methods for viewing medical 3D imaging volumes
US20100266185A1 (en) * 2009-04-21 2010-10-21 Sloan Kettering Institute of Cancer Malignant tissue recognition model for the prostate
US8908948B2 (en) * 2011-12-21 2014-12-09 Institute Of Automation, Chinese Academy Of Sciences Method for brain tumor segmentation in multi-parametric image based on statistical information and multi-scale structure information
US9990743B2 (en) * 2014-03-27 2018-06-05 Riverain Technologies Llc Suppression of vascular structures in images
CN106659453B (zh) * 2014-07-02 2020-05-26 柯惠有限合伙公司 用于分割肺部的系统和方法
US10169685B2 (en) * 2014-07-07 2019-01-01 The Regents Of The University Of California Automatic segmentation and quantitative parameterization of brain tumors in MRI
CN107636659B (zh) * 2015-05-11 2021-10-12 西门子保健有限责任公司 使用深度神经网络检测医学图像中的地标的方法和系统
JP6667224B2 (ja) * 2015-08-07 2020-03-18 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
CN106056595B (zh) 2015-11-30 2019-09-17 浙江德尚韵兴医疗科技有限公司 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统
US10582907B2 (en) * 2016-10-31 2020-03-10 Siemens Healthcare Gmbh Deep learning based bone removal in computed tomography angiography
CN107016665B (zh) * 2017-02-16 2021-05-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
US9968257B1 (en) * 2017-07-06 2018-05-15 Halsa Labs, LLC Volumetric quantification of cardiovascular structures from medical imaging
NL2019410B1 (en) * 2017-08-10 2019-02-21 Aidence B V Computer-aided diagnostics using deep neural networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008173213A (ja) * 2007-01-17 2008-07-31 Hitachi Medical Corp 医用画像診断支援装置
JP2011177517A (ja) * 2010-03-03 2011-09-15 Medicsight Plc 画像処理方法、画像処理装置、コンピュータが読取り可能な媒体及びコンピュータプログラム
US20140016845A1 (en) * 2011-04-08 2014-01-16 Tiferet T. Gazit Image analysis for specific objects
JP2017023551A (ja) * 2015-07-24 2017-02-02 富士通株式会社 画像処理プログラム、画像処理装置及び画像処理方法
WO2018026431A1 (en) * 2016-08-01 2018-02-08 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
US20180143275A1 (en) * 2016-11-22 2018-05-24 Hyperfine Research, Inc. Systems and methods for automated detection in magnetic resonance images

Also Published As

Publication number Publication date
WO2020050721A1 (en) 2020-03-12
US20210327583A1 (en) 2021-10-21
CA3111320A1 (en) 2020-03-12
JP7346553B2 (ja) 2023-09-19
CN113168912B (zh) 2023-12-01
US11996198B2 (en) 2024-05-28
NL2021559B1 (en) 2020-04-30
CN113168912A (zh) 2021-07-23
AU2019334755A1 (en) 2021-04-08
EP3847665A1 (en) 2021-07-14

Similar Documents

Publication Publication Date Title
US20230106440A1 (en) Content based image retrieval for lesion analysis
US10347010B2 (en) Anomaly detection in volumetric images using sequential convolutional and recurrent neural networks
JP7346553B2 (ja) 深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定
NL2019410B1 (en) Computer-aided diagnostics using deep neural networks
US9959486B2 (en) Voxel-level machine learning with or without cloud-based support in medical imaging
US20200085382A1 (en) Automated lesion detection, segmentation, and longitudinal identification
Rehman et al. A region-based deep level set formulation for vertebral bone segmentation of osteoporotic fractures
Tran et al. Computational radiology in breast cancer screening and diagnosis using artificial intelligence
Blanc et al. Artificial intelligence solution to classify pulmonary nodules on CT
JP2019530488A (ja) 深層畳み込みニューラルネットワークを使用した医用画像のためのコンピュータ支援による診断システム
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
EP3893198A1 (en) Method and system for computer aided detection of abnormalities in image data
JP7101809B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Wang et al. Pulmonary nodule detection in CT images based on shape constraint CV model
US20220028510A1 (en) Medical document creation apparatus, method, and program
WO2022056297A1 (en) Method and apparatus for analyzing medical image data in a latent space representation
EP4235566A1 (en) Method and system for determining a change of an anatomical abnormality depicted in medical image data
JP2017189394A (ja) 情報処理装置および情報処理システム
JPWO2019208130A1 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
Cardenas et al. Automated radiographic bone suppression with deep convolutional neural networks
US20220351000A1 (en) Method and apparatus for classifying nodules in medical image data
EP4339961A1 (en) Methods and systems for providing a template data structure for a medical report
Khan et al. Transformative Deep Neural Network Approaches in Kidney Ultrasound Segmentation: Empirical Validation with an Annotated Dataset
CN115619705A (zh) 用于识别医学图像数据集中的切片的方法和系统
WO2021038088A1 (en) Methods for analyzing and reducing inter/intra site variability using reduced reference images and improving radiologist diagnostic accuracy and consistency

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20210415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230906

R150 Certificate of patent or registration of utility model

Ref document number: 7346553

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350