JP2020530177A - ディープニューラルネットワークを使用したコンピュータ支援診断 - Google Patents

ディープニューラルネットワークを使用したコンピュータ支援診断 Download PDF

Info

Publication number
JP2020530177A
JP2020530177A JP2020529823A JP2020529823A JP2020530177A JP 2020530177 A JP2020530177 A JP 2020530177A JP 2020529823 A JP2020529823 A JP 2020529823A JP 2020529823 A JP2020529823 A JP 2020529823A JP 2020530177 A JP2020530177 A JP 2020530177A
Authority
JP
Japan
Prior art keywords
image
voi
neural network
convolutional neural
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020529823A
Other languages
English (en)
Other versions
JP7391846B2 (ja
Inventor
マルク−ヤン・ハルテ
Original Assignee
アイデンス・ベー・フェー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイデンス・ベー・フェー filed Critical アイデンス・ベー・フェー
Publication of JP2020530177A publication Critical patent/JP2020530177A/ja
Application granted granted Critical
Publication of JP7391846B2 publication Critical patent/JP7391846B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

3D画像データにおける病変を決定するためのコンピュータ実装方法について説明し、この方法は、身体部分の少なくとも第1の3D画像を受け取るステップであって、3D画像が所定の画像ボリュームと関連するボクセルを含む、受け取るステップと、第1の3D畳み込みニューラルネットワークが、第1の3D画像の画像ボリューム中の関心ボリューム(VOI)の位置を決定するステップであって、VOIが身体部分の病変と関連し、VOIが画像ボリュームのサブボリュームを定める、決定するステップと、第1の3D畳み込みニューラルネットワークによって決定されるVOI内に位置を有する第1の3D画像のボクセルを選択することによって第1のVOIボクセルを決定し、第1のVOIボクセルを第2の3D畳み込みニューラルネットワークの入力に提供するステップと、第2の3D畳み込みニューラルネットワークが、少なくとも第1のVOIボクセルに基づいてターゲットラベル値を決定するステップであって、ターゲットラベル値がVOIにおける病変の有無を示している、決定するステップと、第2の3D畳み込みニューラルネットワークによって決定されたターゲットラベル値を、病変の記述を表すテキストおよび/またはセンテンスと関連付けることによって医療報告書を生成するステップとを含み得る。

Description

本発明は、ディープニューラルネットワークを使用したコンピュータ支援診断に関し、詳細には、限定はしないが、ディープニューラルネットワークを使用したコンピュータ支援診断のための方法およびシステム、ならびにそのような方法を使用するためのコンピュータプログラム製品に関する。
コンピュータ支援診断(CAD)は、医用画像解釈および診断を支援するために客観的所見を提供する、コンピュータ化された手順である。そのような手順では、患者の医用画像、たとえばMRI画像が、画像中のいくつかの顕著な構造および部分を検出し(すなわち、その場所を突きとめ)、その後、検出された構造および部分を病理分類に従って評価するように構成されたプログラムの入力に提供される。一般に、特徴分析および物体追跡などの従来の画像処理技法が、画像を調べ、それらから有用な情報を引き出すために使用される。しかしながら特徴分析は、問題のタイプおよび処理される必要がある画像データのタイプに大きく左右される。これらの問題に取り組むために、最近はディープニューラルネットワークが画像分析に使用され、2D画像中の特徴の直接検出および認識を可能にしている。
たとえば、Chengらが、「Computer-Aided Diagnosis with Deep Learning Architecture: Applications to Breast Lesions in US Images and Pulmonary Nodules in CT Scans」、Nature Scientific Reports、2016年4月15日において、「Stacked Denoising Auto-Encoder」(SDAE)と呼ばれる特定のディープニューラルネットワークアーキテクチャを使用した良性および悪性小結節/病変の鑑別診断のためのコンピュータ支援診断の研究について記載している。ディープニューラルネットワークは、ラベル付きの小結節または病変を含む、画像中のあらかじめ選択された領域(関心領域またはROI)を使用して訓練された。研究は、ディープニューラルネットワークに基づくCADシステムの性能が、従来のテクスチャベースのCADシステムの一部よりも良く機能した、または少なくともそれらに匹敵することを示す。
したがって、2D医用画像、たとえばDICOM「スライス」が、病変を診断するために、訓練されたディープニューラルネットワークに入力され得る。しかしながら、解剖学的構造は2D平面に抑制されず、3D構造を有し、医師が3次元で診断に関する情報を受け取ることが有利である。これらの3D構造を学習するには、3Dモデルが必要とされる。訓練されるニューラルネットワークの入力に、2D画像データの代わりに3D画像データを直接供給することが有益であろう。
しかしながら、ディープニューラルネットワーク技法を2D(ピクセル)空間から3D(ボクセル)空間に拡張し、信頼できる診断ツールとして使用できるように十分な精度で3D画像データを扱うことができる訓練されたディープネットワークを効率的に生成することは明らかではなく、3Dモデリングに必要とされる極めて大きい計算需要のために深刻な課題をもたらす。たとえば、典型的なMRI 2D「スライス」は、512*512=262Kピクセルを含むが、フル3Dシリーズ(200「スライス」を含む)は、200*512*512=5.2Mボクセルを含む。したがって、大きい3Dデータセットでは、処理量は多くなり、しばしば、3D画像データセット上での実際の適用を著しく妨げる、克服できない負担となる。
US2016174902A1は、いわゆるマージナル空間(marginal space)ディープニューラルネットワークを使用した解剖学的対象物の検出のためのコンピュータ支援検出システムの一例を記載する。記載されるシステムは、一連の訓練されたディープニューラルネットワークを含み、各ニューラルネットワークが、増加した次元性、たとえば位置、位置-向き、位置-向き-スケールなど、いくつかのパラメータ空間について訓練される。ディープニューラルネットワークアーキテクチャは、大きい3Dボリュームを扱う問題に対処するために、いわゆる「積層ノイズ除去自己符号化器」(SDAE)および「スパース適応ディープニューラルネットワーク」(SADNN)を使用する。事実上、SADNNは、処理が計算集約的でなくなるように、ディープニューラルネットワークを簡略化するための技法である。しかしながらそのような手法は、システムの精度に影響を与え得る。さらに、システムは、解剖学的対象物を検出するために構成される。システムは、医用画像解釈および診断を支援するために客観的所見を提供することができない。
US2016174902A1
Chengら、「Computer-Aided Diagnosis with Deep Learning Architecture: Applications to Breast Lesions in US Images and Pulmonary Nodules in CT Scans」、Nature Scientific Reports、2016年4月15日 Springenbergら、「Striving for simplicity: the all convolutional net」、3rd International Conference on Learning Representations、ICLR 2015
したがって、以上のことから、当技術分野には、ボクセルのボリュームに基づく効率的かつ正確なコンピュータ支援診断を可能にする、改善されたディープニューラルネットワークベースのシステムの必要があるということになる。詳細には、当技術分野には、医用画像のシーケンスのボクセルのボリュームに基づく病変の効率的かつ正確な検出、位置特定、分類、および報告を可能にする、改善されたディープニューラルネットワークベースのシステムの必要がある。
当業者には諒解されるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として具体化されてもよい。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、またはソフトウェアの態様とハードウェアの態様を組み合わせた実施形態の形をとることができ、これらを本明細書ではすべて一般的に「回路」、「モジュール」、または「システム」と呼ぶことがある。本開示で説明する機能は、コンピュータのマイクロプロセッサによって実行されるアルゴリズムとして実装されてもよい。さらに、本発明の態様は、コンピュータ可読プログラムコードをそこに包含した、たとえば記憶した、1つまたは複数のコンピュータ可読媒体において具体化されるコンピュータプログラム製品の形態をとってもよい。
1つまたは複数のコンピュータ可読媒体の任意の組合せが使用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体、またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体が、たとえば、限定はしないが、電子、磁気、光、電磁気、赤外線、または半導体のシステム、装置、またはデバイス、または上記の任意の好適な組合せであってもよい。コンピュータ可読記憶媒体のさらなる具体例(非網羅的リスト)には、1つもしくは複数の配線を有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、消去可能プログラマブル読取り専用メモリ(EPROMもしくはフラッシュメモリ)、光ファイバー、ポータブルコンパクトディスク読取り専用メモリ(CD-ROM)、光学式記憶デバイス、磁気記憶デバイス、または上記の任意の好適な組合せが含まれる。本明細書の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、もしくはデバイスによって、またはこれらと接続して使用するためのプログラムを収めるまたは記憶することができる任意の有形媒体であってもよい。
コンピュータ可読信号媒体は、たとえばベースバンドに、または搬送波の一部として、コンピュータ可読プログラムコードをその中に包含した伝搬データ信号を含んでもよい。このような伝搬信号は、限定はしないが、電磁気、光、またはそれらの任意の好適な組合せ含む、様々な形態のいずれかをとってもよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、もしくはデバイスによって、またはこれらに接続して使用するためにプログラムを伝える、伝搬する、または伝送することができる任意のコンピュータ可読媒体であってもよい。
コンピュータ可読媒体に包含されたプログラムコードは、限定はしないが、無線、有線、光ファイバーケーブル、RFなど、または上記の任意の好適な組合せを含む、任意の適切な媒体を使用して送信されてもよい。本発明の態様のための動作を実行するためのコンピュータプログラムコードは、Java(登録商標)、Smalltalk、C++などのオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語などの、従来の手続きプログラミング言語を含む、1つまたは複数のプログラミング言語の任意の組合せで書かれてもよい。プログラムコードは、すべてをユーザのコンピュータ上で、一部をスタンドアロン型ソフトウェアパッケージとしてユーザのコンピュータ上で、一部をユーザのコンピュータ上でかつ一部をリモートコンピュータ上で、またはすべてをリモートコンピュータもしくはサーバ上で、実行する場合がある。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)もしくはワイドエリアネットワーク(WAN)などの、任意のタイプのネットワークを通じてユーザのコンピュータに接続されてもよく、または(たとえば、インターネットサービスプロバイダを使用してインターネットを通じて)外部コンピュータへの接続が行われてもよい。
本発明の実施形態による方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照しながら、本発明の態様について以下に説明する。フローチャート図および/またはブロック図の各ブロック、ならびにフローチャート図および/またはブロック図中のブロックの組合せは、コンピュータプログラム命令によって実施できることは理解されよう。これらのコンピュータプログラム命令は、1つまたは複数のプロセッサ、詳細には、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置の(グラフィカル)マイクロプロセッサ、中央処理ユニット(CPU)、またはグラフィカル処理ユニット(GPU)に提供されて、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスのプロセッサにより実行される命令が、フローチャートおよび/またはブロック図の1つもしくは複数のブロックに明記される機能/行為を実施するための手段を生み出すように、機械を作り出してもよい。
これらのコンピュータプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスに、特定の方法で機能するように指示することができるコンピュータ可読媒体に記憶されて、コンピュータ可読媒体に記憶された命令が、フローチャートおよび/またはブロック図の1つもしくは複数のブロックに明記される機能/行為を実施する命令を組み込んだ製造品を作り出すようにしてもよい。
コンピュータプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードされて、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行される一連の動作ステップに、コンピュータ実装プロセスを作り出させ、コンピュータまたは他のプログラマブル装置上で実行される命令が、フローチャートおよび/またはブロック図の1つもしくは複数のブロックに明記される機能/行為を実施するためのプロセスを提供するようにしてもよい。
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実施のアーキテクチャ、機能、および動作を示す。この点について、フローチャートまたはブロック図の各ブロックは、(1つまたは複数の)指定された論理機能を実施するための1つまたは複数の実行可能命令を含むコードのモジュール、セグメント、または一部を表すことがある。いくつかの代替実装形態では、ブロックに示した機能が図に示した順序を外れて行われ得ることにも留意されたい。たとえば、連続して示した2つのブロックは、実際には実質的に同時に行われることがあり、またはブロックは、関連する機能に応じて、時には逆の順序で行われることがある。ブロック図および/またはフローチャート図の各ブロック、ならびにブロック図および/またはフローチャート図中のブロックの組合せは、指定された機能もしくは行為を行う特殊用途ハードウェアベースのシステム、または特殊用途ハードウェアおよびコンピュータ命令の組合せによって実施できることにも留意されたい。
従来技術において知られている欠点の少なくとも1つを軽減するまたは無くすことが、本発明の目的である。一態様では、本発明は、3D画像データにおける病変を決定するためのコンピュータ実装方法に関する場合があり、この方法は、身体部分の少なくとも第1の3D画像を受け取るステップであって、3D画像が所定の画像ボリュームと関連するボクセルを含む、受け取るステップと、第1の3D畳み込みニューラルネットワークが、第1の3D画像の画像ボリュームにおける関心ボリューム(VOI:volume of interest)の位置を決定するステップであって、VOIが身体部分の病変と関連し、VOIが画像ボリュームのサブボリュームを定める、決定するステップと、第1の3D畳み込みニューラルネットワークによって決定されるVOI内に位置を有する第1の3D画像のボクセルを選択することによって第1のVOIボクセルを決定し、第1のVOIボクセルを第2の3D畳み込みニューラルネットワークの入力に提供するステップと、第2の3D畳み込みニューラルネットワークが、少なくとも第1のVOIボクセルに基づいてターゲットラベル値を決定するステップであって、ターゲットラベル値がVOIにおける病変の有無を示している、決定するステップとを含む。
したがって、本発明は、第2のディープニューラルネットワーク用の3D訓練データとして使用される3D画像データを前処理するために、第1のディープニューラルネットワークを使用する。第1のディープニューラルネットワークは、病変を含む可能性がある3D画像のボリュームを含むVOIと関連する位置を与える。このようにして、3D画像の関連するボクセルのみが、特定の病変と関連付けられ得るターゲットラベルを生成するように構成されたさらなるディープニューラルネットワークへの入力として使用されてもよい。本発明は、病理分類に解剖学的3D構造を使用するために完全3Dディープニューラルネットワークを適用すること、およびそれによってより高い性能を得ること、さらに病理分類を行うのに必要とされるボリュームを縮小するためにディープラーニングネットワークを使用した3D位置特定の形態で性能最適化を適用することもまた含む。
前処理は、訓練プロセスに関係のある訓練セットの3D画像データの量を実質的に縮小し、それによって、3Dニューラルネットワークの訓練時間を実質的に改善する。さらに、無関係なデータを取り除くことによって、計算の複雑さを低減することができる。本発明はその結果、所与の時間期間におけるより多くの訓練繰返しを可能にし、したがって、改善された疾患モデル(disorder model)を生成することができる、訓練されたディープラーニングネットワークをもたらす。訓練時間は一週間以上になり得ることを考えると、そのような位置特定は、実質的な利益をもたらす。
好ましくは、ニューラルネットワークは、関節、特に膝などの身体部分における病変を決定するように訓練され得る。
一実施形態では、方法は、第2の3D畳み込みニューラルネットワークによって決定されたターゲットラベル値を、病変の記述を表すテキストおよび/またはセンテンスと関連付けることによって医療報告書を生成するステップをさらに含んでもよい。したがって、ターゲットラベルは、コンピュータ生成医療報告書用のテキストを構成するために使用できるテキスト文字列に結び付けられてもよく、テキストは、1つまたは複数の病変の存在についての情報を提供する。
一実施形態では、医療報告書の生成は、ターゲットラベル値が所定の第1の範囲内である場合、病変、たとえば半月板断裂が決定されたことを記述する第1のテキスト文字列を決定することと、ターゲットラベル値が所定の第2の範囲内である場合、ある病変、たとえば半月板断裂が決定されていないことを記述する第2のテキスト文字列を決定することとを含んでもよい。
さらなる実施形態では、医療報告書の生成は、第1または第2のテキスト文字列を、報告テンプレートを表すテキスト文字列に挿入することを含んでもよい。
一実施形態では、方法は、第2の畳み込みニューラルネットワークの畳み込み層からVOIボクセルと関連する3D確率マップを検索するステップと、VOIボクセルと関連する3D顕著性マップ(saliency map)を生成するための逆伝播プロセスへの入力として3D確率マップを使用するステップとをさらに含んでもよい。一実施形態では、方法は、第2の3D畳み込みニューラルネットワークによるターゲットラベル値の決定に実質的に寄与したVOI中のボクセルを識別するために3D顕著性マップを使用することによって、VOIにおける病変の注釈付き3D画像を生成するステップをさらに含んでもよい。一実施形態では、方法は、注釈付き3D画像または注釈付き3D画像の1つもしくは複数の2Dスライスを報告書に挿入するステップを含んでもよい。したがって、本発明は、VOIにおける病変の3D視覚化もまた可能にする。そのような視覚化は、3D画像の評価および診断において医療専門家に貴重な情報を提供する。
一実施形態では、第1の3D画像は、第1の画像面、好ましくは矢状画像面(sagittal image plane)の画像のシーケンスを含んでもよい。一実施形態では、方法は、身体部分の第2の3D画像を受け取るステップであって、第2の3D画像が第2の画像面、好ましくは冠状画像面(coronal image plane)の画像のシーケンスを含む、受け取るステップと、VOI内に位置を有する第2の3D画像のボクセルを選択することによって第2のVOIボクセルを決定するステップと、第2の3D畳み込みニューラルネットワークが、第1および第2のVOIボクセルに基づいてターゲットラベル値を決定するステップとをさらに含んでもよい。
一実施形態では、第2の3D畳み込みニューラルネットワークは、少なくとも、ニューラルネットワークを通る第1の経路を形成する第1の複数の3D畳み込みニューラルネットワーク層と、第2のニューラルネットワークを通る第2の経路を形成する第2の複数の3D畳み込みニューラルネットワーク層とを含んでもよい。
一実施形態では、第1の複数の3D畳み込みニューラルネットワーク層は、第1のVOIボクセルを処理するように構成されてもよく、第2の複数の3D畳み込みニューラルネットワーク層は、第2のVOIボクセルを処理するように構成されてもよい。
一実施形態では、第1および/または第2の3D畳み込みニューラルネットワークは、1つまたは複数のノイズ層を含んでもよい。
さらなる態様では、本発明は、3D画像データにおける病変を決定するように構成されたシステムにおいて1つまたは複数の3Dディープニューラルネットワークを訓練するためのコンピュータ実装方法に関する場合がある。
一実施形態では、方法は、コンピュータが医療研究の3D画像データ訓練セットを受け取るステップであって、3D画像データ訓練セットが3D画像を含み、3D画像が所定の画像ボリュームと関連するボクセルを含み、3D画像における病変を示すコンピュータ可読テキスト部分および/またはセンテンスを含む医療報告書と関連する、受け取るステップと、3D画像訓練データの各3D画像に対して、3D画像のスライスにおける2D関心領域(ROI)に基づいて3Dバウンディングボックスを形成するステップであって、3Dバウンディングボックスが3D画像の画像ボリューム中にサブボリュームを形成し、サブボリュームが関心ボリューム(VOI)を定める、形成するステップと、3D画像訓練データの各3D画像に対して、画像ボリュームにおけるVOIの位置を決定し、VOIに位置するボクセルを決定するステップと、各VOIのボクセルを入力として、VOIの位置をターゲットとして使用して、第1の3D畳み込みニューラルネットワークを訓練するステップとを含んでもよい。
一実施形態では、方法は、
3D画像訓練データの各3D画像に対して、ターゲットラベル値を生成するためにVOIと関連する医療報告書のコンピュータ可読テキストおよび/またはフレーズを処理するステップであって、ターゲットラベル値がVOIにおける病変の有無を示している、処理するステップと、VOIのボクセルを入力として、VOIと関連するターゲットラベル値をターゲットとして使用して第2の3D畳み込みニューラルネットワークを訓練するステップとをさらに含んでもよい。
一実施形態では、コンピュータ可読テキストおよび/またはフレーズを処理するステップが、1つまたは複数のフレーズおよび/またはワードの有無がどのようにターゲットラベル値を決定するかを記述するための決定木を使用するステップを含んでもよい。
またさらなる態様では、本発明は、3D画像データにおける病変を決定するように適合されたコンピュータシステムに関する場合がある。一実施形態では、コンピュータは、コンピュータ可読プログラムコードをそこに記憶した記憶媒体であって、コードが第1および第2の3D畳み込みニューラルネットワークを含む、記憶媒体と、コンピュータ可読記憶媒体に結合された1つまたは複数のプロセッサ、好ましくは1つまたは複数のマイクロプロセッサとを含んでもよく、コンピュータ可読プログラムコードを実行すると、システムが、身体部分の少なくとも第1の3D画像を受け取るステップであって、3D画像が所定の画像ボリュームと関連するボクセルを含む、受け取るステップと、第1の3D畳み込みニューラルネットワークが、第1の3D画像の画像ボリュームにおける関心ボリューム(VOI)の位置を決定するステップであって、VOIが身体部分の病変と関連し、VOIが画像ボリュームのサブボリュームを定める、決定するステップと、第1の3D畳み込みニューラルネットワークによって決定されるVOI内に位置を有する第1の3D画像のボクセルを選択することによって第1のVOIボクセルを決定し、第1のVOIボクセルを第2の3D畳み込みニューラルネットワークの入力に提供するステップと、第2の3D畳み込みニューラルネットワークが、少なくとも第1のVOIボクセルに基づいてターゲットラベル値を決定するステップであって、ターゲットラベル値がVOIにおける病変の有無を示している、決定するステップと、第2の3D畳み込みニューラルネットワークによって決定されたターゲットラベル値を、病変の記述を表すテキストおよび/またはセンテンスと関連付けることによって医療報告書を生成するステップとを含む動作を実行する。
一実施形態では、動作は、第2の畳み込みニューラルネットワークの畳み込み層からVOIボクセルと関連する3D確率マップを検索し、VOIボクセルと関連する3D顕著性マップを生成するための逆伝播プロセスへの入力として3D確率マップを使用するステップと、第2の3D畳み込みニューラルネットワークによるターゲットラベル値の決定に実質的に寄与したVOI中のボクセルを識別するために、3D顕著性マップを使用することによってVOIにおける病変の注釈付き3D画像を生成するステップとさらに含んでもよい。
一実施形態では、動作は、注釈付き3D画像または注釈付き3D画像の1つもしくは複数の2Dスライスを報告書に挿入するステップをさらに含んでもよい。
一実施形態では、第1の3D画像は、第1の画像面、好ましくは矢状画像面の画像のシーケンスを含んでもよい。一実施形態では、動作は、身体部分の第2の3D画像を受け取るステップであって、第2の3D画像が第2の画像面、好ましくは冠状画像面の画像のシーケンスを含む、受け取るステップと、VOI内に位置を有する第2の3D画像のボクセルを選択することによって第2のVOIボクセルを決定するステップと、第2の3D畳み込みニューラルネットワークが、第1および第2のVOIボクセルに基づいてターゲットラベル値を決定するステップとをさらに含んでもよい。
一実施形態では、第2の3D畳み込みニューラルネットワークは、少なくとも、ニューラルネットワークを通る第1の経路を形成する第1の複数の3D畳み込みニューラルネットワーク層と、第2のニューラルネットワークを通る第2の経路を形成する第2の複数の3D畳み込みニューラルネットワーク層とを含んでもよい。
一実施形態では、第1の複数の3D畳み込みニューラルネットワーク層は、第1のVOIボクセルを処理するように構成されてもよく、第2の複数の3D畳み込みニューラルネットワーク層は、第2のVOIボクセルを処理するように構成されてもよい。
本発明による実施形態を概略的に示す添付の図面を参照しながら、本発明をさらに説明する。本発明は決して、これらの特定の実施形態に限定されないことは理解されよう。
本発明の一実施形態によるディープニューラルネットワークを使用したコンピュータ支援診断のためのシステムを概略的に示す図である。 本発明の一実施形態によるローカライザーモジュールを概略的に示す図である。 3D画像データボリュームの注釈付きスライスの一例を示す図である。 本発明の一実施形態によるローカライザーモデルをモデル化するためのディープニューラルネットワークアーキテクチャを概略的に示す図である。 本発明の一実施形態による病理モデルをモデル化するためのディープニューラルネットワークアーキテクチャを概略的に示す図である。 本発明の一実施形態による3Dディープニューラルネットワークを訓練するコンピュータ実装方法を概略的に示す図である。 本発明の一実施形態による訓練されたディープラーニングネットワークを含む3Dローカライザーモジュールを示す図である。 本発明の別の実施形態による3Dディープニューラルネットワークを訓練するコンピュータ実装方法を概略的に示す図である。 本発明の一実施形態による3Dディープニューラルネットワークを使用したコンピュータ支援診断のためのコンピュータシステムを概略的に示す図である。 本発明の一実施形態によるコンピュータ支援診断のためのシステムを使用して生成される報告書の一例を示す図である。 本発明の一実施形態によるコンピュータ支援診断のためのシステムによって生成されるVOIのスライスの注釈付き画像の一例を示す図である。 本開示で説明する診断システムにおいて使用される場合がある例示的なデータ処理システムを示すブロック図である。
本開示では、3D画像データ、たとえばMRIまたはCT画像などの医用画像の1つまたは複数のシーケンスによって定義される3D画像データに基づく解剖学的構造の病変の検索、位置特定、分類、報告、および視覚化のためのディープニューラルネットワークを使用するコンピュータシステムおよびコンピュータ実装方法の実施形態について説明する。これらのシステムおよび方法は、コンピュータ支援検出および診断での利用に特に適している。
本発明によるコンピュータシステムは、2つのモード、すなわち訓練モードおよび推論モードを含んでもよい。システムが訓練モードであるとき、訓練プロセスが実行され、システムは、3D画像データを含む1つまたは複数の訓練セットに基づいて少なくとも2つのディープニューラルネットワークを繰り返して訓練(最適化)する。第1の訓練されたディープニューラルネットワーク、すなわち、訓練されたディープニューラルネットワークの接続を記述する複数(一般的には数100万)のパラメータのデータベースが、3Dコンピュータ支援診断を生成するように構成された病理モデルを表してもよく、第2の訓練されたディープニューラルネットワークが、訓練セットの3D画像データのボリューム(要するに画像ボリューム)の関心ボリューム(VOI)に含まれる3D画像データの位置を提供するように構成された3Dローカライザーモデルを表してもよい。コンピュータ支援診断でのこれらの訓練されたディープニューラルネットワークの使用およびこれらのネットワークの訓練について、以下にさらに詳細に説明する。システムが推論モードであるとき、コンピュータシステムは、ディープニューラルネットワークが新しい3D画像データにおける病変を正確かつ効率的に検出し、位置特定し、報告するために入力データを処理することができるように、解剖学的構造の3D画像データの新しいセット(すなわち、訓練セット以外のデータセット)が、訓練されたディープニューラルネットワークの入力に提供され得るプロセスを実行してもよい。
図1は、本発明の一実施形態によるディープニューラルネットワークを使用したコンピュータ支援診断のためのコンピュータシステムを概略的に示す。詳細には、図1は、コンピュータ支援診断のためのコンピュータシステムを示し、このシステムは訓練モードである。このモードでは、第1の3Dディープニューラルネットワーク114は、訓練データセット104、すなわち3D画像データ、および場合によっては、訓練データセットの3D画像データに表される病変に関する専門的情報を表すフレーズおよび/またはワード124などの1つまたは複数の他のデータタイプを含むデータセットに基づいて訓練される。3D画像データは、所定のボリューム、要するに、画像ボリュームと呼ばれるボリュームと関連するボクセルを含み得る。訓練データセットは、MRIまたはCT画像のシーケンスなどの、あらかじめ選択された3D画像データと、そのあらかじめ選択された3D画像データと関連する、たとえばコンピュータ可読テキストファイルの形式の放射線報告書の関連部分と、を含んでもよい。
訓練プロセスの間、訓練データセットは、ネットワークを繰り返して訓練するために、第1のディープニューラルネットワークに入力されてもよい。一実施形態では、訓練データセットは、3D画像データスタックを形成し、所定の病変(たとえば半月板断裂)がある身体の一部の解剖学的組織(たとえば、膝)を表すMRI画像の1つまたは複数のシーケンスと、訓練データと関連する1つまたは複数の報告書、たとえば放射線報告書(の関連するテキスト部分)とを含んでもよく、報告書は、専門家、たとえば医師などによって診断された病変に関する情報を含む。
知られている確率的勾配降下最適化法が、ディープニューラルネットワークの出力と、所定の入力(すなわち、訓練セット)に対する所望の出力を表すターゲットラベル、たとえば病変を識別するラベルとの間の偏差を表す損失関数を最小化することによって、第1のディープニューラルネットワークのネットワークパラメータの最適値を学習するために使用され得る。損失関数の最小化がある値に収束するとき、訓練プロセスは完了されてもよい。
第1の訓練された3Dニューラルネットワークは、訓練されたネットワークの入力に提供される3D画像データにおける病変を正確に分類し、報告することができる疾患モデル130を表してもよい。ここでは、分類は、ターゲットラベル値を生成することと、ターゲットラベル値が陽性結果(たとえば、半月板断裂が検出される)を表すか、それとも陰性結果(半月板断裂が検出されない)を表すかを決定することと、陽性または陰性結果の意味表現を表すコンピュータ生成テキストおよび/またはフレーズを関連付けることとを含んでもよい。これらのテキストおよび/またはフレーズ、陽性結果の意味またはテキスト表現を表す少なくとも第1のテキストおよび/またはフレーズ、たとえばasciiコードの第1の文字列、ならびに陰性結果の意味またはテキスト表現を表す少なくとも第2のテキストおよび/またはフレーズ、たとえばasciiコードの第2の文字列が、システムのデータベースに記憶されてもよい。
第1の3Dディープニューラルネットワークの訓練プロセスの実行中に、コンピュータシステムは、訓練データを前処理した後に、データを病理モデル114の第1の3Dディープニューラルネットワークの入力に送り込んでもよい。訓練データセットの3D画像データは、同じ画像ボリュームと関連する3D画像データのいくつかのセットを含んでもよく、各セットが異なる取得面(たとえば矢状または冠状取得面)およびパルスシーケンス(たとえばTEおよびTR時間)を使用して生成される。一実施形態では、データは、繰り返しRE時間および/またはエコーTE時間を使用して矢状取得面に基づいて生成された3D画像データの少なくとも第1のセットと、繰り返しRE時間および/またはエコーTE時間を使用して冠状取得面に基づいて生成された3D画像データの少なくとも第2のセットとを含んでもよい。放射線科医の専門知識に基づいて、1つまたは複数のシリーズが、病変の最も高い適合性を有するとして選択されてもよい。これらの選択されたシリーズは、トレーニングデータセットとして使用されてもよい。一般に、画像は、異なる病院が作成し、したがって、異なるデータフォーマット、たとえば、DICOMフォーマットなどを有する場合がある。その場合、画像データはまず、その後の処理に適している標準フォーマットに変換される必要がある。
たとえば、一実施形態では、MPEG-4ビデオフォーマットは、3D画像データ記憶および処理に使用され得る。加えて、一実施形態では、正規化プロセスが3D画像データに適用される場合があり、たとえば、画像輝度は、異なるシリーズおよび/または研究にわたって一貫性がない場合があるので、これは正規化される必要がある場合がある。コントラスト制限付適応ヒストグラム平坦化(contrast-limited adaptive histogram equalisation)などの知られている画像データ正規化プロセスが使用されてもよい。システムの変換モジュール106が、画像データの変換および正規化を実行し、正規化された画像データをデータベース108に記憶するように適合されてもよい。
医用画像のシーケンスが、患者の特定の走査ボリュームの3D画像を表してもよい。しかしながら多くの場合、3D画像データセットの一部に医学的関連がないので、コンピュータシステムは、3D画像データセット全体に基づいて第1のディープニューラルネットワークを訓練する必要はない。たとえば、半月板断裂を診断するために、脛骨または大腿骨と関連する3D画像データを含む必要はない。訓練時間の量は、3D画像データボリュームを決定するボクセルの数に線形従属である。したがって、3D画像データボリュームを形成する一連の画像の各画像において関連情報を含む2Dエリアを位置特定することが、3D訓練ボリュームのサイズを大幅に縮小し得る。
そのために、訓練データセットの3D画像データを標準化および正規化されたデータフォーマットに変換した後、コンピュータシステムは、正規化された3D画像データを、3D画像データの(正規化された)画像ボリューム内のいわゆる関心ボリューム(VOI)の位置を決定するように訓練される第2のディープニューラルネットワークを含む3Dローカライザー110の入力に送り込んでもよく、VOIは、診断を必要とする解剖学的構造のボクセルを含む画像ボリュームにおけるサブボリュームを定める。したがって、3Dローカライザー110は、それの病変を診断される必要がある解剖学的構造を含む画像ボリューム中のVOIの位置を正確に決定するための3Dローカライザーモデルを表す第2の訓練されたディープニューラルネットワークを含んでもよい。一実施形態では、VOIは、3D画像データ(ボクセル)を含む3Dバウンディングボックスであってもよい。VOIに含まれる3D画像データは、その後、病理モデルの3Dディープニューラルネットワークを訓練するための3D画像データとして使用される。
3Dローカライザーはしたがって、訓練セットの3D画像データの量を、訓練プロセスに関係のある3D画像データに実質的に削減することによって、訓練セットの3D画像データを前処理する。3Dローカライザーはしたがって、3Dディープラーニングネットワーク114の訓練時間を実質的に改善する。さらに、無関係なデータを取り除くことによって、計算の複雑さを低減することができる。3Dローカライザーは、所与の時間期間におけるより多くの訓練繰返しを可能にし、したがって、改善された疾患モデルを生成することができる、訓練されたディープラーニングネットワークをもたらす。訓練時間は一週間以上になり得ることを考えると、そのような位置特定は、実質的な利益をもたらす。
図1に示すように、3Dローカライザー訓練モジュール115は、訓練セットの3D画像データにおけるVOIの位置を含む3Dローカライザーモデル122に基づいて、3Dローカライザー110のディープニューラルネットワークを別々に訓練するように構成されてもよい。これらのVOIは、3D画像データの注釈付き訓練データセット116から導き出されてもよい。ROI 118が、注釈付き訓練セットのスライスにおいて決定されてもよく、ROIを使用して3Dバウンディングボックスが決定されてもよく、3Dバウンディングボックス120は、VOIを表してもよく、各VOIは、画像ボリュームにおける位置と関連付けられてもよい。これらの位置は、画像ボリュームにおける3D位置x、y、zを定義するための好適な座標系で表されてもよい。これらの位置は、訓練中にターゲットラベルとして使用されてもよい。注釈付きデータセットは、病理モデルの3Dディープニューラルネットワークを訓練するために使用される訓練データセット104から選択されてもよい。
いくつかの実施形態(図示せず)では、訓練データは、3D画像データの少なくとも第1のセット(画像ボリュームにおける第1の画像面と関連する画像の1次シーケンス)と、3D画像データの関連する第2のセット(画像ボリュームにおける第2の画像面と関連する画像の2次シーケンス)とを含んでもよい。解剖学的対象物の3D MRIまたはCT画像などの3D画像は、異なる画像面、たとえば画像ボリュームの冠状面および矢状面を使用して生成されてもよい。異なる画像面の3D画像データを組み合わせて使用すると、正確な3D画像データの再構成が可能になる。そのような場合、1次3D画像データセットの3D画像データのボクセルの位置は、知られている座標マッピングを使用して2次3D画像データセットのボクセルの位置に結び付けられる。
一実施形態では、3Dローカライザーのディープニューラルネットワークは、画像のシーケンスの1つ、たとえば1次3D画像データセットを処理するように訓練されてもよい。3Dローカライザーの訓練されたディープニューラルネットワークのターゲットは、すなわち1次3D画像データのボリュームにおける第1のVOIの第1の位置である。その場合、1次および2次3D画像データ間の座標マッピングは、2次3D画像データのボリュームにおける対応する第2のVOIの第2の位置を決定するために使用されてもよい。
図2は、本発明の一実施形態による3Dローカライザー訓練モジュールを概略的に示す。詳細には、図2は、それのターゲットとして特定の病変のボクセルを含むVOIの(たとえば、3D画像ボリュームに関連する座標系の座標x、y、zに関する)3D位置を生成する所望のローカライザーモデル214に従って機能するように、3Dディープニューラルネットワーク212を訓練するための訓練プロセスを実行するように構成された3Dローカライザー訓練モジュールの一例を示す。
訓練プロセスは、3Dローカライザーのディープニューラルネットワークを訓練するために、3D画像データの訓練データセット204、たとえばMRI画像などの医用画像のシーケンスを選択するステップを含んでもよい。選択される訓練データセットは、病理モデルの3Dディープニューラルネットワークを訓練するために必要とされるセットよりも著しく小さくてもよい。
ローカライザー訓練モジュール202は、訓練データセットの画像(スライス)のシーケンスを表示することと、診断の対象物である所定の解剖学的構造を包含する、各スライスにおける2D関心領域(ROI)、たとえば平面の閉じた多角形を決定することによって各スライスに注釈を付けることとを行うように構成された注釈ツール206、たとえばソフトウェアアプリケーションを含んでもよい。一実施形態では、2D ROIの決定は、アノテータ208が、所定の解剖学的構造が位置する画像においてエリア、すなわちROIの境界の決定を可能にする描画ツールを制御することを含んでもよい。
図3は、半月板の周りの関心領域の注釈付き領域302を含む膝の画像ボリュームのスライスの一例を示す。注釈付きROIは、スライスの画像データの大部分が、ディープニューラルネットワークの訓練に関係のないことを示す。したがって、VOIに含まれる3D画像データ(ボクセル)に基づいて3Dディープニューラルネットワークを訓練すると、システムの性能が著しく改善することになる。
一実施形態では、図2の3Dローカライザー訓練モジュールは、注釈付き2D ROIを含む画像のシーケンスに基づいて3Dバウンディングボックスの中心位置を計算するように適合されたプロセッサ210を含んでもよく、3Dバウンディングボックスは、訓練データセットにおける解剖学的構造の3D画像データを包含するVOIを表す。このプロセスは、訓練データの複数のセットに対する複数のバウンディングボックスが生成されるように、注釈付き画像の複数のセットに対して繰り返されてもよい。
抽出器モジュール211が、3Dバウンディングボックスを決定するために使用された3D画像データの訓練データセット204からVOIの3D画像データ(ボクセル)を抽出するために、3Dバウンディングボックスの計算された位置を使用するように構成されてもよい。その後、ディープニューラルネットワーク212は、決定された3Dバウンディングボックスに含まれる3D画像データを入力として、決定されたバウンディングボックス中心、それらの座標をターゲットとして使用して訓練されてもよい。ディープニューラルネットワークは、予測される3Dバウンディングボックス中心(ディープニューラルネットワークの出力)と、3Dバウンディングボックスの実際の中心との間の隔たりを、収束過程まで逆伝播の損失関数として使用して訓練されてもよい。
したがって、図1のローカライザー訓練モジュール115によって実行される訓練プロセスは、訓練データを前処理した後にこれらを3Dディープラーニングネットワークの入力に送り込む3Dローカライザー110をもたらし得る。3Dローカライザーは、3Dローカライザーの入力に提供される3D画像データ訓練セット(たとえば、MRI画像などの医用画像のシーケンス)のボリュームにおけるVOIの中心の座標を生成する第2の訓練されたディープニューラルネットワークを含む。VOIの中心に基づいて、3Dローカライザーは、VOIに含まれる3D画像データ112を決定し、このようにして決定した3D画像データをシステムのメモリに記憶してもよい。一実施形態では、VOIの寸法は、図2に関して説明した訓練セットに対して決定された3Dバウンディングボックスの寸法のパーセンタイル、たとえば95パーセンタイルとして計算されてもよい。
上記ですでに説明したように、訓練セットは、3D画像データ112、ならびに3D画像訓練データに基づいて専門家、たとえば医師によって診断される病変に関する情報を含む報告書(の関連部分)のコンピュータ可読テキストデータなどの他のデータを含む。したがって、3Dディープニューラルネットワークは、VOIに含まれる3D画像訓練データ、およびある病変が3D画像データ中に存在するか否かを示し得るターゲットラベル値を使用して訓練され得る。
訓練データ用のターゲットラベル値を生成するために、ラベル抽出器モジュール126が、報告書のテキストに基づいてターゲットラベル値を決定し、VOIごとにターゲットラベル128を記憶してもよい。したがって、コンピュータ可読ターゲットラベル値を作成するために、ラベル抽出モジュール126は、訓練データの一部である報告書の内容を調べ、報告書をコード(2進、または多進値)に変換する。
一実施形態では、ラベル抽出器モジュールは、報告書のフレーズおよび/またはワードに対して自然言語処理方法を使用してもよく、そのようなフレーズおよび/またはワードの有無が、ターゲットラベルの特定の値または特定の値範囲につながり得るようにする。たとえば、ラベル抽出器モジュールは、特定のワード、たとえば、「大きい縦方向の半月板断裂」、「小さい縦方向の半月板断裂」、「半月板断裂なし」などの有無を探し、そのようなワードの有無に基づいてスコアを決定してもよい。
一実施形態では、1つまたは複数のフレーズおよび/またはワードの有無がどのようにターゲットラベル値を決定するか、ならびに場合によってはどの条件下でターゲットラベルを決定することができないかを記述する決定木が作成されてもよい。決定木は、ソフトウェアアプリケーションにおいてプログラム化されてもよく、ソフトウェアアプリケーションは報告書のフルセットを処理するように構成されてもよい。ラベリングの精度を決定するために、報告書セットのサブセットに手動検証が行われてもよい。
病理モデル用の3Dディープニューラルネットワークは、3Dローカライザーによって提供されるVOIのボクセルおよび関連するターゲットラベル値に基づいて訓練されてもよい。
VOIのボクセルを医療報告書およびターゲットラベル値と結び付けるために、共通の識別子が使用されてもよい。特定の解剖学的組織および病変に応じて、1つのVOIの複数のシリーズ、たとえば、1次および2次シリーズが、訓練のための入力として使用され、1つのターゲットラベル値が出力として使用されてもよい。
3D画像訓練データが複数のシリーズを含む場合、VOIの位置は、VOIの複数のシリーズのうちの1つ、たとえば1次シリーズに基づいて決定されてもよい。ゆえに、2次シリーズ(すなわち、3Dローカライザーによって使用されない3D画像データ)におけるVOIの位置は、1次シリーズのVOIの座標を2次シリーズにマップすることによって位置特定されてもよい。3Dディープニューラルネットワークのアーキテクチャは、複数の層を含むフル3D畳み込みニューラルネットワーク(CNN)であってもよい。ディープニューラルネットワークは、知られているディープラーニングフレームワークを使用して実装されてもよい。
ディープニューラルネットワークの訓練は、訓練セットのシリーズごとのVOIの抽出、および訓練セットの研究ごとのターゲットラベルの抽出を含んでもよい。その後、訓練セットは、さらなる訓練セットおよび検証セットに分割されてもよく、さらなる訓練セットは、ターゲットラベルに対して適切な損失関数を使用することによってニューラルネットワークを訓練するために使用されてもよい。ネットワークは、検証セットでの損失が収束するまで、繰り返して訓練される。
訓練プロセスの後、病理モデルを表す訓練された3Dディープニューラルネットワークが取得され、この3Dディープニューラルネットワークは、1)それの入力でVOIの3D画像データを受け取ることであって、3D画像データが診断のための所定の解剖学的構造を含む、受け取ることと、2)ターゲットラベル、すなわち、解剖学的構造の少なくとも一部に対する決定された病変を示すワードおよび/またはフレーズのコンピュータ生成シーケンスを、たとえばテキスト文字列の形式で生成することとを行うことができる。
コンピュータ支援診断システムは、異なる病理モデルのために訓練されてもよい。たとえば、3Dディープニューラルネットワークは、膝のMRI画像において半月板断裂を検出するように適合された病理モデルのために訓練されてもよく、ターゲットラベルは、異なるターゲットラベルを表す異なる値、たとえば、内側断裂および外側断裂それぞれに対する2(2進)値を含んでもよい。
図1〜図3に関して説明したシステムは、22,000の医用画像、すなわちMRI画像のシーケンスで訓練された。訓練に基づいて、5,500画像のテストセットで以下の性能が得られる。
Figure 2020530177
図4は、本開示で説明する方法およびシステムで使用するディープニューラルネットワークアーキテクチャを概略的に示す。一実施形態では、ディープニューラルネットワークは、3D畳み込みニューラルネットワーク(CNN)を使用して実装され、図1〜図3に関して上記で説明したように3Dローカライザーとして訓練されてもよい。ネットワークは、入力層402に提供される3D入力データにひずみを追加するノイズ層404を含んでもよい。加えて、最大プーリング層は使用されない。ノイズ層は、モデルの一般性を向上させ得る。ネットワークは、複数の3D畳み込み層406、408、その後に続く最終のソフトマックス層410を含んでもよい。
畳み込み層は、指数関数的線形ユニット(ELU:Exponential Linear Unit)活性化関数を使用してもよい。ネットワークのターゲットは、平均二乗誤差(MSE)損失と併せた(X,Y,Z)座標のタプルである。層の数および層の定義、たとえば、RELUのような異なる活性化関数、ドロップアウト層のようなさらなる調整の使用におけるわずかな変形態が、ディープニューラルネットワークの本質的な機能を失うことなく、畳み込みニューラルネットワークの実装において使用されてもよい。ドロップアウト層は、過学習の問題を縮小するために訓練中に使用されてもよく、それによって新しいデータ、すなわちネットワークが以前に遭遇したことがないデータに対するネットワークの一般化を増強する。
図5は、本開示で説明する方法およびシステムで使用する別のディープニューラルネットワークアーキテクチャを概略的に示す。一実施形態では、ディープニューラルネットワークは、3D畳み込みニューラルネットワーク(CNN)を使用して実装され、解剖学的構造を映すVOIの3D画像データがネットワークの入力に提供されるとき、ある病変を示すターゲットラベルを生成するように適合された3Dディープニューラルネットワークとして訓練されてもよい。図5に示すように、ニューラルネットワークは、2つの経路を含んでもよく、すなわち、3D画像データの第1のセット(たとえば、第1の画像面、たとえば矢状画像面と関連する画像の1次シーケンス)から導出されるVOIの第1のボクセルを受け取るように設計された3D畳み込み層の第1のセットによって定められる第1の経路502と、3D画像データの第2のセット(たとえば、第2の画像面、たとえば冠状画像面と関連する画像の2次シーケンス)から導出されるVOIの第2のボクセルを受け取るように設計された3D畳み込み層の第2のセットによって定められる第2の経路504とを含んでもよい。
第1および第2のディープニューラルネットワークは、入力層508、1つまたは複数のノイズ層510、および複数の3D畳み込み層5121-nを含む、いくつかの接続された層を含む同様のアーキテクチャを有してもよい。加えて、1つまたは複数のドロップアウト層514が、3D畳み込み層間に挿入されてもよい。第1および第2のディープニューラルネットワークの出力は、第3のディープニューラルネットワーク506に入力されてもよく、第3のディープニューラルネットワークはそれの入力で第1および第2のディープニューラルネットワークの出力を受け取る。第3のディープニューラルネットワークは、ドロップアウト層516、520、526によって分離された複数の3D畳み込み層518、522を含んでもよい。加えて、第3のディープニューラルネットワークの最後の層は、病変を分類するための1つまたは複数のデンス(dense)層524、528、すなわち全結合層を含んでもよい。
図6および図7は、3Dローカライザーとしてディープラーニングネットワークシステムを訓練するための方法、およびそのように訓練されたディープラーニングネットワークを含む3Dローカライザーモジュールを概略的に示す。
図6は、本発明の一実施形態による3Dローカライザーモデルを形成するための3Dディープニューラルネットワーク、好ましくは第1の3D畳み込みニューラルネットワーク(CNN)を訓練するコンピュータ実装方法を概略的に示す。そのような3Dローカライザーは、入力として解剖学的構造の3D画像データ、たとえばボクセルを受け取るように適合された、訓練された3Dディープニューラルネットワークを含んでもよく、3D画像データは、あるボリュームと関連付けられ、画像ボリュームと呼ばれる場合がある。訓練されたCNNは、診断を必要とする解剖学的構造の一部の3D画像データを含むVOIのターゲット位置、すなわち画像ボリュームのサブボリュームを生成し得る。
方法は、コンピュータが3D画像データ訓練セットを受け取るステップであって、3D画像データが2D医用画像のシーケンスを含み得る、受け取るステップ(ステップ602)と、医用画像のシーケンスの画像の各々において2D関心領域(ROI)を決定するステップ(ステップ604)とを含んでもよい。ここでROIは、ROIがピクセルの所定の2Dエリアを囲むように、特定の形状の2Dの閉じた輪郭、たとえば矩形であってもよい。その後、コンピュータのプロセッサが、ROIに基づいて3Dバウンディングボックスを構成してもよく、3Dバウンディングボックスの外表面は、訓練セットの3D画像データの画像ボリューム内の関心ボリューム(VOI)を定める(ステップ606)。画像ボリューム内のVOIの位置は、VOIに含まれ、診断を必要とする解剖学的構造に関係する3D画像データ(ボクセル)を決定するために使用されてもよい(ステップ608)。VOIの3D画像データは、3D画像訓練データのセットの3D画像データのサブセットを形成する。
VOIの3D画像データは、次いで、第1のディープニューラルネットワークを訓練するための入力データとして使用され、VOIの位置、たとえば画像ボリューム内の座標をターゲットとして用いる(ステップ610)。このようにして、訓練された第1のディープニューラルネットワークは、解剖学的構造、たとえば膝関節の3D画像データを受け取ることと、診断を必要とする解剖学的構造の一部、たとえば半月板を含むVOIのターゲット位置を生成することとを行うように適合されてもよい。訓練された第1のディープニューラルネットワークは、したがって、さらなる第2のディープニューラルネットワークを効率的に訓練するために使用できるボクセルの特定のボリュームの位置を特定する。訓練された第1のディープニューラルネットワークは、履歴画像を処理すること、およびその中のVOIの位置を特定することができる。
図7は、本発明の一実施形態による訓練されたディープラーニングネットワークを含む3Dローカライザーモジュールを示す。詳細には、この図は、図6に関して説明したプロセスに従って3D画像データにおける関心ボリューム(VOI)の位置を特定するための3Dローカライザーモジュール702を示す。モジュールは、コンピュータ上にコードとして実装され、プロセッサによって実行されてもよい。モジュールは、3D画像データの第1のセット、たとえば、第1の画像面(たとえば、矢状画像面)と関連するMRI画像704の1次セットと、3D画像データの関連する第2のセット、たとえば、第2の画像面(たとえば、冠状画像面)と関連するMRI画像704の2次セットとを受け取るように配置されてもよい。3D画像データの第1のセットは、3Dローカライザー706を形成するディープニューラルネットワークの入力に提供されてもよく、3Dローカライザー706は、図6に関して説明したプロセスに従って訓練される。3Dローカライザーは、3Dバウンディングボックス、VOIを決定するためにコンピュータ内のプロセッサによって使用され得るVOI 707の位置を生成する。VOI抽出器は、バウンディングボックスに含まれるボクセルを抽出するために、1次シリーズの3D画像データおよび3Dバウンディングボックスを使用してもよい。同様に、モジュールは、2次シリーズの3D画像データの座標を、最初のシリーズの座標にマップしてもよい。その後、モジュールは、ボックスに含まれるボクセルを抽出するために、計算された3Dバウンディングボックスを使用してもよい。このようにして、VOI 716を表すボクセルのセットが決定される。
図8は、訓練セットに基づく病理モデルを形成するための3Dディープニューラルネットワーク、好ましくは3D畳み込みニューラルネットワーク(CNN)を訓練するコンピュータ実装方法を概略的に示す。訓練セットは、複数の医療研究の訓練データを含んでもよく、各医療研究が、医用画像の1つまたは複数のシーケンスの形式の3D画像データ(ボクセル)と、3D画像データと関連する少なくとも1つの医療報告書のコンピュータ可読テキストおよび/またはフレーズとを含む。ここでは、1つの医療研究の3D画像データは、1次医用画像のシーケンスを含む1次3D画像データと、2次医用画像のシーケンスを含む関連する2次3D画像データとを含んでもよい。1つの医療研究の訓練データ、たとえば3D画像データならびに関連するコンピュータ可読テキストおよび/またはフレーズは、データベースに記憶されてもよい。3D画像データを医療報告書と関連するデータに結び付けるために、共通の識別子が使用されてもよい。
第1のステップにおいて、訓練セットの3D画像データが正規化されて、正規化された3D画像データにされてもよい(ステップ802)。各医療研究の正規化された3D画像データは、各医療研究に対して、正規化された3D画像データのボリューム内のVOIのターゲット位置を生成するように適合された、第1の訓練されたニューラルネットワークの入力に提供されてもよい(ステップ804)。一実施形態では、正規化された1次3D画像データのみが、VOIのターゲット位置を生成するために使用されてもよい。その場合、1次および2次3D画像データ間の知られている座標マッピングは、2次3D画像データにおけるVOIのターゲット位置を決定するために使用されてもよい。
VOIのターゲット位置は、次いで、VOI内に位置する3D画像データの画像ボリューム中のボクセルを選択するために使用されてもよい(ステップ806)。さらに、VOIのボクセルに対してターゲットラベル値を生成するために、各医療報告書のコンピュータ可読テキストおよび/またはフレーズを処理するために自然言語処理方法が使用されてもよい(ステップ808)。その後、VOIボクセルおよび関連するターゲットラベル値のセットが、ターゲットラベル値をターゲットとする第2のニューラルネットワークを訓練するための入力データとして次いで使用される(ステップ810)。
図9は、本発明の一実施形態による3Dディープニューラルネットワークを使用したコンピュータ支援診断のためのコンピュータシステムを概略的に示す。この図は、図1〜図8に関して説明したプロセスに従って訓練されるディープニューラルネットワークを含むコンピュータシステム902を表す。
コンピュータシステムは、推論モードで実行されてもよく、コンピュータシステムは、コンピュータシステムの入力に提供される3D画像906(たとえば、MRI画像またはCT画像などの医用画像のシーケンス)におけるVOIの位置を決定するための3Dディープニューラルネットワークを含む3Dローカライザー912を含む3Dローカライザーモジュール903を含む。この3Dディープニューラルネットワークは、図6に関して説明したプロセスに従って訓練されてもよい。
3D画像は、変換モジュール908を使用して変換され、正規化され、データベース914に記憶されてもよい。正規化された3D画像データ(ボクセル)は、3D画像の画像ボリューム中の関心ボリューム(VOI)内に含まれるボクセルを決定するために3Dローカライザーに提供されてもよい。VOI内に含まれるボクセルは、データベース914に記憶され、3Dディープニューラルネットワーク916の入力に提供されてもよく、3Dディープニューラルネットワーク916は、図8に関して説明したプロセスに従って訓練されてもよい。
訓練された3Dディープニューラルネットワーク916の出力は、1つまたは複数のターゲットラベルであってもよく、各々がターゲットラベル値と関連付けられる。ターゲットラベルは、コンピュータ生成報告書922を生成するために報告モジュール918によって使用されてもよい。ターゲットラベル値は、ある病変が決定されたか否かを報告してもよい。たとえば、ターゲットラベル値が所定の第1の範囲内である場合、コンピュータは病変が検出されると決定してもよい。その場合、コンピュータは、ある病変、たとえば半月板断裂が決定されたことを記述する第1のテキスト文字列を生成してもよい。あるいは、ターゲットラベル値が所定の第2の範囲内である場合、コンピュータは病変が決定されなかったと決定してもよい。その場合、コンピュータは、ある病変、たとえば半月板断裂が決定されなかったことを記述する第2のテキスト文字列を生成してもよい。報告モジュールは、コンピュータ生成報告を生成するために、報告テンプレートおよびテキスト文字列を使用してもよい。報告モジュールは、他のデータ、たとえば患者データおよび病変と関連するデータもまた含む場合がある報告テンプレートに、コンピュータ生成テキストを挿入するように構成されてもよい。報告書は、診断と関連するテキストを含んでもよい。
その上、報告書は、1つまたは複数の画像、好ましくは注釈付き画像、たとえば、コンピュータ生成注釈付き3D画像のスライスを含んでもよい。ターゲットラベルがそれの予測値を有するとモデルが決定した理由を説明するために、視覚化が使用されてもよい。病変のそのような3D視覚化は、モデル結果を解釈する医師へのフィードバックとして非常に有益である。視覚フィードバックは、VOI中のボクセルへの色/輝度指示を与えるために使用される場合がある3D顕著性マップに基づいて決定されてもよく、色/輝度指示は、ターゲットラベルに寄与するVOI中の各ボクセルがどのように関連しているかという情報を医師に与える。
3D顕著性マップは、3Dデータセットに好適な修正されたガイド付き逆伝播(guided backpropagation)プロセスを使用して適合したプロセッサによって生成されてもよい。2Dデータセットに対するガイド付き逆伝播の従来のプロセスについては、Springenbergらによる論文「Striving for simplicity: the all convolutional net」、3rd International Conference on Learning Representations、ICLR 2015に記載されている。論文で説明されるガイド付き逆伝播プロセスは、2D畳み込みネットワークの上位層によって学習される表現を視覚化するために使用された。方法は、どのピクセルが分類のために最も顕著であるかを決定するために、逆伝播ステップのための入力として(ソフトマックス分類器の前の)最後から2番目のネットワーク層の出力を使用する。
図9のコンピュータシステムのプロセッサは、3D顕著性画像(saliency image)を生成するためのガイド付き逆伝播プロセスを使用する。ガイド付き逆伝播プロセスでは、入力に対する(出力での)ネットワークの予測の勾配は、重みパラメータを固定したまま計算される。したがって、3D確率マップ917が、逆伝播プロセスへの入力として使用されてもよい。3D確率マップは、第1のニューラルネットワークによって決定されるVOIと関連する3D画像データ、すなわちボクセルが、順方向で訓練された3Dディープニューラルネットワーク916を介して伝播するとき形成される。
3D画像データセットと関連する3D確率マップは、全結合分類層(「デンス」層の1つ)の前に配置された3D畳み込み層から抽出されてもよい。この3D確率マップは、逆伝播プロセスのための入力として使用されてもよい。したがって、図9に示すシステムでは、プロセッサは、逆伝播プロセスの入力にターゲットラベルを使用しない。代わりに、プロセッサは、陽性結果の予測確率、たとえば、図5に示すディープニューラルネットワークシステムの最後の3D畳み込み層(または最後の3D畳み込み層の1つ)、たとえば、(デンス)全結合層524、528の前の3D畳み込み層5221または5222に存在する3D画像の3D確率マップを使用する。
ガイド付き逆伝搬プロセスの出力の正部分のみ、すなわちmax(出力,0)が、各ボクセルが陽性結果に寄与する量を決定するのに使用される。ガイド付き逆伝播プロセスの出力は、たとえばある輝度をボクセルに適用することによってVOI中のボクセルを識別するのに使用され得る3D顕著性画像を含む。輝度は逆伝播プロセス中に決定される顕著性値でスケーリングされてもよく、顕著性値は病変を表すボクセルで最も高いと仮定される。このようにして、顕著性マップは、ターゲットラベルの結果に実質的に寄与する3D画像データ中のボクセルを視覚化するために、3D画像データと組み合わされてもよい。このようなコンピュータによる注釈付きの3D画像は、記憶媒体924に記憶されてもよい。
図10は、本発明の一実施形態によるコンピュータ支援診断のためのシステムを使用して生成される報告書の一例を示す。この図に示すように、報告書1002は、ニューラルネットワークの結果、たとえば縦方向の半月板断裂1004および靱帯などに関する他の情報1006を説明するコンピュータ生成テキスト文字列を含む。その上、報告書は、1つまたは複数の画像、たとえば、実質的な部分に関してターゲットラベル、詳細には陽性結果と関連するターゲットラベルに寄与したVOI1008中のボクセルを示す注釈付き3D画像データのスライスを含んでもよい。
図11は、本発明の一実施形態によるコンピュータ支援診断のためのシステムによって生成されるVOIのスライスの注釈付き画像の一例を示す。顕著性は、色の明暗として示され、最も高い顕著性は、最も明るい値を有する。この例では、フル3D顕著性マップの2Dスライスが示されている。差し込み図に概略的に示すように、点線は、骨構造の輪郭を示し、実線は、ガイド付き逆伝播プロセスによって識別されたボクセル群を示し、ターゲットラベル、この場合は図10の報告書に報告されるように縦方向の半月板断裂の陽性結果に大いにまたは少なくとも実質的に寄与する。
図12は、本開示で説明する例示的なデータ処理システムを示すブロック図である。データ処理システム1200は、システムバス1206を介してメモリ要素1204に結合された少なくとも1つのプロセッサ1202を含んでもよい。したがって、データ処理システムは、メモリ要素1204内にプログラムコードを記憶してもよい。さらに、プロセッサ1202は、システムバス1206を介してメモリ要素1204からアクセスされるプログラムコードを実行してもよい。一態様では、データ処理システムは、プログラムコードを記憶および/または実行するのに好適なコンピュータとして実装されてもよい。しかしながら、データ処理システム1200は、本明細書内で説明する機能を行うことができる、プロセッサおよびメモリを含む任意のシステムの形態で実装され得ることを諒解されたい。
メモリ要素1204は、たとえば、ローカルメモリ1208および1つまたは複数の大容量記憶デバイス1210など、1つまたは複数の物理メモリデバイスを含んでもよい。ローカルメモリは、一般的にプログラムコードの実際の実行中に使用されるランダムアクセスメモリまたは他の非永続メモリデバイスを指す場合がある。大容量記憶デバイスは、ハードドライブまたは他の永続データ記憶デバイスとして実装される場合がある。処理システム1200は、実行中に大容量記憶デバイス1210からプログラムコードを検索しなければならない回数を減らすために、少なくともいくつかのプログラムコードの一時的な記憶を可能にする1つまたは複数のキャッシュメモリ(図示せず)を含む場合もある。
入力デバイス1212および出力デバイス1214として示す入力/出力(I/O)デバイスは、場合によってはデータ処理システムに結合することができる。入力デバイスの例には、限定はしないが、たとえば、キーボード、マウスなどのポインティングデバイス、または同様のものが含まれる場合がある。出力デバイスの例には、限定はしないが、たとえば、モニタまたはディスプレイ、スピーカー、または同様のものが含まれる場合がある。入力デバイスおよび/または出力デバイスは、直接的にまたは間にあるI/Oコントローラを介してデータ処理システムに結合されてもよい。ネットワークアダプタ1216もまた、データ処理システムに結合されて、データ処理システムが他のシステム、コンピュータシステム、リモートネットワークデバイス、および/またはリモートストレージデバイスに、介在するプライベートまたは公衆ネットワークを介して、結合されるようになることを可能にしてもよい。ネットワークアダプタは、上記システム、デバイス、および/またはネットワークによって送信されるデータを受信するための、上記データに対する、データ受信機と、上記システム、デバイス、および/またはネットワークにデータを送信するためのデータ送信機とを含んでもよい。モデム、ケーブルモデム、イーサネットカードが、データ処理システム1250で使用され得る異なるタイプのネットワークアダプタの例である。
図12に示すように、メモリ要素1204が、アプリケーション1218を記憶してもよい。データ処理システム1200がさらに、アプリケーションの実行を容易にすることができるオペレーティングシステム(図示せず)を実行し得ることを諒解されたい。アプリケーションは、実行可能プログラムコードの形態で実装され、データ処理システム1200によって、たとえばプロセッサ1202によって実行することができる。アプリケーションの実行に応答して、データ処理システムは、本明細書でさらに詳細に説明する1つまたは複数の動作を行うように構成されてもよい。
一態様では、たとえばデータ処理システム1200が、クライアントデータ処理システムを表してもよい。その場合、アプリケーション1218は、実行されると、「クライアント」に関して本明細書で説明する様々な機能を行うようにデータ処理システム1200を構成するクライアントアプリケーションを表してもよい。クライアントの例には、限定はしないが、パーソナルコンピュータ、ポータブルコンピュータ、携帯電話、または同様のものが含まれることがある。
別の態様では、データ処理システムが、サーバを表してもよい。たとえば、データ処理システムが、(HTTP)サーバを表してもよく、その場合アプリケーション1218は、実行されると、(HTTP)サーバ動作を行うようにデータ処理システムを構成してもよい。別の態様では、データ処理システムは、本明細書で言及するモジュール、ユニット、または機能を表してもよい。
本明細書で使用する用語は、特定の実施形態を説明するためであるにすぎず、本発明を制限することを意図していない。本明細書で使用する単数形「a」、「an」、および「the」は、文脈が別段に明確に示さない限り、複数形も含むものとする。「含む」および/または「含んでいる」という用語は、本明細書で使用されるとき、記載する特徴、完全体、ステップ、動作、要素、および/または構成要素の存在を明記するが、1つまたは複数の他の特徴、完全体、ステップ、動作、要素、構成要素、および/またはそれらのグループの存在または追加を排除しないことはさらに理解されよう。
以下の特許請求の範囲のあらゆる手段またはステップさらに機能要素の対応する構造、材料、行為、および等価物は、具体的に請求される他の請求要素と組み合わせて機能を行うための任意の構造、材料、または行為を含むものとする。本発明の説明は、例示および説明のために提示したが、網羅的であること、または開示した形態の発明に限定されることを意図していない。本発明の範囲および趣旨から逸脱することなく、多くの変更形態および変形形態が当業者には明らかであろう。本発明の原理および実際の応用を最も良く説明するために、また当業者が予想される特定の利用に適した様々な変更形態と共に様々な実施形態について本発明を理解できるように、実施形態を選択して説明した。
104 訓練データセット
106 変換モジュール
108 データベース
110 3Dローカライザー
112 3D画像データ
114 3Dディープニューラルネットワーク/3Dディープラーニングネットワーク/病理モデル
115 3Dローカライザー訓練モジュール
116 注釈付き訓練データセット
118 関心領域(ROI)
120 3Dバウンディングボックス
122 3Dローカライザーモデル
124 フレーズおよび/またはワード
126 ラベル抽出器モジュール
128 ターゲットラベル
130 疾患モデル
202 ローカライザー訓練モジュール
204 訓練データセット
206 注釈ツール
208 アノテータ
210 プロセッサ
211 抽出器モジュール
212 3Dディープニューラルネットワーク
214 ローカライザーモデル
402 入力層
404 ノイズ層
406 3D畳み込み層
408 3D畳み込み層
410 ソフトマックス層
502 第1の経路
504 第2の経路
506 第3のディープニューラルネットワーク
508 入力層
510 ノイズ層
512 3D畳み込み層
514 ドロップアウト層
516 ドロップアウト層
518 3D畳み込み層
520 ドロップアウト層
522 3D畳み込み層
524 デンス層
526 ドロップアウト層
528 デンス層
702 3Dローカライザーモジュール
704 MRI画像
706 3Dローカライザー
707 関心ボリューム(VOI)
716 VOI
902 コンピュータシステム
903 3Dローカライザーモジュール
906 3D画像
908 変換モジュール
912 3Dローカライザー
914 データベース
916 3Dディープニューラルネットワーク
917 3D確率マップ
918 報告モジュール
922 コンピュータ生成報告書
1002 報告書
1004 縦方向の半月板断裂
1006 他の情報
1008 VOI
1200 データ処理システム
1202 プロセッサ
1204 メモリ要素
1206 システムバス
1208 ローカルメモリ
1210 大容量記憶デバイス
1212 入力デバイス
1214 出力デバイス
1216 ネットワークアダプタ
1218 アプリケーション
1250 データ処理システム

Claims (16)

  1. 3D画像データにおける病変を決定するためのコンピュータ実装方法であって、
    身体部分の少なくとも第1の3D画像を受け取るステップであって、前記3D画像が所定の画像ボリュームと関連するボクセルを含む、受け取るステップと、
    前記第1の3D画像を第1の3D畳み込みニューラルネットワークの入力に提供するステップであって、前記第1の3D畳み込みニューラルネットワークが、前記第1の3D画像の前記画像ボリューム中の関心ボリューム(VOI)の位置を決定するように訓練され、前記VOIが前記身体部分の一部と関連し、前記VOIが前記画像ボリュームのサブボリュームを定める、提供するステップと、
    前記第1の3D畳み込みニューラルネットワークの出力から前記VOIの位置を受け取り、前記VOI内に位置を有する前記第1の3D画像のボクセルを選択することによって第1のVOIボクセルを決定するステップと、
    前記第1のVOIボクセルを第2の3D畳み込みニューラルネットワークの入力に提供するステップであって、前記第2の3D畳み込みニューラルネットワークが少なくとも前記第1のVOIボクセルに基づいてターゲットラベル値を決定するように訓練され、前記ターゲットラベル値が前記VOIにおける前記病変の有無を示している、提供するステップと、
    前記第2の3D畳み込みニューラルネットワークの出力から前記第1のVOIと関連する前記ターゲットラベル値を受け取り、前記ターゲットラベル値を前記病変の記述を表すテキストおよび/またはセンテンスと関連付けることによって医療報告書を生成するステップであって、好ましくは前記医療報告書の前記生成が、前記ターゲットラベル値が所定の第1の範囲内である場合、前記病変が検出されたことを記述する第1のテキスト文字列を決定し、ターゲットラベル値が所定の第2の範囲内である場合、前記病変が検出されなかったことを記述する第2のテキスト文字列を決定し、場合によっては前記第1のテキスト文字列または第2のテキスト文字列を、報告テンプレートを表すテキスト文字列に挿入することを含む、受け取り生成するステップと
    を含む、方法。
  2. 前記方法が、
    前記第2の3D畳み込みニューラルネットワークの畳み込み層から前記VOIボクセルと関連する3D確率マップを検索し、前記VOIボクセルと関連する3D顕著性マップを生成するための逆伝播プロセスへの入力として前記3D確率マップを使用するステップと、
    前記第2の3D畳み込みニューラルネットワークによる前記ターゲットラベル値の前記決定に実質的に寄与した前記VOIにおけるボクセルを識別するために前記3D顕著性マップを使用することによって、前記VOIにおける前記病変の注釈付き3D画像を生成するステップと
    をさらに含む、請求項1に記載の方法。
  3. 前記注釈付き3D画像または前記注釈付き3D画像の1つもしくは複数の2Dスライスを前記報告書に挿入するステップ
    をさらに含む、請求項2に記載の方法。
  4. 前記第1の3D画像が、第1の画像面、好ましくは矢状画像面の画像のシーケンスを含み、前記方法が、
    前記身体部分の第2の3D画像を受け取るステップであって、前記第2の3D画像が、第2の画像面、好ましくは冠状画像面の画像のシーケンスを含む、受け取るステップと、
    前記VOI内に位置を有する前記第2の3D画像のボクセルを選択することによって第2のVOIボクセルを決定するステップと、
    前記第2の3D畳み込みニューラルネットワークが、前記第1および第2のVOIボクセルに基づいてターゲットラベル値を決定するステップと
    をさらに含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記第2の3D畳み込みニューラルネットワークが、少なくとも前記ニューラルネットワークを通る第1の経路を形成する第1の複数の3D畳み込みニューラルネットワーク層と、前記第2のニューラルネットワークを通る第2の経路を形成する第2の複数の3D畳み込みニューラルネットワーク層とを含み、前記第1の複数の3D畳み込みニューラルネットワーク層が、前記第1のVOIボクセルを処理するように構成され、前記第2の複数の3D畳み込みニューラルネットワーク層が、前記第2のVOIボクセルを処理するように構成される、請求項4に記載の方法。
  6. 前記第1および/または第2の3D畳み込みニューラルネットワークが、1つまたは複数のノイズ層を含む、請求項1から5のいずれか一項に記載の方法。
  7. 3D画像データにおける身体部分の病変を決定するように構成されたシステムにおいて1つまたは複数の3Dディープニューラルネットワークを訓練するためのコンピュータ実装方法であって、
    コンピュータが医療研究の3D画像データ訓練セットを受け取るステップであって、前記3D画像データ訓練セットが身体部分の3D画像を含み、3D画像が、所定の画像ボリュームと関連するボクセルを含み、前記3D画像における前記病変の有無を示すコンピュータ可読テキスト部分および/またはセンテンスを含む医療報告書と関連する、受け取るステップと、
    前記3D画像訓練データの各3D画像に対して、3Dバウンディングボックスを形成するステップであって、好ましくは前記3Dバウンディングボックスの形成が、前記3D画像のスライス中の2D関心領域(ROI)に基づき、前記3Dバウンディングボックスが前記3D画像の前記画像ボリューム中にサブボリュームを形成し、前記サブボリュームが関心ボリューム(VOI)を定め、前記VOIが病変を含み得る前記身体部分の一部を含む、形成するステップと、
    前記3D画像訓練データの各3D画像に対して、前記画像ボリューム中の前記VOIの位置を決定し、前記VOIに位置するボクセルを決定するステップと、
    各VOIの前記ボクセルを入力として、VOIの前記位置をターゲットとして使用して、第1の3D畳み込みニューラルネットワークを訓練するステップと
    を含む、方法。
  8. 前記3D画像訓練データの各3D画像に対して、ターゲットラベル値を生成するために前記VOIと関連する前記医療報告書のコンピュータ可読テキストおよび/またはフレーズを処理するステップであって、前記ターゲットラベル値が、前記VOIにおける前記身体部分の前記病変の有無を示している、処理するステップと、
    前記VOIの前記ボクセルを入力として、前記VOIと関連する前記ターゲットラベル値をターゲットとして使用して、第2の3D畳み込みニューラルネットワークを訓練するステップと
    をさらに含む、請求項7に記載の方法。
  9. コンピュータ可読テキストおよび/またはフレーズを処理するステップが、
    前記医療報告書の前記コンピュータ可読テキスト部分および/またはセンテンスにおける1つまたは複数のフレーズおよび/またはワードの前記有無がどのように前記ターゲットラベル値を決定するかを記述するための決定木を使用するステップ
    を含む、請求項8に記載の方法。
  10. コンピュータ上に実装されるニューラルネットワークシステムであって、少なくとも1つまたは複数の3Dディープニューラルネットワーク、好ましくは1つまたは複数の3D畳み込みニューラルネットワークを含み、前記1つまたは複数のディープニューラルネットワークが、請求項7から9のいずれか一項に記載の方法に従って訓練される、ニューラルネットワークシステム。
  11. 3D画像データにおける病変を決定するように適合されたコンピュータシステムであって、
    コンピュータ可読プログラムコードがそこに記憶された記憶媒体であって、前記コードが第1および第2の3D畳み込みニューラルネットワークを含む、記憶媒体と、前記コンピュータ可読記憶媒体に結合された、1つまたは複数のプロセッサ、好ましくは1つまたは複数のマイクロプロセッサとを含み、前記コンピュータ可読プログラムコードを実行すると、前記システムが、
    身体部分の少なくとも第1の3D画像を受け取るステップであって、前記3D画像が所定の画像ボリュームと関連するボクセルを含む、受け取るステップと、
    前記第1の3D画像を前記第1の3D畳み込みニューラルネットワークの入力に提供するステップであって、前記第1の3D畳み込みニューラルネットワークが、前記第1の3D画像の前記画像ボリューム中の関心ボリューム(VOI)の位置を決定するように訓練され、前記VOIが前記身体部分の一部と関連し、前記VOIが前記画像ボリュームのサブボリュームを定める、提供するステップと、
    前記第1の3D畳み込みニューラルネットワークの出力から前記VOIの位置を受け取り、前記VOI内に位置を有する前記第1の3D画像のボクセルを選択することによって第1のVOIボクセルを決定するステップと、
    前記第1のVOIボクセルを前記第2の3D畳み込みニューラルネットワークの入力に提供するステップであって、前記第2の3D畳み込みニューラルネットワークが少なくとも前記第1のVOIボクセルに基づいてターゲットラベル値を決定するように訓練され、前記ターゲットラベル値が前記VOIにおける前記病変の有無を示している、提供するステップと、
    前記第2の3D畳み込みニューラルネットワークの出力から前記第1のVOIと関連する前記ターゲットラベル値を受け取り、前記ターゲットラベル値を前記病変の記述を表すテキストおよび/またはセンテンスと関連付けることによって医療報告書を生成するステップであって、好ましくは前記医療報告書の前記生成が、前記ターゲットラベル値が所定の第1の範囲内である場合、前記病変が検出されたことを記述する第1のテキスト文字列を決定し、ターゲットラベル値が所定の第2の範囲内である場合、前記病変が検出されなかったことを記述する第2のテキスト文字列を決定し、場合によっては、前記第1のテキスト文字列または第2のテキスト文字列を、報告テンプレートを表すテキスト文字列に挿入することを含む、受け取り生成するステップと
    を含む動作を実行する、コンピュータシステム。
  12. 前記動作が、
    前記第2の畳み込みニューラルネットワークの畳み込み層から前記VOIボクセルと関連する3D確率マップを検索し、前記VOIボクセルと関連する3D顕著性マップを生成するための逆伝播プロセスへの入力として前記3D確率マップを使用するステップと、
    前記第2の3D畳み込みニューラルネットワークによる前記ターゲットラベル値の前記決定に実質的に寄与した前記VOIにおけるボクセルを識別するために前記3D顕著性マップを使用することによって、前記VOIにおける前記病変の注釈付き3D画像を生成するステップと
    をさらに含む、請求項11に記載のコンピュータシステム。
  13. 前記動作が、
    前記注釈付き3D画像または前記注釈付き3D画像の1つもしくは複数の2Dスライスを前記報告書に挿入するステップ
    をさらに含む、請求項12に記載のコンピュータシステム。
  14. 前記第1の3D画像が、第1の画像面、好ましくは矢状画像面の画像のシーケンスを含み、前記動作が、
    前記身体部分の第2の3D画像を受け取るステップであって、前記第2の3D画像が、第2の画像面、好ましくは冠状画像面の画像のシーケンスを含む、受け取るステップと、
    前記VOI内に位置を有する前記第2の3D画像のボクセルを選択することによって第2のVOIボクセルを決定するステップと、
    前記第2の3D畳み込みニューラルネットワークが、前記第1および第2のVOIボクセルに基づいてターゲットラベル値を決定するステップと
    をさらに含む、請求項11から13のいずれか一項に記載のコンピュータシステム。
  15. 前記第2の3D畳み込みニューラルネットワークが、前記ニューラルネットワークを通る第1の経路を形成する少なくとも第1の複数の3D畳み込みニューラルネットワーク層と、前記第2のニューラルネットワークを通る第2の経路を形成する第2の複数の3D畳み込みニューラルネットワーク層とを含み、前記第1の複数の3D畳み込みニューラルネットワーク層が、前記第1のVOIボクセルを処理するように構成され、前記第2の複数の3D畳み込みニューラルネットワーク層が、前記第2のVOIボクセルを処理するように構成される、請求項14に記載のコンピュータシステム。
  16. コンピュータのメモリにおいて実行されると、請求項1から6または請求項7から9のいずれか一項に記載の方法ステップを実行するために構成されたソフトウェアコード部分を含むコンピュータプログラム。
JP2020529823A 2017-08-10 2018-08-10 ディープニューラルネットワークを使用したコンピュータ支援診断 Active JP7391846B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NL2019410 2017-08-10
NL2019410A NL2019410B1 (en) 2017-08-10 2017-08-10 Computer-aided diagnostics using deep neural networks
PCT/EP2018/071830 WO2019030410A1 (en) 2017-08-10 2018-08-10 COMPUTER-AIDED DIAGNOSIS USING DEEP NEURAL NETWORKS

Publications (2)

Publication Number Publication Date
JP2020530177A true JP2020530177A (ja) 2020-10-15
JP7391846B2 JP7391846B2 (ja) 2023-12-05

Family

ID=60020562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020529823A Active JP7391846B2 (ja) 2017-08-10 2018-08-10 ディープニューラルネットワークを使用したコンピュータ支援診断

Country Status (9)

Country Link
US (1) US11783936B2 (ja)
EP (1) EP3665703B1 (ja)
JP (1) JP7391846B2 (ja)
CN (1) CN111095426A (ja)
CA (1) CA3072380A1 (ja)
ES (1) ES2967682T3 (ja)
HU (1) HUE064495T2 (ja)
NL (1) NL2019410B1 (ja)
WO (1) WO2019030410A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023086503A (ja) * 2021-12-10 2023-06-22 広州智睿医療科技有限公司 病理診断支援方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11101029B2 (en) 2018-07-17 2021-08-24 Petuum Inc. Systems and methods for predicting medications to prescribe to a patient based on machine learning
NL2021559B1 (en) * 2018-09-04 2020-04-30 Aidence B V Determination of a growth rate of an object in 3D data sets using deep learning
EP3657433B1 (en) * 2018-11-22 2022-10-19 Siemens Healthcare GmbH Medical image data
US20220230320A1 (en) * 2019-04-06 2022-07-21 Kardiolytics Inc. Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images
EP3734499A1 (en) * 2019-05-02 2020-11-04 Siemens Healthcare GmbH Generating reports of three dimensional images
EP3751458A1 (en) 2019-06-14 2020-12-16 Sobolt B.V. Method for thermographic analysis using a hybrid convolutional neural network
US11883206B2 (en) 2019-07-29 2024-01-30 Hologic, Inc. Personalized breast imaging system
KR102388204B1 (ko) * 2019-08-30 2022-04-19 재단법인 아산사회복지재단 인공 신경망을 이용하여 관심 부피 영역을 추출하는 방법 및 상기 방법을 수행하는 관심 부피 영역 추출 장치
JP7465342B2 (ja) 2019-09-27 2024-04-10 ホロジック， インコーポレイテッド ２ｄ／３ｄ乳房画像を精査するための読み取り時間および読み取り複雑性を予測するためのａｉシステム
US11410302B2 (en) * 2019-10-31 2022-08-09 Tencent America LLC Two and a half dimensional convolutional neural network for predicting hematoma expansion in non-contrast head computerized tomography images
US20240161247A1 (en) * 2019-10-31 2024-05-16 Allen Institute Removing independent noise using deepinterpolation
DE112020005870T5 (de) * 2019-11-29 2022-11-03 Fujifilm Corporation Unterstützungsvorrichtung für dokumentenerstellung, unterstützungsverfahren für dokumentenerstellung und unterstützungsprogramm für dokumentenerstellung
EP3832689A3 (en) 2019-12-05 2021-08-11 Hologic, Inc. Systems and methods for improved x-ray tube life
US11954518B2 (en) 2019-12-20 2024-04-09 Nvidia Corporation User-defined metered priority queues
CN111192320B (zh) * 2019-12-30 2023-07-25 上海联影医疗科技股份有限公司 一种位置信息确定方法、装置、设备和存储介质
US11471118B2 (en) 2020-03-27 2022-10-18 Hologic, Inc. System and method for tracking x-ray tube focal spot position
US11481038B2 (en) 2020-03-27 2022-10-25 Hologic, Inc. Gesture recognition in controlling medical hardware or software
CN111915555A (zh) * 2020-06-19 2020-11-10 杭州深睿博联科技有限公司 一种3d网络模型预训练方法、系统、终端及存储介质
KR102510221B1 (ko) * 2020-12-24 2023-03-15 연세대학교 산학협력단 골절 위험 예측 방법 및 장치
CN113870137B (zh) * 2021-09-30 2024-05-21 重庆大学 由梯度指导、自相似性修正的低剂量ct图像去噪方法、系统
CN116630427B (zh) * 2023-07-24 2023-10-31 杭州键嘉医疗科技股份有限公司 一种ct图像中髋骨和股骨自动定位的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016007518A1 (en) * 2014-07-07 2016-01-14 The Regents Of The University Of California Automatic segmentation and quantitative parameterization of brain tumors in mri
US20170124415A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Subcategory-aware convolutional neural networks for object detection
CN106909778A (zh) * 2017-02-09 2017-06-30 北京市计算中心 一种基于深度学习的多模态医学影像识别方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920152B2 (en) * 2004-11-04 2011-04-05 Dr Systems, Inc. Systems and methods for viewing medical 3D imaging volumes
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
CN103098090B (zh) * 2011-12-21 2015-01-21 中国科学院自动化研究所 多参数三维磁共振图像脑肿瘤分割方法
US9730643B2 (en) 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US9589374B1 (en) * 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
WO2018119808A1 (zh) * 2016-12-29 2018-07-05 浙江工商大学 一种基于3d卷积神经网络的立体视频生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016007518A1 (en) * 2014-07-07 2016-01-14 The Regents Of The University Of California Automatic segmentation and quantitative parameterization of brain tumors in mri
US20170124415A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Subcategory-aware convolutional neural networks for object detection
CN106909778A (zh) * 2017-02-09 2017-06-30 北京市计算中心 一种基于深度学习的多模态医学影像识别方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023086503A (ja) * 2021-12-10 2023-06-22 広州智睿医療科技有限公司 病理診断支援方法
JP7366111B2 (ja) 2021-12-10 2023-10-20 広州智睿医療科技有限公司 病理診断支援方法

Also Published As

Publication number Publication date
HUE064495T2 (hu) 2024-03-28
WO2019030410A1 (en) 2019-02-14
EP3665703C0 (en) 2023-10-11
ES2967682T3 (es) 2024-05-03
EP3665703B1 (en) 2023-10-11
US20200219609A1 (en) 2020-07-09
CA3072380A1 (en) 2019-02-14
NL2019410B1 (en) 2019-02-21
CN111095426A (zh) 2020-05-01
JP7391846B2 (ja) 2023-12-05
US11783936B2 (en) 2023-10-10
EP3665703A1 (en) 2020-06-17

Similar Documents

Publication Publication Date Title
JP7391846B2 (ja) ディープニューラルネットワークを使用したコンピュータ支援診断
Mahmood et al. Deep adversarial training for multi-organ nuclei segmentation in histopathology images
US10496884B1 (en) Transformation of textbook information
Pesce et al. Learning to detect chest radiographs containing pulmonary lesions using visual attention networks
Barnett et al. A case-based interpretable deep learning model for classification of mass lesions in digital mammography
US10929708B2 (en) Deep learning network for salient region identification in images
US11176188B2 (en) Visualization framework based on document representation learning
US10853449B1 (en) Report formatting for automated or assisted analysis of medical imaging data and medical diagnosis
US10692602B1 (en) Structuring free text medical reports with forced taxonomies
EP3246836A1 (en) Automatic generation of radiology reports from images and automatic rule out of images without findings
WO2018176035A1 (en) Method and system of building hospital-scale chest x-ray database for entity extraction and weakly-supervised classification and localization of common thorax diseases
JP7346553B2 (ja) 深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定
Garg et al. State-of-the-art review of deep learning for medical image analysis
EP4390766A2 (en) Training a machine learning algorithm using digitally reconstructed radiographs
WO2023274599A1 (en) Methods and systems for automated follow-up reading of medical image data
Lutnick et al. Iterative annotation to ease neural network training: Specialized machine learning in medical image analysis
Abid et al. Artificial Intelligence in Urology: current status and future perspectives
Tan et al. DeepPulmoTB: A benchmark dataset for multi-task learning of tuberculosis lesions in lung computerized tomography (CT)
US20240119750A1 (en) Method of generating language feature extraction model, information processing apparatus, information processing method, and program
Barhoumi Efficient Scopeformer: Towards Scalable and Rich Feature Extraction for Intracranial Hemorrhage Detection using Hybrid Convolution and Vision Transformer Networks
US20230401702A1 (en) Object detection in paired imaging
EP4339961A1 (en) Methods and systems for providing a template data structure for a medical report
Baig et al. Transfer Learning Empowered Bone Fracture Detection
Yassine Efficient Scopeformer: Towards Scalable and Rich Feature Extraction for Intracranial Hemorrhage Detection Using Hybrid Convolution and Vision Transformer Networks
WO2023165942A1 (en) Cross-modality data matching

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231122

R150 Certificate of patent or registration of utility model

Ref document number: 7391846

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350