JP2019530488A - 深層畳み込みニューラルネットワークを使用した医用画像のためのコンピュータ支援による診断システム - Google Patents

Abstract

深層畳み込みニューラルネットワークを医用画像に適用してリアルタイム又はほぼリアルタイムの診断を生成するためのシステム、媒体、及び方法が記載される。【選択図】 図１

Description

関連出願の相互参照
本出願は、２０１６年８月１日に出願された米国出願第１５／２２５，５９７号の継続出願で、現在は米国特許番号第９，５８９，３７４号である、国際ＰＣＴ出願ＰＣＴ／ＵＳ２０１７／０３５０５２号の国内段階出願であり、これらの全内容が引用により本明細書に組み入れられる。

病気の診断は、健康診査における重要なステップである。医用画像（イメージング）は、多くの病気を診断し、非侵襲性の診断を提供する有用なツールであり、他のツールよりも優れた利点がある。しかしながら、医用画像は大量のデータを生成するので、医用画像を分析するには、長いプロセスが必要となる。病気診断の早期段階では、高解像度の画像診断法の下でも異常組織が目立たない場合がある。従って、この問題に対処する新しい技術が必要である。

医用画像のためのコンピュータ支援診断（ＣＡＤ）システムは、検査時間の短縮、診断精度の向上、並びに経験及び個人的条件に起因する診断のばらつきの低減によって、医師がより効率的に病気を診断するのを助けることを目指している。高度なコンピュータ技術を使用することで、ＣＡＤシステムは、医師が精査して最終的な診断決定を行う潜在的な医学的条件の領域に焦点を当てる。本開示は、多くの誤って分類される領域を含むことなく全ての可能性のある異常が検出されるように、高感度及び高選択度を有する良好なＣＡＤシステムを提供する。

ＣＡＤシステムは、健康ではない組織を表すために手動による精巧な特徴に依存することができる。このような特徴の一部の例は、強度、エッジ、２Ｄ／３Ｄ曲率、形状、及び他の２Ｄ／３Ｄ幾何学的特性を含む。このような特徴の設計は、特定の問題に対して多くの専門知識を必要とする場合があるが、ほとんどは極めてヒューリスティックのままである。特徴が考慮されると、新しいデータ及び症状に適応するのは難しい。結果として、このシステムは、低検出率及び高偽陽性を生じることが多く、臨床用途の要件に適合することができない。更に、従来のＣＡＤシステムの別の問題は、処理速度が遅いことである。従来の多くのＣＡＤシステムは、データ処理に長い時間を必要とする。しかしながら、一部のアプリケーション及び医療手技（例えばコンピュータ支援手術）は、リアルタイムの又はほぼリアルタイムの結果を取得することが必要である。

本開示は、リアルタイムの自動画像分析によって上記の問題に対処する。高速処理を生成するために、本明細書で開示される技術は、関心領域をセグメンテーションして、次いで、後続の処理は、画像ドメイン全体ではなく関心領域に適用される。更に、初期スクリーニングは、計算資源を節約するために、３Ｄボリュームスペースではなく個々の２Ｄスライスに対して実行される。次に、精細な検出ステップが初期スクリーニング結果に適用される。セグメンテーション及びカスケード化処理が高速処理を可能にし、リアルタイム又はほぼリアルタイムの結果を実現する。他方、高精度を達成するために、開示される技術は、ランダム最適化と共に畳み込みニューラルネットワークを利用する。開示される技術は、深層（多層）畳み込みニューラルネットワーク（ＤＣＮＮ）のような深層学習ベースのソリューションを含み、専門家がラベル付けした大量の医用画像をスキャンすることによって、病気に関する重大な特徴及びその特性を自動的に学習する。自動的に学習された特徴は、手動で選択された特徴よりも区別がし易く、新しいデータ／症状に容易に適応することができる。

１つの態様において、本明細書で開示されるのは、デジタル処理デバイスを備えたコンピュータに実装されたシステムであって、デジタル処理デバイスは、少なくとも１つのプロセッサと、実行可能命令を実行するよう構成されたオペレーティングシステムと、メモリと、医用画像に深層畳み込みニューラルネットワークを適用してリアルタイム又はほぼリアルタイムの診断又は診断推奨を生成するアプリケーションを作成するためにデジタル処理デバイスによって実行可能な命令を含むコンピュータプログラムと、を含み、アプリケーションは、（ａ）複数の医用画像の画像セグメンテーションを実行するソフトウェアモジュールであって、画像セグメンテーションが医用画像の各々から関心領域を分離することを含むソフトウェアモジュールと、（ｂ）セグメンテーションされた医用画像にカスケード深層畳み込みニューラルネットワーク検出構造を適用するソフトウェアモジュールであって、該検出構造が、（１）第１畳み込みニューラルネットワークを利用して、スライディングウィンドウ方式によって１又は２以上の候補位置を識別することにより、セグメンテーションされた医用画像の各２Ｄスライス内の全ての可能性のある位置をスクリーニングする第１段階と、（２）第２畳み込みニューラルネットワークを利用して、ランダムスケール及びランダム視野角を有する各ボリューム内の少なくとも１つのランダム位置を選択して１又は２以上の精細な位置を識別し及び前記精細な位置を分類することによって、前記候補位置から構成される３Ｄボリュームをスクリーニングする第２段階と、を含むソフトウェアモジュールと、（ｃ）診断又は診断推奨を含むレポートを自動的に生成するソフトウェアモジュールと、を含む。一部の実施形態において、医用画像は、ＣＴスキャン、ＰＥＴ／ＣＴスキャン、ＳＰＥＣＴスキャン、ＭＲＩ、超音波、Ｘ線、乳房撮影、血管造影、蛍光撮影、顕微鏡写真、又はこれらの組み合わせから提供される。一部の実施形態において、このアプリケーションは、複数の医用画像の正規化を含む画像前処理を実行するソフトウェアモジュールを更に含む。一部の実施形態において、正規化は、画像フォーマット、画像スライススペーシング、画像強度、画像コントラスト、及び画像方向の正規化を含む。一部の実施形態において、画像は、ＤＩＣＯＭフォーマット、ＮＩｆＴＩフォーマット、又は生バイナリフォーマットに正規化される。一部の実施形態において、関心領域は、器官、器官の一部、又は組織である。一部の実施形態において、候補位置は、セグメンテーションされた医用画像の２Ｄスライスにおける位置の１０％未満を含む。一部の実施形態において、第１畳み込みニューラルネットワークは、２〜２０の畳み込み層及び１〜１０の全結合層を有する。一部の実施形態において、第１畳み込みニューラルネットワークは、３〜８の畳み込み層及び３〜５の全結合層を有する。一部の実施形態において、スライディングウィンドウは、１００未満のピクセル×１００未満のピクセルのウィンドウである。一部の実施形態において、スライディングウィンドウは、１０〜４０ピクセル×１０〜４０ピクセルのウィンドウである。一部の実施形態において、スライディングウィンドウは、約３１ピクセル×約３１ピクセルのウィンドウである。一部の実施形態において、スライディングウィンドウは、約１６ピクセル×約１６ピクセルのウィンドウである。一部の実施形態において、第１畳み込みニューラルネットワークは、複数のニューラルネットワークインスタンスからランダムに選択された少なくとも１つのニューラルネットワークインスタンスを含む。一部の実施形態において、第２畳み込みニューラルネットワークは、５又は６以上の畳み込み層及び全結合層を有する。一部の実施形態において、３Ｄボリュームは、各方向で１００未満のボクセルである。別の実施形態において、３Ｄボリュームは、各方向で１０〜４０ボクセルである。更に別の実施形態において、３Ｄボリュームは、各方向で約３２ボクセルである。一部の実施形態において、３Ｄボリュームは、各方向で約１６ボクセルである。一部の実施形態において、第２畳み込みニューラルネットワークは、各ボリューム内で複数のランダム位置を選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、各位置にて複数のランダムスケールを選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、各位置に対して複数のランダムビューイング角度を選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、複数のニューラルネットワークインスタンスからランダムに選択された少なくとも１つのニューラルネットワークインスタンスを含む。一部の実施形態において、アプリケーションは、精細な位置の後処理を実行するソフトウェアモジュールを更に含む。別の実施形態において、後処理は、重心位置、ボリューム、形状、強度、密度、透明度、及び規則性のうちの１又は２以上を特徴付ける段階を含む。更に別の実施形態において、後処理は、２又は３以上の精細な位置が同じ病気部位の部分であるかどうかの判定を含む。一部の実施形態において、アプリケーションは、リアルタイム又はほぼリアルタイムで実行されて、リアルタイム又はほぼリアルタイムの診断又は診断推奨を生成する。一部の実施形態において、診断又は診断推奨は、何れかの位置が病気部位であるかどうかの判定を含む。一部の実施形態において、レポートは、医用画像の１又は２以上に関する情報オーバレイを含む。別の実施形態において、オーバレイは、ポイント位置指示子、範囲指示子、又は輪郭指示子を含む。一部の実施形態において、レポートは、病気のタイプを示すためにカラーコード化された１又は２以上の医用画像を含む。一部の実施形態において、レポートは、診断信頼度を示すためにヒートマップ化された１又は２以上の医用画像を含む。一部の実施形態において、レポートは、２又は３以上の時点で取り込まれる医用画像にアプリケーションを適用することによって生成される経時変化を含む。一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、病気の重大な臨床的徴候を識別するためにトレーニングされる。別の実施形態において、第１及び第２畳み込みニューラルネットワークは、人間の専門家によってラベル付けされた医用画像を使用してトレーニングされ、画像フォーマット、画像スライススペーシング、画像強度、画像コントラスト、及び画像方向を正規化するために前処理される。一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、正常及び病気の位置に対してバランスが取られた医用画像を使用してトレーニングされる。

別の態様において、本明細書で開示されるのは、医用画像に深層畳み込みニューラルネットワークを適用してリアルタイム又はほぼリアルタイムの診断又は診断推奨を生成するアプリケーションを生成するためにプロセッサによって実行可能な命令を含むコンピュータプログラムによって符号化された非一時的コンピュータ可読ストレージ媒体であって、アプリケーションは、ａ）複数の医用画像の画像セグメンテーションを実行するソフトウェアモジュールであって、画像セグメンテーションが医用画像の各々から関心領域を分離することを含むソフトウェアモジュールと、ｂ）セグメンテーションされた医用画像にカスケード深層畳み込みニューラルネットワーク検出構造を適用するソフトウェアモジュールであって、検出構造が、１）第１畳み込みニューラルネットワークを利用して、スライディングウィンドウ方式によって１又は２以上の候補位置を識別することにより、セグメンテーションされた医用画像の各２Ｄスライス内の全ての可能性のある位置をスクリーニングする第１段階と、２）第２畳み込みニューラルネットワークを利用して、ランダムスケール及びランダム視野角を有する各ボリューム内の少なくとも１つのランダム位置を選択して１又は２以上の精細な位置を識別し及び精細な位置を分類することによって、候補位置から構成される３Ｄボリュームをスクリーニングする第２段階と、を含む、ソフトウェアモジュールと、ｃ）診断又は診断推奨を含むレポートを自動的に生成するソフトウェアモジュールと、を含む。一部の実施形態において、医用画像は、ＣＴスキャン、ＰＥＴ／ＣＴスキャン、ＳＰＥＣＴスキャン、ＭＲＩ、超音波、Ｘ線、乳房撮影、血管造影、蛍光撮影、顕微鏡写真、又はこれらの組み合わせから提供される。一部の実施形態において、アプリケーションは、複数の医用画像の正規化を含む画像前処理を実行するソフトウェアモジュールを更に含む。一部の実施形態において、正規化は、画像フォーマット、画像スライススペーシング、画像強度、画像コントラスト、及び画像方向の正規化を含む。一部の実施形態において、画像は、ＤＩＣＯＭフォーマット、ＮＩｆＴＩフォーマット、又は生バイナリフォーマットに正規化される。一部の実施形態において、関心領域は、器官、器官の一部、又は組織である。一部の実施形態において、候補位置は、セグメンテーションされた医用画像の２Ｄスライスの位置の１０％未満を含む。一部の実施形態において、第１畳み込みニューラルネットワークは、２〜２０の畳み込み層及び１〜１０の全結合層を有する。一部の実施形態において、第１畳み込みニューラルネットワークは、３〜８の畳み込み層及び３〜５の全結合層を有する。一部の実施形態において、スライディングウィンドウは、１００未満のピクセル×１００未満のピクセルのウィンドウである。一部の実施形態において、スライディングウィンドウは、１０〜４０ピクセル×１０〜４０ピクセルのウィンドウである。別の実施形態において、スライディングウィンドウは、約３１ピクセル×約３１ピクセルのウィンドウである。別の実施形態において、スライディングウィンドウは、約１６ピクセル×約１６ピクセルのウィンドウである。一部の実施形態において、第１畳み込みニューラルネットワークは、複数のニューラルネットワークインスタンスからランダムに選択された少なくとも１つのニューラルネットワークインスタンスを含む。一部の実施形態において、第２畳み込みニューラルネットワークは、５又は６以上の畳み込み層及び全結合層を有する。一部の実施形態において、３Ｄボリュームは、各方向で１００未満のボクセルである。一部の実施形態において、３Ｄボリュームは、各方向で１０〜４０ボクセルである。一部の実施形態において、３Ｄボリュームは、各方向で約３２ボクセルである。一部の実施形態において、３Ｄボリュームは、各方向で約１６ボクセルである。一部の実施形態において、第２畳み込みニューラルネットワークは、各ボリューム内で複数のランダム位置を選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、各位置にて複数のランダムスケールを選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、各位置に対して複数のランダム視野角を選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、複数のニューラルネットワークインスタンスからランダムに選択された少なくとも１つのニューラルネットワークインスタンスを含む。一部の実施形態において、アプリケーションは、精細な位置の後処理を実行するソフトウェアモジュールを更に含む。一部の実施形態において、後処理は、重心位置、ボリューム、形状、強度、密度、透明度、及び規則性のうちの１又は２以上を特徴付ける段階を含む。一部の実施形態において、後処理は、２又は３以上の精細な位置が同じ病気部位の部分であるかどうかの判定を含む。一部の実施形態において、アプリケーションがリルタイム又はほぼリアルタイムで実行され、リアルタイム又はほぼリアルタイムの診断又は診断推奨を生成する。一部の実施形態において、診断又は診断推奨は、何れかの位置が病気部位であるかどうかの判定を含む。一部の実施形態において、レポートは、医用画像の１又は２以上に関する情報オーバレイを含む。一部の実施形態において、オーバレイは、ポイント位置指示子、範囲指示子、又は輪郭指示子を含む。一部の実施形態において、レポートは、病気のタイプを示すためにカラーコード化された１又は２以上の医用画像を含む。一部の実施形態において、レポートは、診断信頼度を示すためにヒートマップ化された１又は２以上の医用画像を含む。一部の実施形態において、レポートは、２又は３以上の時点で取り込まれる医用画像にアプリケーションを適用することによって生成される経時変化を含む。一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、病気の重大な臨床的徴候を識別するようトレーニングされる。一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、人間の専門家によってラベル付けされた医用画像を使用してトレーニングされ、画像フォーマット、画像スライススペーシング、画像強度、画像コントラスト、及び画像方向を正規化するために前処理される。一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、正常及び病気の位置に対してバランスが取られた医用画像を使用してトレーニングされる。

更に別の態様において、医用画像に深層畳み込みニューラルネットワークを適用してリアルタイム又はほぼリアルタイムの診断又は診断推奨を生成するコンピュータに実装された方法が開示され、この方法は、ａ）コンピュータによって、複数の医用画像の画像セグメンテーションを実行する段階であって、画像セグメンテーションが、医用画像の各々から関心領域を分離する段階を含む、段階と、ｂ）コンピュータによって、セグメンテーションされた医用画像にカスケード深層畳み込みニューラルネットワーク検出構造を適用する段階と、を含み、検出構造が、１）第１畳み込みニューラルネットワークを利用して、スライディングウィンドウ方式によって１又は２以上の候補位置を識別することにより、セグメンテーションされた医用画像の各２Ｄスライス内の全ての可能性のある位置をスクリーニングする第１段階と、２）第２畳み込みニューラルネットワークを利用して、ランダムスケール及びランダム視野角を有する各ボリューム内の少なくとも１つのランダム位置を選択して１又は２以上の精細な位置を識別し及び精細な位置を分類することによって、候補位置から構成される３Ｄボリュームをスクリーニングする第２段階と、を含み、本方法が更に、ｃ）コンピュータによって、診断又は診断推奨を含むレポートを自動的に生成する段階と、を含む。一部の実施形態において、医用画像は、ＣＴスキャン、ＰＥＴ／ＣＴスキャン、ＳＰＥＣＴスキャン、ＭＲＩ、超音波、Ｘ線、乳房撮影、血管造影、蛍光撮影、顕微鏡写真、又はこれらの組み合わせから提供される。一部の実施形態において、本発明の方法は更に、コンピュータによって、複数の医用画像の正規化を含む画像前処理を実行する段階を含む。一部の実施形態において、正規化は、画像フォーマット、画像スライススペーシング、画像強度、画像コントラスト、及び画像方向の正規化を含む。一部の実施形態において、画像は、ＤＩＣＯＭフォーマット、ＮＩｆＴＩフォーマット、又は生バイナリフォーマットに正規化される。一部の実施形態において、関心領域は、器官、器官の一部、又は組織である。一部の実施形態において、候補位置は、セグメンテーションされた医用画像の２Ｄスライスにおける位置の１０％未満を含む。一部の実施形態において、第１畳み込みニューラルネットワークが２〜２０の畳み込み層及び１〜１０の全結合層を有する。一部の実施形態において、第１畳み込みニューラルネットワークは、３〜８の畳み込み層及び３〜５の全結合層を有する。一部の実施形態において、スライディングウィンドウは、１００未満のピクセル×１００未満のピクセルのウィンドウである。別の実施形態において、スライディングウィンドウは、１０〜４０ピクセル×１０〜４０ピクセルのウィンドウである。一部の実施形態において、スライディングウィンドウは、約３１×約３１ピクセルのウィンドウである。一部の実施形態において、スライディングウィンドウは、約１６ピクセル×約１６ピクセルのウィンドウである。一部の実施形態において、第１畳み込みニューラルネットワークは、複数のニューラルネットワークインスタンスからランダムに選択される少なくとも１つのニューラルネットワークインスタンスを含む。一部の実施形態において、第２畳み込みニューラルネットワークは、５又は６以上の畳み込み層及び全結合層を有する。一部の実施形態において、３Ｄボリュームは各方向で１００未満のボクセルである。一部の実施形態において、３Ｄボリュームは、各方向で１０〜４０ボクセルである。一部の実施形態において、３Ｄボリュームは、各方向で約３２ボクセルである。一部の実施形態において、３Ｄボリュームは、各方向で約１６ボクセルである。一部の実施形態において、第２畳み込みニューラルネットワークは、各ボリューム内で複数のランダム位置を選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、各位置にて複数のランダムスケールを選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、各位置に対して複数のランダム視野角を選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、複数のニューラルネットワークインスタンスからランダムに選択された少なくとも１つのニューラルネットワークインスタンスを含む。一部の実施形態において、本発明の方法は、コンピュータによって、精細な位置の後処理を実行する段階を更に含む。一部の実施形態において、後処理は、重心位置、ボリューム、形状、強度、密度、透明度、及び規則性のうちの１又は２以上を特徴付ける段階を含む。一部の実施形態において、後処理は、２又は３以上の精細な位置が同じ病気部位の部分であるかどうかの判定を含む。一部の実施形態において、本発明の方法は、リアルタイム又はほぼリアルタイムで実行され、リアルタイム又はほぼリアルタイムの診断又は診断推奨を生成する。一部の実施形態において、診断又は診断推奨は、何れかの位置が病気部位であるかどうかの判定を含む。一部の実施形態において、レポートは、医用画像の１又は２以上に関する情報オーバレイを含む。一部の実施形態において、オーバレイは、ポイント位置指示子、範囲指示子、又は輪郭指示子を含む。一部の実施形態において、レポートは、病気のタイプを示すためにカラーコード化された１又は２以上の医用画像を含む。一部の実施形態において、レポートは、診断信頼度を示すためにヒートマップ化された１又は２以上の医用画像を含む。一部の実施形態において、レポートは、２又は３以上の時点で取り込まれる医用画像にアプリケーションを適用することによって生成される経時変化を含む。一部の実施形態において、本発明の方法は、病気の重大な臨床的徴候を識別するよう第１及び第２畳み込みニューラルネットワークをトレーニングする段階を更に含む。一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、人間の専門家によってラベル付けされた医用画像を使用してトレーニングされ、画像フォーマット、画像スライススペーシング、画像強度、画像コントラスト、及び画像方向を正規化するために前処理される。一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、正常及び病気の位置に対してバランスが取られた医用画像を使用してトレーニングされる。

プロセスの流れ図、この事例では、リアルタイム又はほぼリアルタイムの診断を生成するために医用画像に深層畳み込みニューラルネットワークを適用する全体のプロセスを例示する概略図の非限定的な実施例を示す図である。 プロセスの流れ図、この事例では、リアルタイム又はほぼリアルタイムの診断を生成するために医用画像に深層畳み込みニューラルネットワークを適用する初期スクリーニングプロセスを例示する非限定的な実施例を示す図である。 プロセスの流れ図、この事例では、リアルタイム又はほぼリアルタイムの診断を生成するために医用画像に深層畳み込みニューラルネットワークを適用するための精細なスクリーニングプロセスを例示する非限定的な実施例を示す図である。 本明細書で記載されるレポート、この事例では、肺結節分析を含むレポートの非限定的な実施例を示す図である。 本明細書で記載されるレポート、この事例では、検出された肺結節の画像を含むレポートの非限定的な実施例を示す図である。 データグフラフ、この事例では、現行の技術と比較した本明細書で記載される技術の性能を例示するグラフの非限定的な実施例を示す図である。 デジタル処理デバイス、この事例では、１又は２以上のＣＰＵ、メモリ、通信インタフェース、及びディスプレイを備えたデバイスの非限定的な実施例を示す図である。

既存のＣＡＤシステムは、健康ではない組織を表すために手動による精巧な特徴に依存している。しかしながら、手動の作業は特定の問題に対して多くの専門知識を必要とするが、ほとんどは極めてヒューリスティックのままである。１つの特徴が考慮されると、新しいデータ及び症状に適応するのは難しい。結果として、本システムは、低検出率及び高偽陽性を生じることが多く、臨床用途の要件に適合することができない。本明細書で開示される技術は、人工知能アルゴリズムを利用して医用画像を自動的に分析し、病気の特徴を識別する。識別された特徴は、高精度の病気診断に使用される。

一方、既存のＣＡＤシステムは、遅い処理時間に直面する。医用画像は大量の画像データを生成し、通常は、その処理及び分析には長い時間を必要とする。一部のアプリケーションでは、処理が複雑すぎてリアルタイムで実行できない。本明細書で開示される技術は、リアルタイムの自動画像分析を含む。高速処理を生成するためには、本明細書で開示される技術は、関心領域のセグメンテーションから始まり、次の処理は、画像ドメイン全体にではなく、当該領域に適用される。更に、初期スクリーニングが、計算資源を節約するために３Ｄボリュームスペースではなく個々の２Ｄスライスに対して実施される。次に、精細な検出ステップが初期スクリーニング結果に適用される。セグメンテーション及びカスケードプロセスが高速処理を可能にし、リアルタイム及びほぼリアルタイムの結果を実現する。他方、高精度を達成するために、開示される技術は、ランダム最適化と共に畳み込みニューラルネットワークを利用する。開示される技術は、深層（多層）畳み込みニューラルネットワーク（ＤＣＮＮ）のような深層学習（ディープラーニング）ベースのソリューションを含み、専門家がラベル付けした大量の医用画像をスキャンすることによって病気に関する重要な特徴及びその特性を自動的に学習する。自動的に学習された特徴は、手動で選択された特徴よりも区別し易く、新しいデータ／症状に容易に適応することができる。

特定の実施形態において、本明細書で記載されるのは、デジタル処理デバイスを備えたコンピュータに実装されたシステムであって、該デジタル処理デバイスは、少なくとも１つのプロセッサと、実行可能命令を実行するよう構成されたオペレーティングシステムと、メモリと、医用画像に深層畳み込みニューラルネットワークを適用してリアルタイム又はほぼリアルタイムの診断又は診断推奨を生成するアプリケーションを作成するためにデジタル処理デバイスによって実行可能な命令を含むコンピュータプログラムと、を含み、アプリケーションは、（ａ）複数の医用画像の画像セグメンテーションを実行するソフトウェアモジュールであって、該画像セグメンテーションが医用画像の各々から関心領域を分離する段階を含む、ソフトウェアモジュールと、（ｂ）セグメンテーションされた医用画像にカスケード深層畳み込みニューラルネットワーク検出構造を適用するソフトウェアモジュールであって、検出構造は、（１）第１畳み込みニューラルネットワークを利用して、スライディングウィンドウ方式によって１又は２以上の候補位置を識別することにより、セグメンテーションされた医用画像の各２Ｄスライス内の全ての可能性のある位置をスクリーニングする第１段階と、（２）第２畳み込みニューラルネットワークを利用して、ランダムスケールランダム視野角を有する各ボリューム内の少なくとも１つのランダム位置を選択して１又は２以上の精細な位置を識別し且つ精細な位置を分類することによって、候補位置から構成される３Ｄボリュームをスクリーニングする第２段階と、を含むソフトウェアモジュールと、及び（ｂ）診断又は診断推奨を含むレポートを自動的に生成するソフトウェアモジュールと、を含む。一部の実施形態において、医用画像は、ＣＴスキャン、ＰＥＴ／ＣＴスキャン、ＳＰＥＣＴスキャン、ＭＲＩ、超音波、Ｘ線、乳房撮影、血管造影、蛍光撮影、顕微鏡写真、又はこれらの組み合わせから提供される。一部の実施形態において、このアプリケーションは、複数の医用画像の正規化を含む画像前処理を実行するソフトウェアモジュールを更に含む。一部の実施形態において、正規化は、画像フォーマット、画像スライススペーシング、画像強度、画像コントラスト、及び画像方向の正規化を含む。一部の実施形態において、画像は、ＤＩＣＯＭフォーマット、ＮＩｆＴＩフォーマット、又は生バイナリフォーマットに正規化される。一部の実施形態において、関心領域は、器官、器官の一部、又は組織である。一部の実施形態において、候補位置は、セグメンテーションされた医用画像の２Ｄスライスにおける位置の１０％未満を含む。一部の実施形態において、第１畳み込みニューラルネットワークは、２〜２０の畳み込み層及び１〜１０の全結合層を有する。一部の実施形態において、第１畳み込みニューラルネットワークは、３〜８の畳み込み層及び３〜５の全結合層を有する。一部の実施形態において、スライディングウィンドウは、１００未満のピクセル×１００未満のピクセルのウィンドウである。一部の実施形態において、スライディングウィンドウは、１０〜４０ピクセル×１０〜４０ピクセルのウィンドウである。一部の実施形態において、スライディングウィンドウは、約３１ピクセル×約３１ピクセルのウィンドウである。一部の実施形態において、スライディングウィンドウは、約１６ピクセル×約１６ピクセルのウィンドウである。一部の実施形態において、第１畳み込みニューラルネットワークは、複数のニューラルネットワークインスタンスからランダムに選択された少なくとも１つのニューラルネットワークインスタンスを含む。一部の実施形態において、第２畳み込みニューラルネットワークは、５又は６以上の畳み込み層及び全結合層を有する。一部の実施形態において、３Ｄボリュームは、各方向で１００未満のボクセルである。別の実施形態において、３Ｄボリュームは、各方向で１０〜４０ボクセルである。更に別の実施形態において、３Ｄボリュームは、各方向で約３２ボクセルである。一部の実施形態において、３Ｄボリュームは、各方向で約１６ボクセルである。一部の実施形態において、第２畳み込みニューラルネットワークは、各ボリューム内で複数のランダム位置を選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、各位置にて複数のランダムスケールを選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、各位置に対して複数のランダムビューイング角度を選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、複数のニューラルネットワークインスタンスからランダムに選択された少なくとも１つのニューラルネットワークインスタンスを含む。一部の実施形態において、アプリケーションは、精細な位置の後処理を実行するソフトウェアモジュールを更に含む。別の実施形態において、後処理は、重心位置、ボリューム、形状、強度、密度、透明度、及び規則性のうちの１又は２以上を特徴付ける段階を含む。更に別の実施形態において、後処理は、２又は３以上の精細な位置が同じ病気部位の部分であるかどうかの判定を含む。一部の実施形態において、アプリケーションは、リアルタイム又はほぼリアルタイムで実行されて、リアルタイム又はほぼリアルタイムの診断又は診断推奨を生成する。一部の実施形態において、診断又は診断推奨は、何れかの位置が病気部位であるかどうかの判定を含む。一部の実施形態において、レポートは、医用画像の１又は２以上に関する情報オーバレイを含む。別の実施形態において、オーバレイは、ポイント位置指示子、範囲指示子、又は輪郭指示子を含む。一部の実施形態において、レポートは、病気のタイプを示すためにカラーコード化された１又は２以上の医用画像を含む。一部の実施形態において、レポートは、診断信頼度を示すためにヒートマップ化された１又は２以上の医用画像を含む。一部の実施形態において、レポートは、２又は３以上の時点で取り込まれる医用画像にアプリケーションを適用することによって生成される経時変化を含む。一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、病気の重大な臨床的徴候を識別するためにトレーニングされる。別の実施形態において、第１及び第２畳み込みニューラルネットワークは、人間の専門家によってラベル付けされた医用画像を使用してトレーニングされ、画像フォーマット、画像スライススペーシング、画像強度、画像コントラスト、及び画像方向を正規化するために前処理される。一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、正常及び病気の位置に対してバランスが取られた医用画像を使用してトレーニングされる。

特定の実施形態において、また本明細書で記載されるのは、医用画像に深層畳み込みニューラルネットワークを適用してリアルタイム又はほぼリアルタイムの診断又は診断推奨を生成するアプリケーションを生成するためにプロセッサによって実行可能な命令を含むコンピュータプログラムによって符号化された非一時的コンピュータ可読ストレージ媒体であって、アプリケーションは、ａ）複数の医用画像の画像セグメンテーションを実行するソフトウェアモジュールであって、画像セグメンテーションが医用画像の各々から関心領域を分離することを含むソフトウェアモジュールと、ｂ）セグメンテーションされた医用画像にカスケード深層畳み込みニューラルネットワーク検出構造を適用するソフトウェアモジュールであって、検出構造が、１）第１畳み込みニューラルネットワークを利用して、スライディングウィンドウ方式によって１又は２以上の候補位置を識別することにより、セグメンテーションされた医用画像の各２Ｄスライス内の全ての可能性のある位置をスクリーニングする第１段階と、２）第２畳み込みニューラルネットワークを利用して、ランダムスケール及びランダム視野角を有する各ボリューム内の少なくとも１つのランダム位置を選択して１又は２以上の精細な位置を識別し及び精細な位置を分類することによって、候補位置から構成される３Ｄボリュームをスクリーニングする第２段階と、を含む、ソフトウェアモジュールと、ｃ）診断又は診断推奨を含むレポートを自動的に生成するソフトウェアモジュールと、を含む。一部の実施形態において、医用画像は、ＣＴスキャン、ＰＥＴ／ＣＴスキャン、ＳＰＥＣＴスキャン、ＭＲＩ、超音波、Ｘ線、乳房撮影、血管造影、蛍光撮影、顕微鏡写真、又はこれらの組み合わせから提供される。一部の実施形態において、アプリケーションは、複数の医用画像の正規化を含む画像前処理を実行するソフトウェアモジュールを更に含む。一部の実施形態において、正規化は、画像フォーマット、画像スライススペーシング、画像強度、画像コントラスト、及び画像方向の正規化を含む。一部の実施形態において、画像は、ＤＩＣＯＭフォーマット、ＮＩｆＴＩフォーマット、又は生バイナリフォーマットに正規化される。一部の実施形態において、関心領域は、器官、器官の一部、又は組織である。一部の実施形態において、候補位置は、セグメンテーションされた医用画像の２Ｄスライスの位置の１０％未満を含む。一部の実施形態において、第１畳み込みニューラルネットワークは、２〜２０の畳み込み層及び１〜１０の全結合層を有する。一部の実施形態において、第１畳み込みニューラルネットワークは、３〜８の畳み込み層及び３〜５の全結合層を有する。一部の実施形態において、スライディングウィンドウは、１００未満のピクセル×１００未満のピクセルのウィンドウである。一部の実施形態において、スライディングウィンドウは、１０〜４０ピクセル×１０〜４０ピクセルのウィンドウである。別の実施形態において、スライディングウィンドウは、約３１ピクセル×約３１ピクセルのウィンドウである。別の実施形態において、スライディングウィンドウは、約１６ピクセル×約１６ピクセルのウィンドウである。一部の実施形態において、第１畳み込みニューラルネットワークは、複数のニューラルネットワークインスタンスからランダムに選択された少なくとも１つのニューラルネットワークインスタンスを含む。一部の実施形態において、第２畳み込みニューラルネットワークは、５又は６以上の畳み込み層及び全結合層を有する。一部の実施形態において、３Ｄボリュームは、各方向で１００未満のボクセルである。一部の実施形態において、３Ｄボリュームは、各方向で１０〜４０ボクセルである。一部の実施形態において、３Ｄボリュームは、各方向で約３２ボクセルである。一部の実施形態において、３Ｄボリュームは、各方向で約１６ボクセルである。一部の実施形態において、第２畳み込みニューラルネットワークは、各ボリューム内で複数のランダム位置を選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、各位置にて複数のランダムスケールを選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、各位置に対して複数のランダム視野角を選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、複数のニューラルネットワークインスタンスからランダムに選択された少なくとも１つのニューラルネットワークインスタンスを含む。一部の実施形態において、アプリケーションは、精細な位置の後処理を実行するソフトウェアモジュールを更に含む。一部の実施形態において、後処理は、重心位置、ボリューム、形状、強度、密度、透明度、及び規則性のうちの１又は２以上を特徴付ける段階を含む。一部の実施形態において、後処理は、２又は３以上の精細な位置が同じ病気部位の部分であるかどうかの判定を含む。一部の実施形態において、アプリケーションがリルタイム又はほぼリアルタイムで実行され、リアルタイム又はほぼリアルタイムの診断又は診断推奨を生成する。一部の実施形態において、診断又は診断推奨は、何れかの位置が病気部位であるかどうかの判定を含む。一部の実施形態において、レポートは、医用画像の１又は２以上に関する情報オーバレイを含む。一部の実施形態において、オーバレイは、ポイント位置指示子、範囲指示子、又は輪郭指示子を含む。一部の実施形態において、レポートは、病気のタイプを示すためにカラーコード化された１又は２以上の医用画像を含む。一部の実施形態において、レポートは、診断信頼度を示すためにヒートマップ化された１又は２以上の医用画像を含む。一部の実施形態において、レポートは、２又は３以上の時点で取り込まれる医用画像にアプリケーションを適用することによって生成される経時変化を含む。一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、病気の重大な臨床的徴候を識別するようトレーニングされる。一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、人間の専門家によってラベル付けされた医用画像を使用してトレーニングされ、画像フォーマット、画像スライススペーシング、画像強度、画像コントラスト、及び画像方向を正規化するために前処理される。一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、正常及び病気の位置に対してバランスが取られた医用画像を使用してトレーニングされる。

特定の実施形態において、また本明細書で記載されるのは、医用画像に深層畳み込みニューラルネットワークを適用してリアルタイム又はほぼリアルタイムの診断又は診断推奨を生成するコンピュータに実装された方法が開示され、この方法は、ａ）コンピュータによって、複数の医用画像の画像セグメンテーションを実行する段階であって、画像セグメンテーションが、医用画像の各々から関心領域を分離する段階を含む、段階と、ｂ）コンピュータによって、セグメンテーションされた医用画像にカスケード深層畳み込みニューラルネットワーク検出構造を適用する段階と、を含み、検出構造が、１）第１畳み込みニューラルネットワークを利用して、スライディングウィンドウ方式によって１又は２以上の候補位置を識別することにより、セグメンテーションされた医用画像の各２Ｄスライス内の全ての可能性のある位置をスクリーニングする第１段階と、２）第２畳み込みニューラルネットワークを利用して、ランダムスケール及びランダム視野角を有する各ボリューム内の少なくとも１つのランダム位置を選択して１又は２以上の精細な位置を識別し及び精細な位置を分類することによって、候補位置から構成される３Ｄボリュームをスクリーニングする第２段階と、を含み、本方法が更に、ｃ）コンピュータによって、診断又は診断推奨を含むレポートを自動的に生成する段階と、を含む。一部の実施形態において、医用画像は、ＣＴスキャン、ＰＥＴ／ＣＴスキャン、ＳＰＥＣＴスキャン、ＭＲＩ、超音波、Ｘ線、乳房撮影、血管造影、蛍光撮影、顕微鏡写真、又はこれらの組み合わせから提供される。一部の実施形態において、本発明の方法は更に、コンピュータによって、複数の医用画像の正規化を含む画像前処理を実行する段階を含む。一部の実施形態において、正規化は、画像フォーマット、画像スライススペーシング、画像強度、画像コントラスト、及び画像方向の正規化を含む。一部の実施形態において、画像は、ＤＩＣＯＭフォーマット、ＮＩｆＴＩフォーマット、又は生バイナリフォーマットに正規化される。一部の実施形態において、関心領域は、器官、器官の一部、又は組織である。一部の実施形態において、候補位置は、セグメンテーションされた医用画像の２Ｄスライスにおける位置の１０％未満を含む。一部の実施形態において、第１畳み込みニューラルネットワークが２〜２０の畳み込み層及び１〜１０の全結合層を有する。一部の実施形態において、第１畳み込みニューラルネットワークは、３〜８の畳み込み層及び３〜５の全結合層を有する。一部の実施形態において、スライディングウィンドウは、１００未満のピクセル×１００未満のピクセルのウィンドウである。別の実施形態において、スライディングウィンドウは、１０〜４０ピクセル×１０〜４０ピクセルのウィンドウである。一部の実施形態において、スライディングウィンドウは、約３１×約３１ピクセルのウィンドウである。一部の実施形態において、スライディングウィンドウは、約１６ピクセル×約１６ピクセルのウィンドウである。一部の実施形態において、第１畳み込みニューラルネットワークは、複数のニューラルネットワークインスタンスからランダムに選択される少なくとも１つのニューラルネットワークインスタンスを含む。一部の実施形態において、第２畳み込みニューラルネットワークは、５又は６以上の畳み込み層及び全結合層を有する。一部の実施形態において、３Ｄボリュームは各方向で１００未満のボクセルである。一部の実施形態において、３Ｄボリュームは、各方向で１０〜４０ボクセルである。一部の実施形態において、３Ｄボリュームは、各方向で約３２ボクセルである。一部の実施形態において、３Ｄボリュームは、各方向で約１６ボクセルである。一部の実施形態において、第２畳み込みニューラルネットワークは、各ボリューム内で複数のランダム位置を選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、各位置にて複数のランダムスケールを選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、各位置に対して複数のランダム視野角を選択する。一部の実施形態において、第２畳み込みニューラルネットワークは、複数のニューラルネットワークインスタンスからランダムに選択された少なくとも１つのニューラルネットワークインスタンスを含む。一部の実施形態において、本発明の方法は、コンピュータによって、精細な位置の後処理を実行する段階を更に含む。一部の実施形態において、後処理は、重心位置、ボリューム、形状、強度、密度、透明度、及び規則性のうちの１又は２以上を特徴付ける段階を含む。一部の実施形態において、後処理は、２又は３以上の精細な位置が同じ病気部位の部分であるかどうかの判定を含む。一部の実施形態において、本発明の方法は、リアルタイム又はほぼリアルタイムで実行され、リアルタイム又はほぼリアルタイムの診断又は診断推奨を生成する。一部の実施形態において、診断又は診断推奨は、何れかの位置が病気部位であるかどうかの判定を含む。一部の実施形態において、レポートは、医用画像の１又は２以上に関する情報オーバレイを含む。一部の実施形態において、オーバレイは、ポイント位置指示子、範囲指示子、又は輪郭指示子を含む。一部の実施形態において、レポートは、病気のタイプを示すためにカラーコード化された１又は２以上の医用画像を含む。一部の実施形態において、レポートは、診断信頼度を示すためにヒートマップ化された１又は２以上の医用画像を含む。一部の実施形態において、レポートは、２又は３以上の時点で取り込まれる医用画像にアプリケーションを適用することによって生成される経時変化を含む。一部の実施形態において、本発明の方法は、病気の重大な臨床的徴候を識別するよう第１及び第２畳み込みニューラルネットワークをトレーニングする段階を更に含む。一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、人間の専門家によってラベル付けされた医用画像を使用してトレーニングされ、画像フォーマット、画像スライススペーシング、画像強度、画像コントラスト、及び画像方向を正規化するために前処理される。一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、正常及び病気の位置に対してバランスが取られた医用画像を使用してトレーニングされる。

特定の定義
別途定義されない限り、本明細書で使用される全ての技術的用語は、本発明が属する技術分野における当業者によって一般に理解される意味と同じ意味を有する。本明細書及び添付の請求項において使用される場合、単数形態は、前後関係から明確に別の意味を示さない限り、複数形態も含む。本明細書における「ｏｒ（又は）」の何れの引用も、別途記載のない限り、「ａｎｄ（及び）／ｏｒ（又は）」を含むものとする。

医用画像
種々の実施形態において、本明細書で記載されるプラットフォーム、システム、媒体、及び方法は、医用画像を含む。図１を参照すると、医用画像機械は、被験者をスキャンして、本システムへの入力スキャン１０５を生成する。スキャンの例としては、限定ではないが、ＣＴスキャン、ＳＰＥＣＴスキャン、ＭＲＩ、Ｘ線、超音波、内視鏡検査、結腸鏡検査、乳房撮影、血管造影、蛍光撮影、顕微鏡撮影、又はこれらの組み合わせを含む。

画像前処理
種々の実施形態において、本明細書で記載されるプラットフォーム、システム、媒体、及び方法は、画像前処理を含む。図１を参照すると、本発明のシステムは、前処理ステップ１００を実行する。一部の実施形態において、前処理１００は、フォーマット変換１１０を含む。一部の実施形態において、前処理１００は、複数の医用画像の正規化を含む。一部の実施形態において、正規化は、ｘ軸、ｙ軸、及びｚ軸におけるサンプリングスペースの正規化（１１５）を含む。一部の実施形態において、正規化は、画像フォーマット、画像スライススペーシング、画像強度、画像コントラスト、及び画像方向の正規化を含む。一部の実施形態において、正規化は、ＤＩＣＯＭ又はＮｉｆＴＩフォーマットへの画像の正規化を含む。一部の実施形態において、前処理１００は、強度及びコントラスト正規化１２０を含む。

画像セグメンテーション
図１を参照すると、前処理１００が完了すると、関心領域に対してセグメンテーション１２５が実行される。別の実施形態において、関心領域は、器官、室、組織構造、器官の構成要素、又は器官の一部である。更に別の実施形態において、セグメンテーションされた画像は、初期スクリーニングのための第１段階ＤＣＮＮ１３０下で処理される。更に別の実施形態において、セグメンテーションされた画像は、精細な検出のための第２段階ＤＣＮＮ１３５下で処理される。ＤＣＮＮの分析結果は、統計分析のため、例えば肺結節識別のための後処理１４０下である。最終ステップ１４５は、カスタマイズ可能な結果の提示を含む。

一部の実施形態において、関心領域は、更なる分析のための候補位置を含む。一部の実施形態において、候補位置は、セグメンテーションされた医用画像の２Ｄスライスにおける位置の５％、１０％、１５％、２０％、２５％、３０％、３５％、又は４０％未満（増分を含む）を含む。

カスケード深層畳み込みニューラルネットワーク検出構造
種々の実施形態において、本明細書で記載されるプラットフォーム、システム、媒体、及び方法は、カスケード深層畳み込みニューラルネットワーク（ＤＣＮＮ）検出構造、又はその使用を含む。一部の実施形態において、検出構造は、２つの段階における２又は３以上の深層畳み込みニューラルネットワークを含む。再度図１を参照すると、カスケードＤＣＮＮ検出構造は、初期スクリーニングのための第１段階ＤＣＮＮ１３０及び精細な検出のための第２段階ＤＣＮＮ１３５を含む。

図２を参照すると、第１段階は、前処理後の３Ｄスキャンの医用画像を取り込むステップ２００で始まる。他方、１又は２以上のオフライントレーニング済みＤＣＮＮモデル２０５が分析に入力される。ステップ２１０は、ＤＣＮＮモデルを使用して、個々の２Ｄ横断スライス上のセグメンテーション領域を処理する。一部の実施形態において、ＤＣＮＮは、スライディングウィンドウ方式に基づいて適用される。更に種々の実施形態において、スライディングウィンドウは、増分を含めて、１０未満のピクセル×１０未満のピクセル、２０未満のピクセル×２０未満のピクセル、３０未満のピクセル×３０未満のピクセル、５０未満のピクセル×５０未満のピクセル、１００未満のピクセル×１００未満のピクセル、又は２００未満のピクセル×２００未満のピクセルのウィンドウを含む。特定の実施形態において、スライディングウィンドウは、約３１ピクセル×約３１ピクセルのウィンドウである。この特定の実施形態において、ＤＣＮＮは、３つの畳み込み層及び２つの全結合層を有する。更にこの実施形態において、ステップ２２０は、各スライスのネットワーク出力をオリジナルの画像サイズにサイズ変更する。更に別の実施形態において、ステップ２３０は、閾値を適用してバイナリマスクを生成し、診断特徴の候補位置を識別する。場合によっては、候補位置は、セグメンテーションされた医用画像の２Ｄスライスにおける位置の１０％未満を含む。一部の実施形態において、ステップ２３０の閾値は、第１段階ＤＣＮＮの受信者動作特性（ＲＯＣ）分析に基づいて選択される。更に種々の実施形態において、候補位置がトレーニングセットにおける病変位置の約９０％より多く、約９１％より多く、約９２％より多く、約９３％より多く、約９４％より多く、約９５％より多く、約９６％より多く、約９７％より多く、約９８％より多く、又は約９９％より多くを含むように、閾値が選択される。特定の実施形態において、候補位置がトレーニングセットにおける病変位置の約９５％より多くを含むように、閾値が選択される。最後に、バイナリマスクが第２段階検出に伝播される。

一部の実施形態において、第２段階分析は、第２ＤＣＮＮを利用して、ランダムスケール及びランダム視野角を有する各ボリューム内の少なくとも１つのランダム位置を選択して１又は２以上の精細な位置を識別すること及び精細な位置を分類することによって、候補位置から構成される３Ｄボリュームをスクリーニングする。一部の実施形態において、３Ｄボリュームは、増分を含めて、各方向で５０ボクセル、１００ボクセル、２００ボクセル、又は３００ボクセル未満である。特定の実施形態において、３Ｄボリュームは、増分を含めて、各方向で約８、１６、３２、４８、又は６４ボクセルである。一部の実施形態において、第２ＤＣＮＮは、各ボリューム内で複数のランダム位置を選択する。一部の実施形態において、第２ＤＣＮＮは、各位置で複数のランダムスケールを選択する。一部の実施形態において、第２ＤＣＮＮは、各位置で複数のランダム視野角を選択する。

一部の実施形態において、第１段階における畳み込みニューラルネットワークは、３〜８つの畳み込み層及び３〜５つの全結合層を含む。一部の実施形態において、この第１畳み込みニューラルネットワークは、複数のニューラルネットワークインスタンスからランダムに選択された少なくとも１つのニューラルネットワークインスタンスを含む。複数のニューラルネットワークインスタンスは、異なるパラメータを有し、又は異なるネットワーク構造を有する。

第２段階分析の実施形態について、以下で説明する。図３を参照すると、第１段階スクリーニングから生成された候補位置３００が、第２段階分析に入力される。ステップ３０５において、各位置に対して、本発明のシステムは、ランダムに選択されたスケール及び視野角を有する１又は２以上のサンプルを抽出する。他方、オフライントレーニング済み第２段階ＤＣＮＮモデル３１０が、分析に入力される。ステップ３１５において、各サンプルに対して、１又は２以上のＤＣＮＮインスタンスが適用される。一部の実施形態において、第２ＤＣＮＮは、５又は６以上の畳み込み層及び全結合層を有する。ステップ３２０において、本システムは、Ａで示されるスケール及びＤＣＮＮ分類信頼度と共に、陽性ＤＣＮＮ応答を有する全ての位置を集める。ステップ３２５において、本システムは、Ａにおける最大信頼度を有する位置Ｌを発見する。ステップ３３０において、本システムは、位置Ｌの近傍内の全ての陽性応答を組み合わせる。ステップ３３５では、異常（例えば、肺結節）が検出されたかどうかを決定する。検出された場合、ステップ３４５では、異常の位置及びそのスケール並びに信頼度を記録して、ステップ３５０が後に続き、ここで本システムは、セットＡからその近傍内の位置Ｌ及び全ての位置を取り除く。ステップ３３５において異常が検出されなかった場合、本システムは、セットＡから位置Ｌを取り除く。次いで、ステップ３５５において、本システムは、セットＡが空であるかどうかチェックする。セットＡが空である場合、第２段階が終了し、異常を有する全ての記録された位置を出力する（３６０）。ステップ３５５においてセットＡが空でない場合、本システムは、Ａ内の別の要素に分析開始ステップ３２５を繰り返す。

一部の実施形態において、第２段階分析は、ランダムスケール及びランダム視野角を有する各ボリューム内の少なくとも１つのランダム位置を選択して１又は２以上の精細な位置を識別すること並びに精細な位置を分類することによって、候補位置から構成される３Ｄボリュームをスクリーニングすることに特化されている。一部の実施形態において、３Ｄボリュームは、各方向で１００未満のボクセルを含む。一部の実施形態において、３Ｄボリュームは、各方向で１０〜４０ボクセルを含む。一部の実施形態において、３Ｄボリュームは、各方向で約３２ボクセルを含む。一部の実施形態において、３Ｄボリュームは、各方向で約１６ボクセルを含む。

一部の実施形態において、第２段階におけるＤＣＮＮは、各ボリューム内で複数のランダム位置を選択する。一部の実施形態において、第２段階におけるＤＣＮＮは、各位置で複数のランダムスケールを選択する。一部の実施形態において、第２段階におけるＤＣＮＮは、各位置に対して複数のランダム視野角を選択する。一部の実施形態において、ランダム化アルゴリズムは、確率的モデリングに基づいており、例えば、位置は、一様分布又は正規分布に基づく。

一部の実施形態において、第２段階における畳み込みニューラルネットワークは、少なくとも１、２、３、４、５、６、７、８、９、又は１０の畳み込み層又は全結合層を含む。一部の実施形態において、この畳み込みニューラルネットワークは、複数のニューラルネットワークインスタンスからランダムに選択された少なくとも１つのニューラルネットワークインスタンスを含む。複数のニューラルネットワークインスタンスは、異なるパラメータを有するか又は異なるネットワーク構造を有する。

後処理及びレポート
種々の実施形態において、本明細書で記載されるプラットフォーム、システム、媒体、及び方法は、精細な位置の後処理又はその使用を含む。一部の実施形態において、後処理は、重心位置、ボリューム、形状、強度、密度、透明度、及び規則性のうちの１又は２以上を特徴付ける段階を含む。一部の実施形態において、後処理は、２又は３以上の精細な位置が同じ病気部位の部分であるかどうかの判定を含む。

種々の実施形態において、本明細書で記載されるプラットフォーム、システム、媒体、及び方法は、レポート生成又はその使用を含む。自動検出の後で、候補異常位置（例えば、肺の結節）が最終レビューのためにユーザに提示される。ユーザ設定に応じて、結果を様々な方式で提示することができる。

一部の実施形態において、レポートは、医用画像の１又は２以上に関する情報オーバレイを含む。一部の実施形態において、レポートは、病気のタイプを示すためにカラーコード化された１又は２以上の医用画像を含む。一部の実施形態において、レポートは、診断信頼度を示すためにヒートマップ化された１又は２以上の医用画像を含む。一部の実施形態において、レポートは、２又は３以上の時点で取り込まれる医用画像にアプリケーションを適用することによって生成される経時変化を含む。別の実施形態において、オーバレイは、ポイント位置指示子、範囲指示子、又は輪郭指示子を含む。更に別の実施形態において、オーバレイは、セグメンテーション領域及び／又は異常位置に対するカラーコーディングを含む。

一部の実施形態において、レポートは、情報のテキストベースのレポートを含む。図４を参照すると、肺結節検出の要約レポートが、検出された肺結節を有する２Ｄ又は３Ｄ画像の上部に示されている。追加の実施形態において、テキストベースのレポートは、測定値（例えば、サイズ、ボリューム、長さ、幅、深さ、寸法、位置、及び直径）を含む。追加の実施形態において、テキストベースのレポートは、確率又は統計尺度のような信頼度を含む。

一部の実施形態において、レポートは、遡及スキャンからのバイオマーカトラッキングを含む。システムは、前のスキャンにおいて検出された病変を登録し、病変の進行を提示する。一部の実施形態において、レポートは、アニメーション視覚化を含む。

本明細書で開示される技術は、関心領域をセグメンテーションして、次のカスケード検出構造が、画像ドメイン全体ではなく関心領域に適用される。更に、計算資源を節約するために、初期スクリーニングが、３Ｄボリュームスペースではなく個々の２Ｄスライスに対して実行される。次に精細な検出ステップが、初期スクリーニング結果に適用される。セグメンテーション及びカスケード検出プロセスにより、メモリにロードされるデータを少なくすることができ、セグメンテーションデータの小さなボリュームを分析することで、計算に必要なＣＰＵサイクルが少なくて済む。メモリ及びＣＰＵサイクルをあまり消費しない全体的効果が、高速処理をもたらし、リアルタイム又はほぼリアルタイムの画像処理及びレポート生成を達成する。別の実施形態において、レポートは、診断推奨又は診断、例えば、何れかの位置が病気の部位であるかどうかの指示／確率を含む。

畳み込みニューラルネットワークトレーニング
一部の実施形態において、ＤＣＮＮがトレーニングステップにおいてトレーニングされる。一部の実施形態において、上述のように、トレーニングステップは、前処理から始まる。別の実施形態において、トレーニングは、複数のスケール、複数の角度／ビュー、複数の位置、ランダム位置に関する分析を実行するためにサンプルを集める。加えて、トレーニングステップは、様々なクラスに対してデータのバランスを取る段階を含む。

一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、病気の重大な臨床的徴候を識別するためにトレーニングされる。一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、人間の専門家によってラベル付けされた医用画像を使用してトレーニングされ、画像フォーマット、画像スライススペーシング、画像強度、画像コントラスト、及び画像方向を正規化するために前処理される。一部の実施形態において、第１及び第２畳み込みニューラルネットワークは、正常位置及び病気位置に対してバランスが取られた医用画像を使用してトレーニングされる。

一部の実施形態において、ＤＣＮＮ設計及びトレーニングは、学習率及び／又は反復の検討事項を含む。一部の実施形態において、トレーニングステップは、検討性能（例えば、ＲＯＣ分析）又は動作ポイント選択を含む。

デジタル処理デバイス
一部の実施形態において、本明細書で記載されるプラットフォーム、システム、媒体、及び方法は、デジタル処理デバイス又はその使用を含む。別の実施形態において、デジタル処理デバイスは、デバイスの機能を実行する１又は２以上のハードウェア中央処理ユニット（ＣＰＵ）又は汎用グラフィクス処理ユニット（ＧＰＧＰＵ）を含む。更に別の実施形態において、デジタル処理デバイスは更に、実行可能命令を実行するよう構成されたオペレーティングシステムを含む。一部の実施形態において、デジタル処理デバイスは、任意的にコンピュータネットワークに接続される。別の実施形態において、デジタル処理デバイスは、ワールドワイドウェブにアクセスするようにインターネットに任意的に接続される。更に別の実施形態において、デジタル処理デバイスは、クラウドコンピューティングインフラストラクチャに任意的に接続される。他の実施形態において、デジタル処理デバイスは、イントラネットに任意的に接続される。他の実施形態において、デジタル処理デバイスは、データストレージデバイスに任意的に接続される。

本明細書の詳細な説明によれば、適切なデジタル処理デバイスは、非限定的な実施例として、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、サブノートブックコンピュータ、ネットブックコンピュータ、ネットパッドコンピュータ、ハンドヘルドコンピュータ、及びタブレットコンピュータを含む。適切なタブレットコンピュータは、当業者には既知である、ブックレット、スレート、及び変換可能な構成を備えたタブレットコンピュータを含む。

一部の実施形態において、デジタル処理デバイスは、実行可能命令を実行するよう構成されたオペレーティングシステムを含む。オペレーティングシステムは、例えば、デバイスのハードウェアを管理しアプリケーションの実行のためのサービスを提供する、プログラム及びデータを含むソフトウェアである。当業者であれば、適切なサーバオペレーティングシステムが、非限定的な実施例として、ＦｒｅｅＢＳＤ、ＯｐｅｎＢＳＤ、ＮｅｔＢＳＤ（登録商標）、Ｌｉｎｕｘ、Ａｐｐｌｅ（登録商標）ＭａｃＯＳＸサーバ（登録商標）、Ｏｒａｃｌｅ（登録商標）Ｓｏｌａｒｉｓ（登録商標）、Ｗｉｎｄｏｗｓサーバ（登録商標）、及びＮｏｖｅｌｌ（登録商標）ＮｅｔＷａｒｅ（登録商標）を含むことを理解するであろう。当業者であれば、適切なパーソナルコンピュータオペレーティングシステムが、非限定的な実施例として、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ（登録商標）ＭａｃＯＳＸ（登録商標）、ＵＮＩＸ（登録商標）、及びＧＮＵ／Ｌｉｎｕｘ（登録商標）などのＵＮＩＸのようなオペレーティングシステムを含むことを理解するであろう。一部の実施形態において、オペレーティングシステムは、クラウドコンピューティングによって提供される。

一部の実施形態において、デバイスは、ストレージ及び／又はメモリデバイスを含む。ストレージ及び／又はメモリデバイスは、一時的に又は永続的にデータ又はプログラムを格納するのに使用される１又は２以上の物理装置である。一部の実施形態において、デバイスは、揮発性メモリであり、格納された情報を維持するために電力を必要とする。一部の実施形態において、デバイスは不揮発性メモリであり、デジタル処理デバイスが給電されないときに格納された情報を保持する。別の実施形態において、不揮発性メモリは、フラッシュメモリを含む。一部の実施形態において、不揮発性メモリは、動的ランダムアクセスメモリ（ＤＲＡＭ）を含む。一部の実施形態において、不揮発性メモリは、強誘電体ランダムアクセスメモリ（ＦＲＡＭ）を含む。一部の実施形態において、不揮発性メモリは、位相変化ランダムアクセスメモリ（ＰＲＡＭ）を含む。別の実施形態において、デバイスは、非限定的な実施例として、ＣＤ−ＲＯＭ、ＤＶＤ、フラッシュメモリデバイス、磁気ディスクドライブ、磁気テープ、光学ディスクドライブ、及びクラウドコンピューティングベースのストレージを含むストレージデバイスである。別の実施形態において、ストレージ及び／又はメモリデバイスは、本明細書で開示されるようなデバイスの組み合わせである。

一部の実施形態において、デジタル処理デバイスは、視覚情報をユーザに送るディスプレイを含む。一部の実施形態において、ディスプレイは陰極線管（ＣＲＴ）である。一部の実施形態において、ディスプレイは液晶ディスプレイ（ＬＣＤ）である。別の実施形態において、ディスプレイは、薄膜トランジスタ液晶ディスプレイ（ＴＦＴ−ＬＣＤ）である。一部の実施形態において、ディスプレイは、有機発光ダイオード（ＯＬＥＤ）ディスプレイである。他の種々の実施形態において、ＯＬＥＤディスプレイは、パッシブマトリクスＯＬＥＤ（ＰＭＯＬＥＤ）又はアクティブマトリクスＯＬＥＤ（ＡＭＯＬＥＤ）ディスプレイである。一部の実施形態において、ディスプレイはプラズマディスプレイである。別の実施形態において、ディスプレイはビデオプロジェクタである。更に別の実施形態において、ディスプレイは、本明細書で開示されるものなどのデバイスの組み合わせである。

一部の実施形態において、デジタル処理デバイスは、ユーザから情報を受けとるための入力デバイスを含む。一部の実施形態において、入力デバイスはキーボードである。一部の実施形態において、入力デバイスは、非限定的な実施例として、マウス、トラックボール、トラックパッド、ジョイスティック、ゲームコントローラ、又はスタイラスを含むポインティングデバイスである。一部の実施形態において、入力デバイスは、タッチ画面又はマルチタッチ画面である。別の実施形態において、入力デバイスは、音声又は他のサウンド入力を取り込むためのマイクロフォンである。別の実施形態において、入力デバイスは、モーション又は視覚入力を取り込むためのビデオカメラ又は他のセンサである。更に別の実施形態において、入力デバイスは、本明細書で開示されるようなデバイスの組み合わせである。

種々の実施形態において、本明細書で記載されるプラットフォーム、システム、媒体、及び方法は、クラウドコンピューティング環境を含む。一部の実施形態において、クラウドコンピューティング環境は、複数のコンピュータプロセッサを含む。クラウドコンピューティング環境は、１又は２以上の地理的位置に位置付けられる。クラウドコンピューティング環境は、ネットワークを介して医療スキャナと結合される。一部の実施形態において、スキャナは、画像のセットを生成し画像をクラウドコンピューティング環境に送信する。画像の送信は、シリアルモード又はバッチモードとすることができる。クラウドコンピューティング環境が１又は２以上の画像を受信すると、本システムは、セグメンテーション、カスケード検出、レポート生成及び同様のものを実行する。

図７を参照すると、特定の実施形態において、例示的デジタル処理デバイス７０１は、画像処理を実行するようプログラムされ、又は他の方法で構成される。デバイス７０１は、例えば、セグメンテーション、検出、ＤＣＮＮ、レポート生成、及びトレーニングなど、本開示の画像処理の様々な態様を調整することができる。この実施形態において、デジタル処理デバイス７０１は、シングルコア又はマルチコアプロセッサ、又は並行処理用の複数のプロセッサとすることができる中央処理ユニット（ＣＰＵ、また本明細書では「プロセッサ」及び「コンピュータプロセッサ」）７０５を含む。本明細書で記載されるように、並行処理を容易にするグラフィクス処理ユニット（ＧＰＵ）も好適である。デジタル処理デバイス７０１はまた、メモリ又はメモリ位置７１０（例えば、ランダムアクセスメモリ、読取り専用メモリ、フラッシュメモリ）、電子ストレージユニット７１５（例えば、ハードディスク）、１又は２以上の他のシステムと通信するための通信インタフェース７２０（例えば、ネットワークアダプタ）、並びにキャッシュ、他のメモリ、データストレージ及び／又は電子ディスプレイアダプタなどの周辺デバイス７２５も含む。メモリ７１０、ストレージユニット７１５、インタフェース７２０、及び周辺デバイス７２５は、マザーボードなどの通信バス（実線）を介してＣＰＵ７０５と通信する。ストレージユニット７１５は、データを格納するためのデータストレージユニット（又はデータリポジトリ）とすることができる。デジタル処理デバイス７０１は、通信インタフェース７２０の助けを借りて、コンピュータネットワーク（「ネットワーク」）７３０に動作可能に結合することができる。ネットワーク７３０は、インターネット、インターネット及び／又はエクストラネット、又はインターネットと通信するイントラネット及び／又はエクストラネットとすることができる。一部の事例では、ネットワーク７３０は、テレコミュニケーション及び／又はデータネットワークである。ネットワーク７３０は、クラウドコンピューティングなどの分散コンピューティングを可能にする１又は２以上のコンピュータサーバを含むことができる。ネットワーク７３０は、一部の事例では、デバイス７０１の助けを借りて、デバイス７０１に結合されたデバイスがクライアント又はサーバとして動作できるようにする、ピアツーピアネットワークを実施することができる。

図７を引き続き参照すると、ＣＰＵ７０５は、プログラム又はソフトウェアにて具現化することができる機械可読命令のシーケンスを実行することができる。この命令は、メモリ７１０などのメモリ位置に格納することができる。命令は、ＣＰＵ７０５に向けることができ、該命令は、本開示の方法を実施するようＣＰＵ７０５をプログラム又は他の方法で構成することができる。ＣＰＵ７０５によって実行される動作の例は、フェッチ、復号、実行、及びライトバックを含むことができる。ＣＰＵ７０５は、集積回路などの回路の一部とすることができる。デバイス７０１の１又は２以上の他の構成要素を回路に含めることができる。場合によっては、回路は、特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）である。

引き続き図７を参照すると、ストレージユニット７１５は、ドライバ、ライブラリ及びセーブされたプログラムなどのファイルを格納することができる。ストレージユニット７１５は、ユーザデータ、例えばユーザプリファレンス及びユーザプログラムを格納することができる。デジタル処理デバイス７０１は、場合によっては、イントラネット又はインターネットを介して通信するリモートサーバ上に位置付けられるような、外部にある１又は２以上の追加のデータストレージユニットを含むことができる。

引き続き図７を参照すると、デジタル処理デバイス７０１は、ネットワーク７３０を介して１又は２以上のリモートコンピュータシステムと通信することができる。例えば、デバイス７０１は、ユーザのリモートコンピュータシステム７３５と通信することができる。リモートコンピュータシステムの例は、パーソナルコンピュータ（例えば、携帯式ＰＣ）、スレート又はタブレットＰＣ（例えば、Ａｐｐｌｅ（登録商標）ｉＰａｄ、Ｓａｍｓｕｎｇ（登録商標）Ｇａｌａｘｙタブ）、電話、スマートフォン（例えば、Ａｐｐｌｅ（登録商標）ｉＰｈｏｎｅ、Ａｎｄｒｏｉｄ対応デバイス、Ｂｌａｃｋｂｅｒｒｙ（登録商標））、又は携帯情報端末を含む。

本明細書で記載される方法は、例えば、メモリ７１０又は電子ストレージユニット７１５上などのデジタル処理デバイス１０１の電子ストレージ位置上に格納された機械（例えば、コンピュータプロセッサ）実行可能コードによって実装することができる。機械実行可能又は機械可読コードは、ソフトウェアの形態で提供することができる。使用の際には、コードは、プロセッサ７０５によって実行することができる。場合によっては、コードは、プロセッサ７０５によりすぐに利用できるように、ストレージユニット７１５から取り出してメモリ７１０に格納することができる。一部の状況では、電子ストレージユニット７１５は、除外することができ、機械実行可能命令がメモリ７１０に格納される。

非一時的コンピュータ可読ストレージ媒体
一部の実施形態において、本明細書で開示されるプラットフォーム、システム、媒体、及び方法は、任意的にネットワーク化されたデジタル処理デバイスのオペレーティングシステムによって実行可能な命令を含むプログラムによって符号化された１又は２以上の非一時的コンピュータ可読ストレージ媒体を含む。別の実施形態において、コンピュータ可読ストレージ媒体は、デジタル処理デバイスの有形構成要素である。更に別の実施形態において、コンピュータ可読ストレージ媒体は、デジタル処理デバイスから任意的に取り外し可能である。一部の実施形態において、コンピュータ可読ストレージ媒体は、非限定的な例として、ＣＤ−ＲＯＭ、ＤＶＤ、フラッシュメモリデバイス、固体メモリ、磁気ディスクドライブ、磁気テープドライブ、光学ディスクドライブ、クラウドコンピューティングシステム及びサービスなどを含む。場合によっては、プログラム及び命令は、永続的に、実質的に永続的に、半永続的に、又は非一時的に媒体に符号化される。

コンピュータプログラム
一部の実施形態において、本明細書で開示されるプラットフォーム、システム、媒体、及び方法は、少なくとも１つのコンピュータプログラム又はその使用を含む。コンピュータプログラムは、指定されたタスクを実行するために書き込まれ、デジタル処理デバイスのＣＰＵにおいて実行可能である命令のシーケンスを含む。コンピュータ可読命令は、特定のタスクを実行する又は特定の抽象データタイプを実施する機能、オブジェクト、アプリケーションプログラミングインタフェース（ＡＰＩ）、データ構造及び同様のものなどのプログラムモジュールとして実装することができる。本明細書に提供される開示内容の観点から、当業者であれば、コンピュータプログラムが様々な言語の様々なバージョンで書き込むことができる点を理解するであろう。

コンピュータ可読命令の機能は、様々な環境で要求に応じて組み合わせ又は分散させることができる。一部の実施形態において、コンピュータプログラムは、１つの命令のシーケンスを含む。一部の実施形態において、コンピュータプログラムは、複数の命令のシーケンスを含む。一部の実施形態において、コンピュータプログラムは、１つの位置から提供される。別の実施形態において、コンピュータプログラムは、複数の位置から提供される。種々の実施形態において、コンピュータプログラムは、１又は２以上のソフトウェアモジュールを含む。種々の実施形態において、コンピュータプログラムは、一部又は全体として、１又は２以上のウェブアプリケーション、１又は２以上のスタンドアローンアプリケーション、１又は２以上のブラウザプラグイン、拡張機能、アドイン、又はアドオン、又はこれらの組み合わせを含む。

ウェブアプリケーション
一部の実施形態において、コンピュータプログラムは、ウェブアプリケーションを含む。本明細書で提供される開示内容の観点から、当業者であれば、ウェブアプリケーションが種々の実施形態において１又は２以上のソフトウェアフレームワーク及び１又は２以上のデータベースシステムを利用することを理解するであろう。一部の実施形態において、ウェブアプリケーションは、Ｍｉｃｒｏｓｏｆｔ（登録商標）．ＮＥＴ又はルビーオンレールズ（Ｒｕｂｙ ｏｎ Ｒａｉｌｓ：ＲｏＲ）などのソフトウェアフレームワーク上に生成される。一部の実施形態において、ウェブアプリケーションは、非限定的な例として、リレーショナル、非リレーショナル、オブジェクト指向、アソシエーティブ（連想）、及びＸＭＬデータベースシステムを含む、１又は２以上のデータベースシステムを利用する。別の実施形態において、適切なリレーショナルデータベースシステムは、非限定的な例として、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬサーバ、ＭｙＳＱＬ（商標）、及びＯｒａｃｌｅ（登録商標）を含む。当業者であれば、ウェブアプリケーションが、種々の実施形態において１又は２以上の言語の１又は２以上のバージョンで書かれることも理解するであろう。ウェブアプリケーションは、１又は２以上のマークアップ言語、プレゼンテーション定義言語、クライアント側スクリプト言語、サーバ側コーディング言語、データベース問合せ言語、又はこれらの組み合わせで書くことができる。一部の実施形態において、ウェブアプリケーションは、ある程度まで、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張可能ハイパーテキストマークアップ言語（ＸＨＴＭＬ）、又は拡張可能マークアップ言語（ＸＭＬ）などのマークアップ言語で書かれる。一部の実施形態において、ウェブアプリケーションは、ある程度まで、カスケーディング・スタイル・シート（ＣＳＳ）などのプレゼンテーション定義言語で書かれる。一部の実施形態において、ウェブアプリケーションは、ある程度まで、非同期ジャバスクリプト及びＸＭＬ（ＡＪＡＸ）、Ｆｌａｓｈ（登録商標）アクションスクリプト、Ｊａｖａスクリプト、又はＳｉｌｖｅｒｌｉｇｈｔ（登録商標）などのクライアント側スクリプト言語で書かれる。一部の実施形態において、ウェブアプリケーションは、ある程度まで、アクティブサーバページ（ＡＳＰ）、ＣｏｌｄＦｕｓｉｏｎ（登録商標）、Ｐｅｒｌ、Ｊａｖａ（商標）、Ｊａｖａサーバページ（ＪＳＰ）、ハイパーテキストプリプロセッサ（ＰＨＰ）、Ｐｙｔｈｏｎ（商標）、Ｒｕｂｙ、Ｔｃｌ、Ｓｍａｌｌｔａｌｋ、ＷｅｂＤＮＡ（登録商標）、又はＧｒｏｏｖｙなどのサーバ側コーディング言語で書かれる。一部の実施形態において、ウェブアプリケーションは、ある程度まで、構造化問合せ言語（ＳＱＬ）などのデータベース問合せ言語で書かれる。一部の実施形態において、ウェブアプリケーションは、ＩＢＭ（登録商標）ＬｏｔｕｓＤｏｍｉｎｏ（登録商標）などのエンタープライズサーバ製品を統合する。一部の実施形態において、ウェブアプリケーションは、メディアプレーヤ要素を含む。他の種々の実施形態において、メディアプレーヤ要素は、非限定的な例として、Ａｄｏｂｅ（登録商標）Ｆｌａｓｈ（登録商標）、ＨＴＭＬ５、Ａｐｐｌｅ（登録商標）ＱｕｉｃｋＴｉｍｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｓｉｌｖｅｒｌｉｇｈｔ（登録商標）、Ｊａｖａ（商標）、及びＵｎｉｔｙ（登録商標）を含む、多くの適切なマルチメディア技術の１又は２以上を利用する。

スタンドアローンアプリケーション
一部の実施形態において、コンピュータプログラムは、既存のプロセスへのアドオンではない（例えばプラグインではない）、独立したコンピュータプロセスとして実行されるプログラムであるスタンドアローンアプリケーションを含む。当業者であれば、スタンドアローンアプリケーションは、コンパイルされることが多い点を理解するであろう。コンパイラは、プログラミング言語で書かれたソースコードをアセンブリ言語又は機械コードなどのバイナリオブジェクトコードに変換する（１又は複数の）コンピュータプログラムである。適切なコンパイルプログラミング言語は、非限定的な例として、Ｃ、Ｃ＋＋、オブジェクティブ−Ｃ、ＣＯＢＯＬ、Ｄｅｌｐｈｉ、Ｅｉｆｆｅｌ、Ｊａｖａ（商標）、Ｌｉｓｐ、Ｐｙｔｈｏｎ（商標）、ＶｉｓｕａｌＢａｓｉｃ、及びＶＢ．ＮＥＴ、又はこれらの組み合わせを含む。コンパイルは、少なくとも１つには、実行可能プログラムを作成するのに実行されることが多い。一部の実施形態において、コンピュータプログラムは、１又は２以上の実行可能コンパイルアプリケーションを含む。

ソフトウェアモジュール
一部の実施形態において、本明細書で開示されるプラットフォーム、システム、媒体、及び方法は、ソフトウェア、サーバ、及び／又はデータベースモジュール、又はその使用を含む。本明細書に提供される開示内容の観点から、ソフトウェアモジュールは、当該技術で既知の機械、ソフトウェア、及び言語を使用して当業者に既知の技術によって作成される。本明細書で開示されるソフトウェアモジュールは、様々な様式で実装される。種々の実施形態において、ソフトウェアモジュールは、ファイル、コードのセクション、プログラミングオブジェクト、プログラミング構造、又はこれらの組み合わせを含む。種々の別の実施形態において、ソフトウェアモジュールは、複数のファイル、複数のコードのセクション、複数のプログラミングオブジェクト、複数のプログラミング構造、又はこれらの組み合わせを含む。種々の実施形態において、１又は２以上のソフトウェアモジュールは、非限定的な例として、ウェブアプリケーション、モバイルアプリケーション、及びスタンドアローンアプリケーションを含む。一部の実施形態において、ソフトウェアモジュールは、１つのコンピュータプログラム又はアプリケーション内に存在する。別の実施形態において、ソフトウェアモジュールは、２以上のコンピュータプログラム又はアプリケーション内に存在する。一部の実施形態において、ソフトウェアモジュールは、１つの機械上でホストされる。別の実施形態において、ソフトウェアモジュールは、２以上の機械上でホストされる。更に別の実施形態において、ソフトウェアモジュールは、クラウドコンピューティングプラットフォーム上でホストされる。一部の実施形態において、ソフトウェアモジュールは、１つの位置にある１又は２以上の機械上でホストされる。別の実施形態において、ソフトウェアモジュールは、２以上の位置にある１又は２以上の機械上でホストされる。

データベース
一部の実施形態において、本明細書で開示されるプラットフォーム、システム、媒体、及び方法は、１又は２以上のデータベース、又はその使用を含む。本明細書に提供される開示内容の観点から、当業者であれば、多くのデータベースが個人（例えば、患者）、医用画像、及びニューラルネットワーク／トレーニング情報の記憶及び検索に好適であることが理解されるであろう。種々の実施形態において、適切なデータベースは、非限定的な例として、リレーショナルデータベース、非リレーショナルデータベース、オブジェクト指向データベース、オブジェクトデータベース、エンティティリレーショナルモデルデータベース、アソシエーティブデータベース、及びＸＭＬデータベースを含む。別の非限定的な例は、ＳＱＬ、ＰｏｓｔｇｒｅＳＱＬ、ＭｙＳＱＬ、Ｏｒａｃｌｅ、ＤＢ２、及びＳｙｂａｓｅを含む。一部の実施形態において、データベースは、インターネットベースである。別の実施形態において、データベースはウェブベースである。更に別の実施形態において、データベースはクラウドコンピューティングベースである。別の実施形態において、データベースは、１又は２以上のローカルコンピュータストレージデバイスに基づく。

以下の例示的な実施例は、本明細書で記載されるソフトウェアアプリケーション、システム、及び方法の実施形態を表しており、どのようにも限定されることを意味するものではない。

（実施例１−レポートの生成）
図４は、分析レポートの実施例を示す。本システムが識別した結節の位置は、右上の肺にある。結節は、非固形のすりガラス様と決定された。結節の重心は、１９５−２８０−４３のｘ−ｙ−ｚ座標にある。長軸に沿った結節の直径は１１ｍｍで、短軸に沿った結節直径は７ｍｍであった。結節の境界形状は不規則であった。悪性である可能性は８４％であった。

図５は、診断レポートの１つの実施例を示す。この実施例では、レポートは、ユーザインタフェースを含む。肺ＣＴスキャンの３つの投影図５０１、５０２、及び５０３が、ユーザに提示された。図５０１、５０２、及び５０３は、ユーザが位置を正確に狙うことを可能にするカーソルを含んでいた。ウィンドウ５０４は、セグメンテーションされた肺と検出された結節候補（四角い点）の３Ｄモデルを示していた。３Ｄモデルは、投影図５０１、５０２、及び５０３に重ねられていた。

実施例２−肺結節検出の妥当性確認
本明細書で開示される技術は、国立衛生研究所（ＮＩＨ）によって提供される公開され入手可能な肺結節データセット（ＬＩＤＣ−ＩＤＲＩ）に適用された。データセットは、１０１２人の患者からの１０１８個のＣＴ肺スキャンから成る。スキャンは、多種多様なＣＴ機械及びパラメータ設定の様々なセットを使用して取り込まれた。スキャン内部の各ボクセルは、正常（非結節）又は異常（結節）として４人の放射線科医によって注意深く注釈が付けられている。トレーニングステップでは、評価には５分割クロス確認が利用された。全てのスキャンは、最初に５つのセットに分割され、この各々がほぼ同じ数のスキャンを含有していた。各スキャンは、５つのセットのうちの１つにランダムに割り当てられた。各評価反復は、５つのセットのうち４つを使用して肺結節検出器をトレーニングし、残りのセットが、トレーニング済み検出器を評価するのに使用された。トレーニング反復では、セグメンテーション及びカスケード検出がデータベースに適用された。評価は５回反復され、５つのセットの各々がテストセットとして使用されるようにした。

各評価において、以下の２つの評価基準：
感度（又は検出率）：検出が成功したラベル付き結節のパーセンテージ；
選択度（又は検出された結節当たりの偽陽性）：検出された真の結節当たりの誤検出された候補結節の数
を用いて検出精度を評価した。評価の全５ラウンドからの検出精度が平均化され、データセット全体に対する全体の検出精度を生成した。

再度図６を参照すると、本明細書で開示される技術に基づく全体の検出精度は、プロットにおいて四角の点として示され、従来の方法に基づく精度は円で示されている。開示された技術は、既存のシステムよりも良好な感度（結節検出率）９８．５％及び選択度（真の結節当たりの偽陽性）４を達成した。比較されたシステムは、過去１０年の学術出版物により提供され、プロットにおいて報告されたそれらの検出精度は、その元の出版物から直接引用した。

本発明の好ましい実施形態を本明細書にて図示し説明してきたが、このような実施形態は、例証として提供されているに過ぎないことは、当業者に明らかであろう。多くの変形、変更、及び置き換えが、本発明から逸脱することなく当業者には想起されるであろう。本発明を実施する際には、本明細書で記載される本発明の実施形態に対する様々な代替形態を利用できることを理解されたい。

１００ 前処理
１０５ スキャンを入力
１１０ フォーマット変換
１１５ サンプリングスペーシング正規化（Ｘ／Ｙ／Ｚ）
１２０ 強度及びコントラスト正規化
１２５ 関心領域のセグメンテーション
１３０ 初期スクリーニングのための第１段階ＤＣＮＮ
１３５ 精細な検出のための第２段階ＤＣＮＮ
１４０ 多数の統計値の後処理
１４５ カスタマイズ可能な結果の提示

Claims (30)

1. デジタル処理デバイスを備えたコンピュータに実装されたシステムであって、前記デジタル処理デバイスは、少なくとも１つのプロセッサと、実行可能命令を実行するよう構成されたオペレーティングシステムと、メモリと、医用画像に深層畳み込みニューラルネットワークを適用してリアルタイム又はほぼリアルタイムの診断又は診断推奨を生成するアプリケーションを生成するために前記デジタル処理デバイスによって実行可能な命令を含むコンピュータプログラムと、を含み、
   前記アプリケーションは、
   ａ）複数の医用画像の画像セグメンテーションを実行するソフトウェアモジュールであって、前記画像セグメンテーションが前記医用画像の各々から関心領域を分離することを含むソフトウェアモジュールと、
   ｂ）セグメンテーションされた前記医用画像にカスケード深層畳み込みニューラルネットワーク検出構造を適用するソフトウェアモジュールであって、
   前記検出構造が、
   ｉ）第１畳み込みニューラルネットワークを利用して、スライディングウィンドウ方式によって１又は２以上の候補位置を識別することにより、前記セグメンテーションされた医用画像の各２Ｄスライス内の全ての可能性のある位置をスクリーニングする第１段階と、
   ｉｉ）第２畳み込みニューラルネットワークを利用して、ランダムスケール及びランダム視野角を有する各ボリューム内の少なくとも１つのランダム位置を選択して１又は２以上の精細な位置を識別し及び前記精細な位置を分類することによって、前記候補位置から構成される３Ｄボリュームをスクリーニングする第２段階と、
   を含むソフトウェアモジュールと、
   ｃ）診断又は診断推奨を含むレポートを自動的に生成するソフトウェアモジュールと、
   を含むことを特徴とするコンピュータに実装されたシステム。
2. 前記アプリケーションは、リアルタイム又はほぼリアルタイムで実行されて、リアルタイム又はほぼリアルタイムの診断又は診断推奨を生成する、請求項１に記載のシステム。
3. 前記診断又は診断推奨は、何れかの位置が病気部位であるかどうかの判定を含む、請求項１に記載のシステム。
4. 前記医用画像は、ＣＴスキャン、ＰＥＴ／ＣＴスキャン、ＳＰＥＣＴスキャン、ＭＲＩ、超音波、Ｘ線、乳房撮影、血管造影、蛍光撮影、顕微鏡写真、又はこれらの組み合わせにより提供される、請求項１に記載のシステム。
5. 前記アプリケーションは更に、前記複数の医用画像の正規化を含む画像前処理を実行するソフトウェアモジュールを含む、請求項１に記載のシステム。
6. 前記正規化は、画像フォーマット、画像スライススペーシング、画像強度、画像コントラスト、及び画像方向の正規化を含む、請求項５に記載のシステム。
7. 前記関心領域は、器官、器官の一部、又は組織である、請求項１に記載のシステム。
8. 前記候補位置は、前記セグメンテーションされた医用画像の２Ｄスライスにおける位置の１０％未満を含む、請求項１に記載のシステム。
9. 前記第１畳み込みニューラルネットワークは、２〜２０の畳み込み層及び１〜１０の全結合層を有する、請求項１に記載のシステム。
10. 前記スライディングウィンドウは、１００未満のピクセル×１００未満のピクセルのウィンドウを含む、請求項１に記載のシステム。
11. 前記スライディングウィンドウは、約３１ピクセル×約３１ピクセル又は約１６ピクセル×約１６ピクセルのウィンドウを含む、請求項１０に記載のシステム。
12. 前記第１畳み込みニューラルネットワークは、複数のニューラルネットワークインスタンスからランダムに選択された少なくとも１つのニューラルネットワークインスタンスを含み、前記第２畳み込みニューラルネットワークは、複数のニューラルネットワークインスタンスからランダムに選択された少なくとも１つのニューラルネットワークインスタンスを含む、請求項１に記載のシステム。
13. 前記第２畳み込みニューラルネットワークは、５又は６以上の畳み込み層及び全結合層を有する、請求項１に記載のシステム。
14. 前記３Ｄボリュームは、各方向で１００未満のボクセルである、請求項１に記載のシステム。
15. 前記第２畳み込みニューラルネットワークは、各ボリューム内で複数のランダム位置を選択する、請求項１に記載のシステム。
16. 前記第２畳み込みニューラルネットワークは、各位置にて複数のランダムスケールを選択する、請求項１に記載のシステム。
17. 前記第２畳み込みニューラルネットワークは、各位置に対して複数のランダム視野角を選択する、請求項１に記載のシステム。
18. 前記アプリケーションは更に、前記精細な位置の後処理を実行するソフトウェアモジュールを含む、請求項１に記載のシステム。
19. 前記後処理は、重心位置、ボリューム、形状、強度、密度、透明度、及び規則性のうちの１又は２以上を特徴付ける段階を含む、請求項１８に記載のシステム。
20. 前記後処理は、２又は３以上の精細な位置が前記同じ病気部位の部分であるかどうかの判定を含む、請求項１８に記載のシステム。
21. 前記レポートは、前記医用画像の１又は２以上に関する情報オーバレイを含む、請求項１に記載のシステム。
22. 前記オーバレイは、ポイント位置指示子、範囲指示子、又は輪郭指示子を含む、請求項２１に記載のシステム。
23. 前記レポートは、病気のタイプを示すためにカラーコード化された１又は２以上の医用画像を含む、請求項１に記載のシステム。
24. 前記レポートは、診断信頼度を示すためにヒートマップ化された１又は２以上の医用画像を含む、請求項１に記載のシステム。
25. 前記レポートは、経時的な病気の進行又は腫瘍の成長及び移動を測定するため、２又は３以上の時点で取り込まれる医用画像に前記アプリケーションを適用することによって生成される経時変化を含む、請求項１に記載のシステム。
26. 前記第１及び第２畳み込みニューラルネットワークは、病気の重大な臨床的徴候を識別するようトレーニングされる、請求項１に記載のシステム。
27. 前記第１及び第２畳み込みニューラルネットワークは、人間の専門家によってラベル付けされた医用画像を使用してトレーニングされ、画像フォーマット、画像スライススペーシング、画像強度、画像コントラスト、及び画像方向を正規化するために前処理される、請求項２６に記載のシステム。
28. 前記第１及び第２畳み込みニューラルネットワークは、正常及び病気位置に対してバランスが取られた医用画像を使用してトレーニングされる、請求項２６に記載のシステム。
29. 医用画像に深層畳み込みニューラルネットワークを適用してリアルタイム又はほぼリアルタイムの診断又は診断推奨を生成するアプリケーションを生成するためにプロセッサによって実行可能な命令を含むコンピュータプログラムによって符号化された非一時的コンピュータ可読ストレージ媒体であって、
    前記アプリケーションは、
    ａ）複数の医用画像の画像セグメンテーションを実行するソフトウェアモジュールであって、前記画像セグメンテーションが前記医用画像の各々から関心領域を分離することを含むソフトウェアモジュールと、
    ｂ）セグメンテーションされた前記医用画像にカスケード深層畳み込みニューラルネットワーク検出構造を適用するソフトウェアモジュールであって、
    前記検出構造が、
    ｉ）第１畳み込みニューラルネットワークを利用して、スライディングウィンドウ方式によって１又は２以上の候補位置を識別することにより、前記セグメンテーションされた医用画像の各２Ｄスライス内の全ての可能性のある位置をスクリーニングする第１段階と、
    ｉｉ）第２畳み込みニューラルネットワークを利用して、ランダムスケール及びランダム視野角を有する各ボリューム内の少なくとも１つのランダム位置を選択して１又は２以上の精細な位置を識別し及び前記精細な位置を分類することによって、前記候補位置から構成される３Ｄボリュームをスクリーニングする第２段階と、
    を含む、ソフトウェアモジュールと、
    ｃ）診断又は診断推奨を含むレポートを自動的に生成するソフトウェアモジュールと、
    を含むことを特徴とする非一時的コンピュータ可読ストレージ媒体。
30. 医用画像に深層畳み込みニューラルネットワークを適用してリアルタイム又はほぼリアルタイムの診断又は診断推奨を生成するコンピュータに実装された方法であって、
    ａ）コンピュータによって、複数の医用画像の画像セグメンテーションを実行する段階であって、前記画像セグメンテーションが、前記医用画像の各々から関心領域を分離する段階を含む、段階と、
    ｂ）前記コンピュータによって、前記セグメンテーションされた前記医用画像にカスケード深層畳み込みニューラルネットワーク検出構造を適用する段階と、
    を含み、
    前記検出構造が、
    ｉ）第１畳み込みニューラルネットワークを利用して、スライディングウィンドウ方式によって１又は２以上の候補位置を識別することにより、前記セグメンテーションされた医用画像の各２Ｄスライス内の全ての可能性のある位置をスクリーニングする第１段階と、
    ｉｉ）第２畳み込みニューラルネットワークを利用して、ランダムスケール及びランダム視野角を有する各ボリューム内の少なくとも１つのランダム位置を選択して１又は２以上の精細な位置を識別し及び前記精細な位置を分類することによって、前記候補位置から構成される３Ｄボリュームをスクリーニングする第２段階と、
    を含み、
    前記方法が更に、
    ｃ）前記コンピュータによって、診断又は診断推奨を含むレポートを自動的に生成する段階と、
    を含む、コンピュータに実装された方法。