JP2021509301A - 医用画像からの心エコー計測値の自動化抽出のための方法、コンピュータプログラム及び装置 - Google Patents

Abstract

【課題】 自動化心エコー計測値抽出システムを実装するための機構を提供する。【解決手段】 自動化心エコー計測値抽出システムは、１つ又は複数の医用画像を含む医用画像データを受け取り、１つ又は複数の医用画像を深層学習ネットワークに入力する。深層学習ネットワークは、１つ又は複数の医用画像を自動的に処理して、１つ又は複数の医用画像から抽出された心エコー計測値についての１つ又は複数の値を含む、被抽出心エコー計測値ベクトル出力を生成する。深層学習ネットワークは、被抽出心エコー計測値ベクトル出力を医用画像ビューアに出力する。【選択図】 図１

Description

本発明は一般に、改善されたデータ処理装置及び方法に関し、より詳細には、医用画像から心エコー計測値の自動化抽出を行うための機構に関する。

心臓超音波検査と呼ばれることもある心エコーは、高周波音波（超音波）を用いて患者の心臓の画像を生成する、広く受け入れられている医療検査である。心エコーは、音波を用いて、心腔、弁、壁、及び心臓に付着した血管（大動脈、動脈、静脈）の画像を作成する。心エコー検査の間、トランスデューサと呼ばれるプローブを患者の胸部の上を横切るように移動させ、これを用いて音波を生成し、音波は心臓の構造に当たって跳ね返り、「エコー（こだま）」のようにプローブに戻ってくる。検出された「エコー」は、コンピュータディスプレイ上で閲覧することができるデジタル画像に変換される。

心エコーは、患者の様々に異なる心臓の状態を識別するために用いられるとともに、心臓の構造及び機能に関する情報を医療関係者に提供するために用いられる。例えば、心エコーを用いて、医療専門家は、（１）心臓の大きさ及び形状、（２）心臓壁のサイズ、厚さ、及び動き、（３）心臓の動き、（４）心臓の拍出（pumping）の強さ、（５）心臓弁が適正に機能しているか否か、（６）血液が心臓弁を通って逆向きに漏れている（逆流）か否か、（７）心臓弁が狭すぎる（狭窄）か否か、（８）心臓弁の周りに増殖した腫瘍又は感染が存在するか、（９）心臓の外膜（心膜）に関する問題、（１０）心臓に入る大血管及び心臓から出る大血管に関する問題、（１１）心腔内の血栓、及び（１２）心腔間の異常な穴、を識別することが可能であり得る。

Ｙｕａｎ他、「Ｗａｔｓｏｎ ａｎｄ Ｈｅａｌｔｈｃａｒｅ」ＩＢＭ ｄｅｖｅｌｏｐｅｒＷｏｒｋｓ、２０１１年 Ｒｏｂ Ｈｉｇｈ、「Ｔｈｅ Ｅｒａ ｏｆ Ｃｏｇｎｉｔｉｖｅ Ｓｙｓｔｅｍｓ： Ａｎ Ｉｎｓｉｄｅ Ｌｏｏｋ ａｔ ＩＢＭ Ｗａｔｓｏｎ ａｎｄ Ｈｏｗ ｉｔ Ｗｏｒｋｓ」、ＩＢＭ Ｒｅｄｂｏｏｋｓ、２０１２年

自動化心エコー計測値抽出システムを実装するための方法、コンピュータプログラム及び装置を提供する。

この概要は、本明細書中で詳細な説明においてさらに説明される選択された概念を、簡約化された形で紹介するために提供される。この概要は、特許請求される主題の重要な要因又は本質的な特徴を識別することを意図したものでもなく、特許請求される主題の範囲を限定するために使用されることを意図したものでもない。

１つの例示的な実施形態において、少なくとも１つのプロセッサと、少なくとも１つのプロセッサによって実行されると少なくとも１つのプロセッサに自動化心エコー計測値抽出システムを実装させる命令を含む少なくとも１つのメモリとを含むデータ処理システムにおける、方法が提供される。この方法は、データ処理システム上で実行される自動化心エコー計測値抽出システムによって、１つ又は複数の医用画像を含む医用画像データを受け取ることを含む。この方法は、自動化心エコー計測値抽出システムによって、１つ又は複数の医用画像を深層学習ネットワークに入力することをさらに含む。さらに、この方法は、深層学習ネットワークによって、１つ又は複数の医用画像を自動的に処理して、１つ又は複数の医用画像から抽出された心エコー計測値についての１つ又は複数の値を含む、被抽出心エコー計測値ベクトル出力を生成することを含む。加えて、この方法は、深層学習ネットワークによって、被抽出心エコー計測値ベクトル出力を医用画像ビューアに出力することを含む。

他の例示的な実施形態において、コンピュータ可読プログラムを有するコンピュータ使用可能又は可読媒体を含むコンピュータプログラム製品が提供される。コンピュータプログラム製品は、コンピューティング・デバイス上で実行されたとき、コンピューティング・デバイスに、例示的な方法に関して上で概説した動作のうちの種々の１つ又はその組合せを行わせる。

さらに別の例証的な実施形態において、システム／装置が提供される。システム／装置は、１つ又は複数のプロセッサと、１つ又は複数のプロセッサに結合されたメモリとを含むことができる。メモリは命令を含み、命令は１つ又は複数のプロセッサによって実行されたとき、１つ又は複数のプロセッサに、例示的な方法に関して上で概説した動作のうちの種々の１つ又はその組合せを行わせる。

本発明のこれら及び他の特徴、並びに利点は、本発明の例示的実施形態の以下の詳細な説明に鑑みて説明されるか又は当業者には明らかになるであろう。

本発明、並びに、その使用、さらなる目的、及び利点の好ましいモードは、添付図面と併せて読むときに、例示的な実施形態の以下の詳細な説明を参照することにより、最もよく理解されるであろう。

１つの例示的な実施形態による、自動化心エコー計測値抽出システムの一次動作コンポーネントの例示的な図である。 １つの例示的な実施形態による、医用画像から心エコー計測値を自動的に抽出するための畳み込みニューラルネットワーク（ＣＮＮ）及び対応するデータフローの実施形態の例示的な図である。 １つの例示的な実施形態による、医用画像から心エコー計測値を自動的に抽出するための、畳み込みニューラルネットワーク（ＣＮＮ）及び対応するデータフローの実施形態の例示的な図である。 １つの例示的な実施形態による、自動化心エコー計測値抽出システムと共に動作する認知システムの１つの例示的な実施形態の模式図を示す。 例示的な実施形態の態様が実装される、例示的なデータ処理システムのブロック図である。 １つの例示的な実施形態による、医用画像の正常性分類を行うための例示的な動作を概観するフローチャートである。

上述のように、心エコー、すなわち心臓の超音波研究は、心臓の健康状態を様々な要因に関して計測するための一般的なツールである。心エコーにより、異なるモード（例えば、単一のトランスデューサが、身体を通るラインを走査し、エコーが深さの関数としてプロットされるＡモード、又は組織の２次元断面の音響インピーダンスを表示するＢモード）及び視点の医用画像が、様々な心臓の位相において取得される。患者を心臓の状態に関して評価し及び治療する際に、臨床医及び他の医療関係者は、心臓の解剖学的構造の計測値、例えば心腔の大きさ、心臓壁の厚さ、大動脈、肺静脈、弁等に関する計測値を求めることを必要とすることが多い。このような計測値は、異なるタイプの心臓の医学的状態の指標となることが多い。例えば、心室中隔及び後壁の厚さを計測することは、肥大の診断に用いることができる。別の例として、左心室（ＬＶ）初期拡張直径、ＬＶ初期拡張直径（LV diastolic Diameter）／ＢＳＡ又はＬＶ初期拡張直径（LV Diastolic Diameter）／高さを用いて、患者の症例を、計測値に対する臨床ガイドラインを用いて、正常、軽度の異常、中程度の異常、又は重篤な異常に分類することができる。しかしながら、このような計測値の生成は、手動プロセスであり、訓練された超音波検査士が各患者の心臓計測値を手動で計測及び記録し、これらの計測値をまとめて医療レポート書類にすることを必要とする。手動プロセスは、時間がかかり、資源集約的であり、人為ミスの影響を受けやすく、その結果、そうした人為ミスに起因して、計測値セットが不完全なものとなることがある。

したがって、心エコー医用画像から心臓の解剖学的構造の計測値の完全なセットをそれ自体で生成する自動化された機構は、決定支援サービスを提供するうえで多大な利点がある。特別に構成されたコンピューティング・デバイスに実装されたこのような自動化機構は、心エコー医療レポート書類の作成プロセスを加速し、ワークフローを促進する。医療提供者の観点から、この類の自動化機構は、心臓の解剖学的構造の計測値を手動で計測し及び記録する超音波検査士の必要性をなくすことができ、そのことは心エコーのワークフロー及びパイプラインの効率を高め、患者に対してより良い治療をもたらすのみならず、医療関係者に対してより良い償還（reimbursement）、医療提供者に対して価値をもたらすことになる。

例示的な実施形態は、心エコー画像から心臓の解剖学的構造についての計測値の自動化抽出を提供するための機構を提供する。例示的な実施形態の自動化機構は、このような計測値抽出を、画像のセグメント化を行うことなく、すなわち、医用画像を、異なる組織、分類、器官、病理、又は他の生物学的に関連した構造に対応する、異なる意味のあるセグメントに分割するプロセスを行うことなく、行うことができる。画像のセグメント化は、時間のかかるプロセスとなり得るので、心エコー画像の評価からセグメント化プロセスを排除することができる能力は、心エコー画像セットに関連付けられる心臓医療レポート書類作成のプロセスを加速し、ワークフロー全体を促進する。さらに、セグメント化は、医療記録において容易に入手可能なものではなく、したがって高性能のセグメント化ユニットを生成するためには、大量のセグメント化を人間の専門家が行う必要があり、それは一般に実行可能ではない。しかしながら、例示的な実施形態においては、画像と対応する計測値とが訓練に用いられ、これらは両方とも患者の記録において容易に入手可能である。したがって、画像のセグメント化を必要としない例示的な実施形態の機構によって、大規模な訓練が可能になる。

例示的な実施形態の機構によれば、自動化計測値抽出エンジンが提供され、これは、その自動化計測値抽出エンジンに入力された１つ又は複数の画像に対して動作して、医用画像内に存在する解剖学的構造の計測値の対応するセットを出力として提供する。自動化計測値抽出エンジンは、ニューラルネットワーク、サポートベクトルマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ランダムフォレスト（Ｒａｎｄｏｍ Ｆｏｒｅｓｔ）、又は多層パーセプトロン（Ｍｕｌｔｉ−Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎｓ、ＭＬＰ）といった訓練された機械学習又は深層学習ネットワーク（以後、「訓練されたネットワーク」と呼ぶ）を使用することができ、これは画像のセグメント化を行うことなく計測値を生成する。訓練されたネットワークは、ネットワークに適用された訓練プロセスを通じた、どのタイプの画像からどの計測値が得られたかということの学習に基づいて、計測値を推定する。

１つの例示的な実施形態において、多層畳み込みニューラルネットワーク（ＣＮＮ）モデルを用いて、医用画像、例えば心エコー画像の特徴ベクトルを、同時に複数のビューを用いて連結し、医用画像内に存在する解剖学的構造の計測値を生成する。相関付けされた計測値は精度を高めることを助け、ＣＮＮは複数の計測値間の相関関係を学習するので、計測値のアレイを生成することでＣＮＮの訓練がより正確なものになる。この学習は、ある特定の計測値が作成される特定のビューが存在し、これらの計測値のうちのいくつかが相関関係を有することを示す。

これらの計測値は、認知システムによって適用されることができる、例えばガイドラインのような形式の臨床的知識を用いた診断のために用いることができる。場合によっては、計測値は、計測値のソースである医用画像を、入力医用画像に対する注釈又はプロジェクションなどによって増補するために用いることができる。このことにより、超音波検査士が、計測値を補正することが必要なときに計測値を修正することが可能になり、その結果得られるフィードバックを用いて、ＣＮＮの追加訓練が、ＣＮＮの訓練期の間に行われるか、又はＣＮＮの動的な進行中の訓練を行うことができるように配備後であっても行われる。

訓練されたネットワーク、又は訓練されたＣＮＮは、どの画像がどのタイプの計測値を提供するか知っているので、上述の診断決定支援及び上記の医用画像増補に加えて、又はその代わりに、自動化計測値抽出エンジンは、患者の心エコー医用画像研究を完成させるために必要な画像のタイプに関して技術者及び他の医療関係者にアドバイスするための付加的な動作を行うことができ、また、心エコー医用画像研究が完成したとき、すなわち取り込まれた画像から特定の研究（study）に必要なすべての必要な計測値が得られたときに技術者に通知することもできる。結果として、不必要な医用画像を得ることの人的資源及び装置資源の余分な支出が最小限になる。さらに、結果として、計測値が欠落した不完全な心エコー医療レポートを生成する可能性が最小限になる。

例示的な実施形態の様々な態様の詳細な検討を始める前に、この説明全体を通じて「機構」という用語は、様々な動作、機能などを行う本発明の要素を指して用いられることを最初に認識されたい。「機構」は、本明細書でこの用語が用いられる場合、装置、手順、又はコンピュータプログラム製品の例示的な実施形態の機能又は態様の実装とすることができる。手順の場合、その手順は、１つ又は複数のデバイス、装置、コンピュータ、データ処理システムなどによって実装される。コンピュータプログラム製品の場合、コンピュータプログラム製品内又は製品上で実行されるコンピュータコード又は命令で表される論理は、特定の「機構」に関連付けられた機能を実装する又は動作を行うために、１つ又は複数のハードウェアデバイスによって実行される。それゆえ、本明細書で説明される機構は、専用ハードウェア、汎用ハードウェア上で実行されるソフトウェア、専用ハードウェア若しくは汎用ハードウェアによって容易に実行されるように媒体上に格納されたソフトウェア命令、機能を実行するための手順若しくは方法、又は上記のいずれかの組合せとして実装することができる。

本説明及び請求項は、例示的な実施形態の特定の特徴及び要素に関して「１つの（ａ）」、「少なくとも１つの」、及び「１つ又は複数の」という用語を使用する場合がある。これらの用語及び語句は、特定の例示的な実施形態において少なくとも１つの特定の特徴又は要素が存在することを述べることを意図するが、１つより多くのものもまた存在することができることを認識されたい。すなわち、これらの用語／語句は、説明又は請求項を単一の特徴／要素が存在することに限定することを意図したものではなく、又は複数のそのような特徴／要素が存在することを要することも意図したものでもない。それとは反対に、これらの用語／語句は、少なくとも単一の特徴／要素のみを必要とするとともに、複数のそのような特徴／要素が説明及び請求項の範囲内に存在する可能性を有する。

さらに、「エンジン」という用語の使用は、本明細書において発明の実施形態及び特徴を説明することに関して用いられる場合、そのエンジンに起因する及び／又はそのエンジンによって行われる動作、ステップ、プロセス等を達成する及び／又は行うためのいずれかの特定の実装の限定を意図しないことを認識されたい。エンジンは、機械可読メモリ内にロード又は格納されてプロセッサによって実行される適切なソフトウェアと組み合わされた汎用及び／又は専用プロセッサのいずれかの使用を含むがそれらに限定されない、指定された機能を行うソフトウェア、ハードウェア及び／又はファームウェア又はそれらのいずれかの組合せとすることができるが、それらに限定されない。さらに、特定のエンジンに関連付けられたいずれの名称も、特段の指定のない限り、参照のための便宜上の目的であり、特定の実装に限定することを意図したものではない。さらに、エンジンに起因するあらゆる機能は、複数のエンジンによって等しく行うことができ、同じ又は異なるタイプの別のエンジンの機能に組み入れる及び／又は組み合わせることができ、又は様々な構成の１つ又は複数のエンジンにわたって分散させることができる。

さらに、以下の説明は、例示的な実施形態の例示的な実装をさらに例証し、例示的な実施形態の機構の理解を助けるために、例示的な実施形態の様々な要素についての複数の種々の例を用いることを認識されたい。これらの例は、非限定的であることを意図し、例示的な実施形態の機構を実装するための様々な可能性を網羅したものではないことを意図する。当業者は、本説明に鑑み、本発明の趣旨及び範囲から逸脱することなく、本明細書において提供される例に加えて、又はその代わりに利用することができる、これらの様々な要素に対する多くの他の代替的な実装があることを認識するであろう。

本発明は、システム、方法、及び／又はコンピュータプログラム製品とすることができる。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令を有する１つ又は複数のコンピュータ可読ストレージ媒体を含むことができる。

コンピュータ可読ストレージ媒体は、命令実行デバイスによる使用のために命令を保持及び格納することができる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁気ストレージ・デバイス、半導体ストレージ・デバイス、又は上記のものの任意の適切な組合せとすることができるがこれらに限定されない。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストは、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ）、静的ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、記録された命令を有するパンチカード若しくは溝内に隆起した構造等の機械式コード化デバイス、及び上記のものの任意の適切な組合せを含む。コンピュータ可読ストレージ媒体は、本明細書で用いられる場合、無線波若しくは他の自由に伝搬する電磁波、導波路若しくは他の伝送媒体を通って伝搬する電磁波（例えば光ファイバケーブルを通る光パルス）、又は電線を通って伝送される電気信号のような一時的な信号自体と解釈すべきではない。

本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング／処理デバイスにダウンロードすることも、又は、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク及び／又は無線ネットワークを経由して、外部コンピュータ若しくは外部ストレージ・デバイスにダウンロードすることもできる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ及び／又はエッジサーバを含むことができる。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カード又はネットワーク・インタフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、そのコンピュータ可読プログラム命令をそれぞれのコンピューティング／処理デバイス内のコンピュータ可読ストレージ媒体にストレージのために転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、若しくはＣ＋＋などのオブジェクト指向プログラミング言語及び「Ｃ」プログラミング言語若しくは類似のプログラミング言語のような従来の手続き型プログラミング言語を含む１つ若しくは複数のプログラミング言語の任意の組合せで記述されたソースコード若しくはオブジェクトコードのいずれかとすることができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で独立型ソフトウェア・パッケージとして実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行される場合もあり、又は完全に遠隔コンピュータ若しくはサーバ上で実行される場合もある。後者のシナリオにおいては、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）若しくは広域ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部コンピュータへの接続が行われる場合もある（例えば、インターネット・サービス・プロバイダを用いたインターネットを通じて）。幾つかの実施形態において、例えばプログラム可能論理回路、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、又はプログラム可能論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個別化することにより、コンピュータ可読プログラム命令を実行することができる。

本発明の態様は、本明細書において、本発明の実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して説明される。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図のブロックの組合せは、コンピュータ可読プログラム命令によって実装することができることが理解されるであろう。

これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを製造し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装するための手段を作り出すようにすることができる。これらのコンピュータプログラム命令を、コンピュータ、プログラム可能データ処理装置、及び／又は他のデバイスを特定の方式で機能させるように指示することができるコンピュータ可読ストレージ媒体内に格納し、それにより、その中に格納された命令を有するコンピュータ可読媒体が、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／動作の態様を実装する命令を含む製品を含むようにすることもできる。

コンピュータ可読プログラム命令を、コンピュータ、他のプログラム可能データ処理装置又は他のデバイス上にロードして、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置又は他のデバイス上で行わせてコンピュータ実装のプロセスを生成し、それにより、コンピュータ、他のプログラム可能装置又は他のデバイス上で実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／動作を実装するようにすることもできる。

図面内のフローチャート及びブロック図は、本開示の種々の実施形態による、システム、方法、及びコンピュータプログラム製品の可能な実装の、アーキテクチャ、機能及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定された論理機能を実装するための１つ又は複数の実行可能命令を含む、モジュール、セグメント、又は命令の一部を表すことができる。幾つかの代替的な実装において、ブロック内に記された機能は、図中に記された順序とは異なる順序で行われることがある。例えば、連続して示された２つのブロックは、関与する機能に応じて、実際には実質的に同時に実行されることもあり、又はこれらのブロックはときとして逆順で実行されることもある。ブロック図及び／又はフローチャート図の各ブロック、及びブロック図及び／又はフローチャート図中のブロックの組合せは、指定された機能又は動作を実行する専用ハードウェア・ベースのシステムによって実装することもでき、又は専用ハードウェアとコンピュータ命令との組合せを実行することもできることにも留意されたい。

図１は、１つの例示的な実施形態による、自動化心エコー計測値抽出システムの一次動作コンポーネントの例示的な図を示す。図２及び図３は、１つの例示的な実施形態による、例えば図１のＣＮＮ１６０を実装するために用いることができる例示的な実施形態によるＣＮＮの層の詳細な配置の例示的な図、及び、心エコー画像などの医用画像から心エコー計測値を抽出するための対応するワークフローである。図２は、ピクセルが同様のピクセル間隔を有している１つの例示的な実施形態による、医用画像から心エコー計測値を自動的に抽出するための畳み込みニューラルネットワーク（ＣＮＮ）を通るデータフローの例示的な図であり、これに対して、図３は、各画像が独自のピクセル間隔を有する例示的な実施形態による、医用画像から心エコー計測値を自動的に抽出するためのＣＮＮを通るデータフローの例示的な図である。図１−図３は、１つの例示的な実施形態による正常性分類器の例示的な動作の以下の説明と組み合わせて扱う。

図１−図３に示すように、１つの例示的な実施形態において、心エコー計測値は、心エコー検査装置１１０から得られる異なる多様な異なる視点を有する心エコー画像から抽出される。様々なタイプの心エコー検査装置１１０を使用することができ、心エコー画像は、異なるモード、例えばＡモード、Ｂモード、ドップラー（Ｄｏｐｐｌｅｒ）、Ｍモードなどで提供され得ることを認識されたい。心エコー検査装置１１０は、関連付けられたモードを用いて画像を取り込み、患者の解剖学的形態、例えば胸部、心エコー画像の場合には特に心臓の複数の画像を様々な異なる視点から取り込んで、患者の医用画像研究１１５をまとめることができ、これを自動化心エコー計測値抽出システム１００の医用画像ストレージ１４０に格納することができる。医用画像研究１１５は、１つ又は複数のデータ構造として、例えば、取り込まれた各医用画像、医用画像研究など毎に別個のデータ構造として、患者の識別子及び／又は患者の電子医療記録（ＥＭＲ）と関連付けて医用画像ストレージ１４０内に格納することができる。

図１に示すように、医用画像撮像装置１１０から医用画像研究データ１１５を受け取った後、自動化心エコー計測値抽出システム１００における動作の第１段階中に、ニューラルネットワーク又は他の機械／深層学習システムのような機械学習又は深層学習システムとして実装することができるモード認識コンポーネント１２０を利用して、研究データ１１５内の各医用画像について、その医用画像の特定のモード及び視点を識別する。例えば、医用画像研究は、１つの研究内におよそ８０から１００の医用画像を有することができ、これらが各々自動的にその対応するモード及び視点にソートされる。すなわち、心エコーを例として取り上げると、そうした心エコー画像は、異なるモード（Ｂモード、ドップラー、Ｍモード等）及び異なる視点（傍胸骨長軸、又は二腔像、三腔像、四腔像、五腔像等）で取得することができる。したがって、動作の第１段階において、モード認識コンポーネント１２０は、医用画像研究データ１１５内の医用画像の各々を解析して、医用画像を異なるモードに分類する。モード認識コンポーネント１２０の機械／深層学習システムは、異なるモードの様々なラベル付き又は注釈付き医用画像を用いて訓練することができ、その結果、モード認識コンポーネントは、ある医用画像を受け取り、その医用画像の特性を解析し、その医用画像を異なるモードに分類することができるようになっている。１つの例示的な実施形態において、モード認識コンポーネント１２０は、入力される医用画像のモード分類のためのＤｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ（ＤＩＣＯＭ）タグ解析及び画像処理を用いて、訓練することができるとともに動作することができる。モード認識コンポーネントは、必ずしも機械／深層学習ソリューションである必要はなく、代わりに、機械／深層学習を有することなく、ＤＩＣＯＭタグと画像処理との組み合わせを用いて画像モードを分類することができることを認識されたい。

視点分類コンポーネント１３０もまた機械学習又は深層学習システムとして実装することができ、画像を異なる視点に分類するために用いることができる。機械／深層学習視点分類コンポーネント１３０（又は視点分類器）もまた、訓練期において訓練専門家によって特定の視点情報で注釈付け又はラベル付けされた医用画像を用いて訓練することができるので、その結果、訓練された視点分類コンポーネント１３０は、様々なモードの新たな医用画像を、その医用画像の特徴と訓練を行った医用画像の特徴との類似性に基づいて、その視点に関して分類することができる。

心エコー検査装置１１０によって取り込まれた医用画像研究データ１１５の医用画像は、そのモード及び視点に従ってモード識別コンポーネント１２０及び視点分類コンポーネント１３０によって分類された後、患者の医用画像研究の進行中に医用画像ストレージシステム１４０内に動的に格納することができ、例示的な実施形態の自動化心エコー計測値抽出システム１５０の動作は、取り込まれた画像のセットに対して、又は超音波検査士若しくは他の技術者又は心エコー検査装置１１０のオペレータのようなユーザからの要求に応答して、動的に行うことができる。あるいは、自動化心エコー計測値抽出システム１５０の動作は、１つ又は複数の医用画像研究が１人又は複数の患者に対して行われた後、医用画像ストレージシステム１４０内に格納された医用画像に対して行うことができる。

１つの例示的な実施形態において、モード認識コンポーネント１２０によるモードの分類に基づいて、注目するモードの医用画像を、医用画像ストレージ１４０内に格納された医用画像から、特定の患者のため、訓練／検査での使用のため、又はランタイム実行のために選択することができる。例えば、Ｂモード心エコー画像は、現代の診療における計測値として現在最も頻繁に使用される画像タイプなので、１つの例示的な実施形態においてＢモード心エコー画像が選択されるが、本発明の趣旨及び範囲から逸脱することなく他のいずれかのモードを使用することができる。Ｂモード心エコー画像が選択され、これは視点分類コンポーネント１３０によって識別される様々な異なる視点を有することができる。１つの例示的な実施形態において、心エコー計測値抽出コンポーネント１５０は、Ｂモード心エコー画像に対して動作することができるが、例示的な実施形態はこれに限定されず、その代わり、例示的な実施形態の機構は、例示的な実施形態の趣旨及び範囲から逸脱することなく、あらゆるモード又はモードの組合せに関して実装することができる。いくつかの実施形態において、心エコー計測値抽出コンポーネント１５０の別個のインスタンスを異なるモード用に実装することができ、例えば１つのインスタンスをＢモード医用画像用、１つのインスタンスをＭモード医用画像用、そして１つのインスタンスをドップラーモード医用画像用に実装することができる。

自動化心エコー計測値抽出コンポーネント１５０は、畳み込みニューラルネットワーク（ＣＮＮ）１６０を含み、これは例えば訓練論理１８０によって訓練されて、特定のタイプの計測値に対して使用するのに比較的適しているのはどの視点（又は「ビュー」）であるかを学習し、ここで、本明細書で用いられる「計測値」という用語は、医用画像内の物理的解剖学的構造の表示から得られる物理的特性の計測値（例えば、長さ、幅、直径、厚さ等）を指す。ＣＮＮ１６０を回帰モデルとして訓練することによって、ＣＮＮ１６０は、計測値の抽象化を学習する。すなわち、深層学習畳み込みニューラルネットワークは、深層に進むにつれて、より高次の抽象化を学習する。一例として、第１の層は、辺（edge）を学習するが、より高次では円又は矩形といった形状を学習し、さらに高次の層は、さらに高次の抽象化、例えば面（face）などの複雑な形状を学習する。例示的な実施形態では、ＣＮＮ１６０は、出力層において入力層の抽象化として計測値を学習するように訓練される。この場合もまた、第１の層は、基本的な辺などを学習し、ＣＮＮ１６０が深層に進むにつれて、層は、計測値のような高次の抽象化を学習する。

ひとたびＣＮＮ１６０が訓練されると、心エコー計測値抽出コンポーネント１５０の訓練論理１８０は、ユーザの現場に配備されている心エコー計測値抽出コンポーネント１５０又は医用画像からの心エコー計測値抽出に対するランタイム要求を処理するために用いられる心エコー計測値抽出コンポーネント１５０には必ずしも含まれている必要はないことを認識されたい。図１において訓練論理１８０が点線で示されているのはこの理由による。そのため、ひとたび心エコー計測値抽出コンポーネント１５０の開発の訓練期が完了すると、訓練されたＣＮＮ１６０及びリスケーリング論理（rescaling logic）１７０のみを利用して、新たな医用画像及びそのような医用画像から抽出された心エコー計測値を処理する。

心エコー画像などの医用画像は、例えばカメラで撮影された一般的な画像には存在しない、ピクセル間隔（画像上の２つのピクセル間の物理的距離）を有することに留意されたい。ピクセル間隔は、物理的計測値を作成することを可能にする。例えば、心エコー画像を用いると、心室間壁厚が７ｍｍであることを計測することができるが、従来のデジタルカメラでは、車輪（ｗｈｅｅｌ）の写真を撮ったとしても、カメラ画像の直径をピクセル数で計測することはできるが、それを車輪直径の物理的計測値、例えばｃｍ又はｍｍに変換することはできず、なぜなら、カメラ画像の２つのピクセル間の距離はそれら２つの対応する点間の物理的な実際の距離を表すものではないからである。

医用画像内のピクセルは、それらの間に物理的距離を有しているので、これらの医用画像から得られた計測値は、例えばセンチメートルで表される物理空間にある。一般にＣＮＮは、したがってＣＮＮ１６０は、このような医用画像におけるピクセル間隔を認識しない。したがって、医用画像ストレージ１４０から得られた医用画像から生成された計測値、例えば心エコー画像は、ピクセル空間にリスケールされ、すなわち、計測値は、計測単位が例えばセンチメートルである物理空間ではなく、画像ピクセルの数にされる。各画像のピクセル間隔は既知なので、ピクセルから物理的次元への変換が可能になる。一般に、異なるビューからの医用画像は、異なるピクセル間隔を有する。したがって、同じ計測値を、各ビューに対してピクセル空間における異なるピクセル数に翻訳することができる。

例えば、心室間壁厚が７ｍｍである状態を考える。異なる視点からの２つの画像、又は同じ視点からであるが撮像深さ（imaging depth）が異なる、例えば１ｍｍ及び０．５ｍｍピクセル間隔の２つの画像があるとする。この場合、ＩＶ壁は、これら２つの画像においてそれぞれ７ピクセル幅及び１４ピクセル幅として現れることになる。画像のピクセル間隔が既知なので、１ｍｍピクセル間隔の画像上の７ピクセル幅の壁は、０．５ピクセル間隔の別の画像上の１４ピクセル幅の壁と同じ厚さであることが分かる。しかしながら、上述のように、機械学習／深層学習ネットワークは、ピクセル間隔を認識しない。ネットワークが訓練されるとき、例えば、画像が入力として与えられ、計測値が出力として生成される。ここで、この例の場合、両方の画像が入力として与えられ、訓練が出力として７を期待すると、それはネットワークに非常な混乱をもたらすことになる。しかしながら、ネットワークに入力として第１の画像が与えられ、出力として７を期待し、ネットワークに入力として第２の画像が与えられ、出力として１４を期待する場合、ネットワークを正しく訓練することはより容易である。

例示的な実施形態に関してより詳細に図２及び図３に示されているＣＮＮ１６０は、多重ビュー多重出力回帰モデルを実装する。１つの例示的な実施形態において、医用画像ストレージ１４０から選択された、同じモード、例えばＢモードであるが、異なる視点（例えばＡ２Ｃビュー、Ａ４Ｃビュー、ＬＡＸビュー等）の医用画像１４２は、ほぼ同時にＣＮＮ１６０に入力される。心エコーレポートからの計測値を連結して、訓練用の出力としてベクトルにする。第１の例示的な実施形態において、図２に示すように、すべての入力画像をリサンプリングして、すべての画像が例えば最小のピクセル間隔に等しい同じピクセル間隔を有するようにする。次いで、レポートからの物理的計測値を、この共通ピクセル間隔を用いてピクセル数に変形する。複数の計測値がある場合、これらをすべて連結して計測ベクトルにする。第２の例示的な実施形態において、図３に示すように、入力画像はそれぞれ元のピクセル間隔を保持するが、レポートからの各物理的計測値は、各画像のピクセル間隔を用いて複数回、ピクセル数に変形される。これらを連結してベクトルにする。他の計測値を同様にこれらのベクトルに追加する。

図２に示すように、１つの例示的な実施形態として、ＣＮＮ１６０は、複数の畳み込み層１６６の複数の畳み込みモジュール１６１−１６５と、それに続く複数の密に接続された（完全に接続された）層１６７とを含む。各畳み込みモジュール１６１−１６５は、活性化（activation）層、バッチ正規化層、及びドロップアウト層の、畳み込み層の複数のセットを含む。図２及び図３の図示において、それぞれ、これらの図中のより小さいブロックは、前のブロックからのデータが、例えばマックス・プーリング層（max pooling layer）によって、ダウンサンプリングされたことを表す。図から分かるように、ＣＮＮ１６０は、最初に、いくつかの畳み込み層、例えば畳み込みモジュール１６１−１６３を含む畳み込み層を独立して用いて、各々の医用画像ビュー１４２を解析する。次いで、ＣＮＮ１６０は、畳み込みモジュール１６４を介した連結及び処理によって情報を組み合わせて、最終的に完全に接続された層１６７とする。

このようにして、異なるビューを有する各入力画像１４２に、それぞれ低次の特徴、例えば辺、角などを抽出するための複数の畳み込みモジュール１６１−１６３が続き、ＣＮＮ１６０が画像をより深く処理するにつれて、形状などのようなより高次の特徴が抽出される。特徴の抽出に続いて、出力は、一緒に連結され（１６４）、付加的な畳み込みモジュール１６５に入力される。完全に接続された層１６７は、付加的な畳み込みモジュール１６５によって処理された連結された出力を取得し、複数の計測値の各々についての値を含む計測値ベクトル出力１６８を生成する。図示した例において、計測値ベクトル出力１６８は、左心室（ＬＶ）直径、左心室（ＬＶ）容積、心室中隔（ＩＶＳ）幅、Ｐ波（ＰＷ）幅などを含む。このように、複数の異なるビューの複数の画像が与えられると、より正確な計測値を提供するようにＣＮＮ１６０を訓練することができる。その際、ＣＮＮ１６０は、それ自体で、最良の画像又は画像の組合せを選択し、最も正確な計測値を生成する。

ＣＮＮ１６０の訓練は、多くの異なる方法で達成することができる。１つの例示的な実施形態において、視点が異なる入力訓練画像１４２のセットのすべては、上述のように、かつ図２の例示的な実施形態で示すように、それらのすべてが同じピクセル間隔を有するようにサンプリングされる。所与の同じピクセル間隔の画像のリサンプリングは、多くの異なる方法で達成することができ、例えば、古いピクセル間隔と新しいピクセル間隔との間にそのような関係を確立することができる場合にはｎ個目のピクセルごとにサンプリングすること、又は元の画像の２つのピクセル間の値に対して補間することによって、達成することができる。本発明の趣旨及び範囲から逸脱することなく、あらゆる適切なリサンプリング方法を用いることができる。

いくつかの例示的な実施形態において、レポートからの計測値はすべて、ピクセル間隔を用いるリスケーリング論理１７０によって、ピクセル数に変形することができる。結果として、ＣＮＮ１６０は、同じピクセル間隔の複数の入力で訓練され、各計測値に対して１つの出力を生成する。ＣＮＮ１６０の訓練は、畳み込み層の重みの初期ランダム又は疑似ランダム設定を含むことができる。その後、所与の入力に対する出力をグランドトゥルース（ground truth）（レポートからの計測値）と比較して、ＣＮＮ１６０によって生成された出力における誤差を識別する。その後、畳み込み層の重みをこの誤差の勾配を誤差逆伝搬法で用いて更新して、ＣＮＮ１６０を訓練する。

ＣＮＮ１６０によって生成される各計測値についての出力は、共通ピクセル間隔及びリスケーリング論理１７０を用いて物理空間に変形することができ、そして、訓練論理１８０によって、訓練画像内に存在する解剖学的構造についてのグランドトゥルース又は既知の計測値と比較することができ、それは、例えば注釈、ラベル、又は訓練画像に関連付けられ他のメタデータから得ることができるような、例えば臨床医によってルーチンの臨床ワークフローの間に生成されたテキストレポートから得られる計測値とすることができる。このようなグランドトゥルース又は既知の計測値は、訓練画像データセットを作成するときに人間の内容領域専門家（ｓｕｂｊｅｃｔ ｍａｔｔｅｒ ｅｘｐｅｒｔ、ＳＭＥ）によって手動で指定されてもよい。場合によっては、ラベル付き又は注釈付きの訓練画像の小さい初期セットを提供することができ、これを、同一出願人による同時係属中の米国特許出願番号第１５／８５０００７号及び同１５／８５０１１６号（Ｐ２０１７０５８０５ＵＳ０１及びＰ２０１７０５８０６ＵＳ０１）などに記載されたＧＡＮベースの技術のような自動化機構を通じて拡張することができる。

図３に示されているような別の例示的な実施形態において、訓練入力画像１４２は、共通ピクセル間隔を有するようにサンプリングされていない。したがって、各視点からの各画像ｉは、独自の画像間隔ｐ_ｉを有することになる。入力画像ピクセル間隔を、例えば前に説明した実施形態のサンプリングを介して正規化する代わりに、臨床医が心エコー試験を評価した後に作成した心エコーレポートのようなレポートからの各計測値は、各画像の独自のピクセル間隔ｐ_ｉを用いて、繰り返し、ピクセル間隔に変形される。すなわち、ルーチンの臨床医の実践として、臨床医は、検査を研究し、画像から計測値を作成し、これをレポートに記入し、レポートは電子医療記録（ＥＭＲ）に記録される。ＣＮＮ１６０を訓練するために用いられる計測値は、これらのレポートから抽出することができ、画像独自のピクセル間隔ｐ_ｉの各々を用いて画像空間に変形される。したがって、Ｍ個の視点とＮ個の計測値がレポート内に存在する場合、出力ベクトル１６８は、Ｍ×Ｎのサイズを有する。ＣＮＮ１６０によって生成され、出力ベクトル１６８内に存在する各計測値は、対応する画像ピクセル間隔を用いて再び物理空間に変形され、レポートからのグランドトゥルースと比較され、それにより、識別された誤差及び誤差逆伝搬法に基づいてＣＮＮ１６０を訓練し、計測値と、潜在的に異なる視点の画像とを関連付けるように学習する。

ひとたび訓練されると、ＣＮＮ１６０を新たな医用画像、例えば新たな心エコー画像に適用することができるので、ＣＮＮ１６０は、特定の計測値を生成するために、特定のモードであるが視点が異なる選択された医用画像のセットから最適なビューを自動的に決定することができる。ＣＮＮ１６０は、医用画像の入力セット内に存在する解剖学的構造の様々な計測値の推定値を提供する出力計測値ベクトル１６８を生成する。これらの計測値は、上述のようにピクセル空間を物理空間に変換することが可能なリスケーリング論理１７０によって生成されるような物理空間にあるものとすることができる。すなわち、ＣＮＮ１６０が訓練された後、異なるビューまたは視点の画像がＣＮＮ１６０に供給され、これは、入力画像の各々についてピクセル数に変形された少なくとも１つの計測値を含む計測値ベクトルを生成する。これらの計測値は、次いで、各画像ピクセル間隔を用いて物理単位に変形される。

ＣＮＮ１６０によって出力される物理的計測値は、自動化心エコー計測値抽出システム１００によって認知システム１９０に提供されてもよく、認知システム１９０は、それ自体が医用画像ビューア・アプリケーション１９５、医用画像研究レポート生成器１９７、及び／又は他の認知動作機能を提供することができ、他の認知動作機能は、決定支援サービスを提供するため、又はそれ以外に医療関係者が患者を治療することを支援する出力、例えば治療推奨動作を生成するため、介入計画立案のための動作を行うため、例えば経カテーテル大動脈弁置換術（ＴＡＶＲ）若しくは患者の心臓症状に対処するための他の手技などを行うためのものなどである。例えば、認知システム１９０は、異なる計測値の正常／異常範囲を表す臨床ガイドライン・ドキュメンテーションなどを取り込むことができ、臨床ガイドライン・ドキュメンテーションは、各異常計測値に関連付けられた様々な疾患の医学的知識などを説明するものであり、認知システム１９０は、これらの臨床ガイドライン文書から取り込んだ知識に基づいて、ＣＮＮ１６０によって生成された計測値を評価することができる。評価に基づいて、医療関係者に、対応する患者の治療で取ることを望み得る次のステップを助言する「次のステップ」推奨を提供することができる。このように、この情報は、臨床知識データベースに保存することができ、例えば医療関係者が患者の情報を検討したとき、患者と遭遇したときなどに、「次のステップ」推奨に用いることができる。

例えば、認知システム１９０は、自動化心エコー計測値抽出システム１００によって出力された計測値に対して規則、医学知識及び解析などを適用するためにパイプライン又は他の認知論理を使用することができ、これらの規則、医学知識などは、認知システム１９０によって取り込まれた１つ又は複数のコーパスの電子文書、内容領域専門家によって指定された事前定義された規則セットなどにおいて規定することができる。例えば、規則は、ＬＶ直径が特定のセンチメートルより小さい場合、その患者に対して特定の治療推奨を考慮すべきことを言明するものとすることができる。例えば患者の電子医療記録（ＥＭＲ）データなどに基づくエビデンスに基づいた解析（evidential analysis）を通じて、他の要因を考慮することができ、その患者に対する治療推奨を決定するために特定の治療についてのスコアを生成することができる。

いくつかの例示的な実施形態において、認知システム１９０は、患者の医用画像を分類すること及び例示的な実施形態の機構によって生成された計測値に少なくとも部分的に基づいて患者の医学的状態の重篤度を格付けすることによって、トリアージ支援動作を行うことができる。この方式において、認知システム１９０の医用画像ビューア・アプリケーションは、例示的な実施形態の機構によって示された得られた計測値のみに基づくか、又はそれに加えて患者症状のその他の認知評価、例えば患者の電子医療記録（ＥＭＲ）データの評価、認知システム１９０がインタフェースする他のコンピューティング・システムによって記録される患者の他のバイタルサインなどに基づく、患者の医用画像の相対的な格付けに従ってその患者の医用画像を出力するよう、認知システム１９０によって自動的に制御することができる。

さらに、本発明の機構によって生成された計測値から識別することができるように、どの医用画像が異常を示すかの識別に基づいて、個別の特定の患者について、対応する最も顕著な又は関連した医用画像を、認知システム１９０の制御に基づいて医用画像ビューア１９５を介して出力することができる。例えば、患者の心エコー研究から生成された８０の医用画像があるとすると、その各々を例示的な実施形態のＣＮＮ１６０を介して評価して、学習された特定の計測値に対して最良の視点の画像から、対応する計測値を識別することができる。これらの計測値を、事前定義された規則、認知システム１９０によって取り込まれた医学的知識のソース、医学的ガイドラインなどに存在し得るような基準と比較して、どこに異常が存在し得るかを識別することができる。計測値により異常の検出に至った対応画像、すなわち学習された特定の計測値に対して最良の画像を識別することができ、医療関係者による閲覧のために医用画像ビューア１９５を介して提示することができる。医用画像は、計測値を提供するのに最良の画像であると判定されていない他の医用画像よりも高い格付け又は順序で、医用画像ビューア１９５を介して医療関係者に表示することができる。

医用画像ビューア１９５を介して、自動抽出された心エコー計測値に基づいて解剖学的構造の異常をより適切に代表する医用画像を閲覧することに加えて、医用画像ビューア１９５は、医用画像に、対応する自動抽出された計測値で注釈付け又はラベル付けをすることもできる。このようにして、医用画像を閲覧するときに医療関係者が計測値にアクセスできるようにすることができる。さらに、認知システム１９０は、生成器１９７を介して、自動化された医用画像研究レポート生成を提供することもできる。医用画像研究レポート生成器１９７は、独自の医用画像研究レポートを生成することもでき、又は既存の医用画像研究レポートを、対応するデータ構造を自動抽出された心エコー計測値を含めるように補強することによって補強することもできる。

このように、例示的な実施形態は、患者に関連付けられた多視点医用画像研究の複数の異なる医用画像を利用して医用画像視点のタイプと対応する心エコー計測値との間の関連付けを学習する、多重入力ネットワークを提供する。例示的な実施形態は、どの医用画像視点が心エコー計測値の最も正確な推定値を提供するかを学習し、次いでこれらを利用して、将来の患者に対する医用画像研究の将来の処理に対してこれらの計測値の推定値を生成する。このプロセスは、医用画像のセグメント化を行うことを要さず行われ、このことがシステム全体の性能を高める。さらに、例示的な実施形態の機構は、個々の画像の画像品質の問題を軽減し、相補的な視点、例えば長軸対短軸、二腔対四腔から情報を抽出する。

例示的な実施形態は、異なる計測値間の相関関係を利用する多重出力ネットワークをさらに提供し、例えば左心室直径は右心室容積と相関関係があり、これは訓練に有利である。例えば、心エコー法には、互いに相関する多くの計測値が存在し得、例えば左心室長は四腔像並びに二腔像で計測することができる。どちらの計測値も同じ解剖学的構造の計測値なので、これらが著しく異なることはあり得ない。同様の相関関係は、左心室の直径と容積との間にも存在する。片方が長くなれば、通常、他方も長くなる。これらの相関関係は、ＣＮＮ訓練に対するレギュラライザ（regularizer）として作用し、結果を改善する。そのため、例示的な実施形態のＣＮＮを訓練するとき、ＣＮＮの誤差評価は、このような計測値間の相関関係を評価して、損失関数又はＣＮＮによって生成される誤差を減らすためにＣＮＮの動作をどのように修正するかを判定することをさらに含むことができ、例えば、このような相関関係がＣＮＮによって生成される出力において維持されていない場合、畳み込み層の重み付けの特定の修正を調整して、それに合わせて、このような相関関係が維持されるようにすることができる。

上記のことから、例示的な実施形態は、多くの異なるタイプのデータ処理環境で利用することができることが明らかである。例示的な実施形態の特定の要素及び機能の説明のための文脈を提供するために、以後、図４−図５を、例示的な実施形態の態様を実装することができる例示的環境として提供する。図４−図５は、単なる例であり、本発明の実施形態の態様を実装することができる環境に関してなんらかの限定を主張する又は含意することを意図したものではないことを認識されたい。本発明の趣旨及び範囲から逸脱することなく図示した環境に対する多くの変更を行うことができる。

図４−図５は、特定の患者の医用画像の閲覧及びその医用画像に関する情報の取得のための医用画像ビューア・アプリケーション２３０を実装する、ヘルスケア用途のための例示的な認知システムを説明することに向けたものである。認知システムは、他の認知機能を提供することもでき、他の認知機能には、治療推奨、患者の電子医療記録（ＥＭＲ）解析及び医用画像データとの相関関係、介入計画立案及びスケジューリング動作、患者トリアージ動作、並びに、認知解析と患者に関する大量のデータに対するコンピュータベースの人工知能又は認知論理の適用とを伴う様々なその他のタイプの決定支援機能が含まれ、その少なくとも一部は、正常性分類器の正常性の格付け機構を伴う。いくつかの例示的な実施形態において、認知システムは、例えば質問回答（Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ、ＱＡ）パイプライン（質問／回答パイプライン又は質問及び回答パイプラインとも呼ばれる）のような要求処理パイプライン、要求処理方法論、及び例示的な実施形態の機構が実装される要求処理コンピュータプログラム製品を実装することができる。これらの要求は、構造化された又は構造化されていない要求メッセージ、自然言語の質問、又は、ヘルスケア認知システムによって行われる動作を要求するための他のいずれかの適切な形式で提供することができる。

概要として、認知システムは、人間の認知機構をエミュレートするようにハードウェア及び／又はソフトウェア論理（ソフトウェアが実行されるハードウェア論理と組み合わされた）を伴って構成された、専用コンピュータシステム、又はコンピュータシステムのセットである。これらの認知システムは、人間のような特性をアイデアの運搬及び操作に適用し、これがデジタルコンピューティングの固有の強みと組み合わされたとき、高い精度及び弾力性で大規模に問題を解決することができる。認知システムは、人間の思考を近似するとともに、人と機械とがより自然な方式で相互作用することを可能にして、人間の専門知識及び認知を拡張及び拡大することができるようにする、１つ又は複数のコンピュータ実装される認知動作を行う。認知システムは、例えば、自然言語処理（ＮＬＰ）に基づく論理、医用画像解析論理などのような人口知能論理、並びに機械学習論理を含み、これらは専用ハードウェア、ハードウェア上で実行されるソフトウェア、又は専用ハードウェアとハードウェア上で実行されるソフトウェアとのいずれかの組合せとして提供することができる。認知システムの論理は、認知動作を実装し、その例は、質問回答、コーパス内のコンテンツの別々の部分内にある関連した概念の識別、例えばインターネットのウェブページ検索のようなインテリジェントサーチ・アルゴリズム、医学的診断及び治療推奨、医用画像解析論理、及び、特別に構成されたコンピューティング機構を用いて人間の思考をエミュレートする他のタイプの論理を含むが、これらに限定されない。ＩＢＭ Ｗａｔｓｏｎ（商標）は、例示的な実施形態の機構を利用することができる、又は例示的な実施形態の機構を実装することができるそうした認知システムの一例である。

図４は、１つの例示的な実施形態による、コンピュータネットワーク２０２内で医用画像ビューア／レポート生成器アプリケーション２３０を実装する認知システム２００の１つの例示的な実施形態の模式図を示し、これは、図１の正常性分類器１００のような正常性分類器と共に動作する。認知システム２００は、上述のような自動化心エコー計測値抽出システム１００の動作に従って、受け取った医用画像データ及び種々の視点を有する医用画像研究の医用画像からの心エコー計測値の自動抽出の解析に基づいて認知動作を行うための、種々のタイプの認知動作論理をさらに含むことができる。例えば、認知システム２００は、トリアージ認知論理２３２、介入計画立案論理２３４、治療推奨論理２３６、又は、本説明に鑑みて当業者に明らかになる他の認知動作論理を含むことができる。

認知システム２００は、コンピュータネットワーク２０２に接続された１つ又は複数のコンピューティング・デバイス２０４Ａ−Ｄ（１つ又は複数のプロセッサと、１つ又は複数のメモリと、潜在的に、当業者に一般的に知られたバス、ストレージ・デバイス、通信インタフェースなどを含む他のいずれかのコンピューティング・デバイス要素とを含む）上で実装される。単なる例示の目的で、図４は、認知システム２００がコンピューティング・デバイス２０４Ａのみの上に実装されているように描いているが、上記のように、認知システム２００は複数のコンピューティング・デバイス２０４Ａ−Ｄのように多数のコンピューティング・デバイス上に分散してもよい。ネットワーク２０２は、サーバ・コンピューティング・デバイスとして動作することができる多数のコンピューティング・デバイス２０４Ａ−Ｄと、クライアント・コンピューティング・デバイスとして動作することができるコンピューティング・デバイス２１０−２１２とを含み、これらは有線及び／又は無線データ通信リンクを介して互いに通信するとともに他のデバイス又はコンポーネントと通信し、各通信リンクは、１つ又は複数のワイヤ、ルータ、スイッチ、送信機、受信機などを含む。

いくつかの実施形態において、認知システム２００及びネットワーク２０２は、１つ又は複数の認知システムユーザに対して、それぞれのコンピューティング・デバイス２１０−２１２を介して、質問処理及び回答生成（ＱＡ）機能を有効にする。他の実施形態において、認知システム２００及びネットワーク２０２は、要求処理及び認知応答生成を含むがそれらに限定されない他のタイプの認知動作を提供することができ、これは、所望の実装に応じて多くの異なる形態、例えば、認知的情報検索、ユーザの訓練／命令、医用画像データなどのデータの認知的評価など、を取ることができる。認知システム２００の他の実施形態は、図示されたもの以外のコンポーネント、システム、サブシステム、及び／又はデバイスと共に用いることができる。

いくつかの実施形態において、クライアント・コンピューティング・デバイス２１０及び２１２は、医療専門家が、患者についての医用画像研究を閲覧すること及び意思決定及び／又は患者の治療を支援するためのその他の認知動作を行うことを目的として認知システム２００にログオンするか又はそれ以外の方法でアクセスするための機構として用いることができる。例えば、超音波検査士又はその他の医用画像に関する内容領域専門家（ＳＭＥ）は、クライアント・コンピューティング・デバイス２１０を利用して、認知システム２００及び医用画像ビューア／レポート生成器アプリケーション２３０によって提供されるサービス及び機能にアクセスして、１人又は複数の患者についてコーパス２４０に格納された１つ又は複数の医用画像研究の医用画像及び／又は自動化心エコー計測値抽出システム１００によって医用画像から自動抽出された心エコー計測値を詳述する、対応するレポートを閲覧することができる。クライアント・コンピューティング・デバイス２１０のユーザは、医用画像を閲覧し、医用画像に注釈付けするための動作、患者の電子医療記録（ＥＭＲ）に注記を付すための動作、及び、認知システム２００を介して人間が医用画像の閲覧することに基づいて人間−コンピュータ相互作用を通じて行うことができるその他の多くの動作のいずれかを行うことができる。

上記のように、いくつかの例示的な実施形態において、認知システム２００は、種々の要求ソースから入力を受け取る処理パイプラインを実装するように構成することができる。要求は、自然言語の質問、自然言語の情報要求、自然言語の認知動作実行要求などの形で提示することができる。例えば、認知システム２００は、ネットワーク２０２、電子文書のコーパス２０６、認知システムユーザ、及び／又は他のデータ及び他の可能な入力ソースから入力を受け取る。１つの実施形態において、認知システム２００に対する入力の一部又は全部は、ネットワーク２０２を経由する。ネットワーク２０２上の種々のコンピューティング・デバイス２０４Ａ−Ｄは、コンテンツ制作者及び認知システムユーザに対するアクセスポイントを含む。コンピューティング・デバイス２０４Ａ−Ｄのいくつかは、データのコーパス２０６（これは図４において単なる例示の目的で別個のエンティティとして示されている）を格納するデータベース用のデバイスを含む。データのコーパス２０６の一部は、ネットワークに接続された１つ又は複数の他のストレージ・デバイス上、１つ又は複数のデータベース内、又は図４に明示的に示されていない他のコンピューティング・デバイス内に設けることもできる。ネットワーク２０２は、種々の実施形態においてローカルネットワーク接続及び遠隔接続を含み、認知システム２００は、ローカル及びグローバル、例えばインターネットを含むあらゆるサイズの環境で動作できるようになっている。

認知システム２００の要求処理パイプランは、入力された質問／要求をデータのコーパス２０６及び／又は２４０から得られた情報に基づいて処理するための複数の段階を含むことができる。パイプラインは、入力された質問又は要求に対する回答／応答を、入力された質問／応答の処理及びデータのコーパス２０６、２４０に基づいて生成する。いくつかの例示的な実施形態において、認知システム２００は、本明細書で説明する例示的な実施形態の機構で補強された、ニューヨーク州アーモンクのインターナショナル・ビジネス・マシーンズ・コーポレーションから入手可能なＩＢＭ Ｗａｔｓｏｎ（商標）認知システムとすることができる。ＩＢＭ Ｗａｔｓｏｎ（商標）認知システムのパイプラインに関する更なる情報は、例えば、ＩＢＭ社のウェブサイト、ＩＢＭレッドブック、並びに非特許文献１及び非特許文献２から入手することができる。

サーバ２０４Ａ−Ｃ及び／又はクライアント・コンピューティング・デバイス２１０−２１２の１つ又は複数は、当該分野で周知のように患者の医用画像データを取り込むために用いられる心エコー検査装置のような医用画像撮像装置２５０と関連付けることができる。取り込まれた医用画像は、コーパス２０６及び／又は２４０のような電子データのコーパスの一部などのストレージシステムに提供することができる。医用画像データは、医用画像の特性の更なる識別子を提供するために、装置及び／又は装置に関連付けられたコンピューティング・システムによって生成された関連付けられたメタデータ、例えば、ＤＩＣＯＭタグ、モードを指定するメタデータ、視点などを有することができる。

いくつかの例示的な実施形態において、ユーザは、図示した例においてはクライアント・デバイス２１２などのコンピューティング・デバイスに結合された心エコー検査装置２５０のオペレータとすることができ、クライアント・デバイス２１２は、ネットワーク２０２及び対応するサーバ２０４Ａを介して、コーパス２４０などのストレージに医用画像研究の一部として医用画像を提供する。認知システム２００は、実行中の医用画像研究を評価することができ、医用画像研究のタイプに基づいてどの計測値を医用画像から抽出すべきかを識別し、医用画像の視点と対応する心エコー計測値との間の関連に関してＣＮＮ１６０によって行われた学習を通じて、医用画像研究の一部としてどの医用画像を取り込む必要があるのかを判定することができる。これらの医用画像の取り込み及び医用画像研究から抽出される対応する計測値の抽出は、心エコー検査装置２５０によって医用画像研究が実行されているときに監視することができる。認知システム２００は、学習した医用画像の視点と対応する心エコー計測値との関連付けに基づいて自動化心エコー計測値抽出システム１００によってどの計測値を抽出することができたか及びできなかったかを判定することができる。さらに、認知システム２００は、欠落している計測値を提供するためにはどの医用画像、例えばどの視点をまだ取り込む必要があるかを判定することができる。さらに、ひとたび自動化心エコー計測値抽出システム１００によってすべての計測値を抽出することができると、認知システム２００は、更なる医用画像の取り込みは不要であることをさらに判定することができる。

認知システム２００は、コンピューティング・デバイス２１２を介してこれらの様々な判定の指示を人間である超音波検査士に提供することができる。このようにして、超音波検査士が患者の医用画像研究を行っているときに、どの医用画像視点をまだ取り込むことが必要なのか、どの計測値が既に抽出できたのか、及び医用画像研究がいつ完了するのかに関するフィードバックが超音波検査士に提供される。

図４に示すように、認知システム２００は、図１−図２に関して以前に説明した方式で動作するコンポーネント１２０−１８０を含む自動化心エコー計測値抽出システム１００と共に動作する。ニューラルネットワーク、サポートベクトルマシン、ランダムフォレストシステム、多層パーセプトロン（ＭＬＰ）などのような機械学習及び／又は深層学習機構を実装する様々なコンポーネント１２０−１８０は、例えばコーパス２４０において提供され得るような訓練用の医用画像データセット内の生画像と対になったアトラスを用いて訓練することができる。これらのアトラスは、ラベル付き又は注釈付き医用画像を含むことができ、それは人間の内容領域専門家によってラベル付け又は注釈付けされたものであってもよく、これらのラベル又は注釈は、これらの医用画像内に存在する解剖学的構造に関連付けられた心エコー計測値を含むことができる。いくつかの実施形態において、これらの訓練用医用画像データセットは、上記で引用した同時係属中の同一出願人による米国特許出願のＧＡＮベースの自動化機構のような自動化機構を用いて拡張することができる。

図１及び図２に関して上述したように、自動化心エコー計測値抽出システム１００は、心室の寸法、大動脈の寸法、静脈の寸法、及びその他の人間の心臓の構造といった解剖学的構造の物理的特性の物理的計測値を表す、心エコー計測値を出力することができる。計測値は、認知システム２００に提供され、認知システム２００は、医用画像と抽出された計測値に基づいて生成された対応する注釈又はラベルとを閲覧する、抽出された計測値を指定する対応する医用画像レポートを生成する、計測値に基づいてトリアージ動作を行うため、介入計画立案を行う、及び／又は治療推奨を生成する、様々な認知システム論理２３０−２３６を実装することができる。医用画像ビューア・アプリケーション２３０及び／又は他の認知動作機能論理２３２−２３６は、それぞれの動作を行うための１つ又は複数の認知システム要求処理パイプラインを実装することができる。場合によっては、各要素２３０−２３６は、他の処理パイプラインと並列に又は逐次的に動作してそれぞれの認知動作を行う、別々の要求処理パイプラインとすることができる。

医用画像ビューア・アプリケーション２３０は、医用画像を描画する論理を提供し、ユーザが、医用画像及び自動抽出された心エコー計測値に基づく対応する注釈又はラベルを閲覧すること、グラフィック・ユーザ・インタフェースなどを介してビューを操作することなどができるようになっている。医用画像ビューア・アプリケーション２３０は、医用画像情報をユーザに提示するための様々なタイプのグラフィック・ユーザ・インタフェース要素を含むことができ、そのうちのいくつかは、自動化心エコー計測値抽出システム１００による医用画像研究の医用画像から自動抽出された心エコー計測値を含むことができる。どの医用画像が本発明の機構によって抽出される心エコー計測値に影響する又はそれによって表される異常を示すかということの識別に基づいて、上記のように、個々の特定の患者について対応する最も顕著な又は関連した医用画像を医用画像ビューア・アプリケーション２３０を介して出力することができる。

いくつかの例示的な実施形態において、医用画像ビューア・アプリケーション２３０は、医用画像の描画を付加的な強調及び／又は注釈の特徴で補強して、医療関係者が注意を向けたいと望み得る医用画像の部分を識別すること、例えば異常領域を強調表示することなどが可能である。すなわち、正常／異常の分類、及び解剖学的構造における異常をより適切に代表する医用画像を医用画像ビューア・アプリケーション２３０を介して閲覧することに加えて、形状特徴の偏位（正常形状の形状特徴と比較した）を、認知システム２００の医用画像ビューア・アプリケーションによって描画される医用画像における強調表示に変換することができる。

例示的な実施形態の機構を用いて医用画像から抽出される心エコー計測値によって識別される、正常な形状からより高い偏位を有する医用画像の部分は、例示的な実施形態によって提供される情報に基づいて、医用画像ビューア・アプリケーションを介して、異なる色、陰影、目立つ注釈又はラベル付きで描画することができ、医療関係者に医用画像内の異常の位置が明らかに示されるようになっている。例示的な実施形態によって自動抽出される心エコー計測値から決定される様々なレベルの異常は、医療関係者の注意を医用画像のその部分に向けるために使用される、医用画像の部分のアクセントのタイプ、例えば異なる色、強調表示、注釈又はラベル内の文字又は数値の大きさ、点滅その他の視覚的アクセント技法、医用画像に付加される図形要素、例えば記号又は絵などで表すことができる。

いくつかの例示的な実施形態において、認知システム２００は、トリアージ認知論理２３２を含むことができ、これは、患者の医用画像を分類すること、及び自動化心エコー計測値抽出システム１００によって抽出される自動抽出された心エコー計測値に少なくとも部分的に基づいて患者の医学的状態の重篤度を格付けすることによって、トリアージ支援動作を行うことができる。この方式において、医用画像ビューア・アプリケーション２３０は、認知システム２００のトリアージ認知論理２３２によって自動的に制御することができ、例示的な実施形態によって抽出される自動抽出された心エコー計測値によって示されるような患者の医用画像の正常性の相対的な格付けのみに従って、又はそれに加えて、その他の患者症状の認知評価、例えば患者の電子医療記録（ＥＭＲ）データの評価、認知システム２００がインタフェースする他のコンピューティング・システム２０４Ａ−Ｃ又はクライアント・デバイス２１０−２１２によって記録される患者の他のバイタルサインなどに従って、患者の医用画像を出力する。

いくつかの例示的な実施形態において、治療推奨論理２３６を、認知システム２００によって実装することができ、これは、自動化心エコー計測値抽出システム１００によって抽出される自動抽出心エコー計測値を、コーパス２０６及び／又は２４０によって提供され得る１つ又は複数の患者の電子医療記録（ＥＭＲ）で提供されるような他の患者情報の認知処理と共に使用して、その患者の治療のために医療関係者に推奨される治療を判定することができる。治療推奨論理２３６は、コーパス２０６及び／又は２４０内の電子形態の医療情報の種々のソースにコード化された医療知識を、患者情報及び／又自動化心エコー計測値抽出システム１００によって抽出される自動抽出された心エコー計測値に適用して、種々の候補治療の適用可能性を判定することができる。候補治療をエビデンスデータに基づいて評価して、種々の候補治療に対して信頼性スコアを生成することができ、最終的に推奨される治療を、信頼性スコアに基づく候補治療の格付けに基づいて生成することができる。いくつかの実施形態において、自動化心エコー計測値抽出システム１００によって抽出される自動抽出された心エコー計測値は、様々な候補治療に対する信頼性スコアの計算の一部として、例えば、付加的な格付け変数、重み係数などとして使用することができる。

いくつかの例示的な実施形態において、自動化心エコー計測値抽出システム１００によって抽出される自動抽出された心エコー計測値は、認知システム２００の介入計画立案論理２３４によって使用され、患者の医学的状態の重篤度の相対的な格付けに基づいて、患者を治療するための処置及びサービスを計画立案する介入計画立案動作を行うことができる。例えば、上記でトリアージ認知論理２３２に関して論じたように、自動抽出された心エコー計測値は、認知システム２００によって用いられ、患者を相対的に格付けすることができる。介入計画立案論理２３４は、患者の医学的状態の相対的重篤度を識別し、医療関係者が患者を治療するスケジュールを立てる、必要な手順を行うための設備にアクセスするスケジュールを立てる、医療関係者が医学的処置を行うスケジュールを立てる、そのような医学的処置を行うために用いられる医療装置のスケジュールを立てる等のためのスケジューリングシステムといった、他の設備システムと相互作用する動作を行うことができる。これは、自動的に行うこともでき、及び／又はスケジューリングすること又はそれ以外の介入計画立案動作を行うことに関与する他の人間のユーザの支援を受けて半自動的に行うこともできる。例えば、潜在的にトリアージ認知論理２３２及び治療推奨論理２３６と相互作用する介入計画立案論理２３４は、特定の医学的処置のスケジュールを立てるよう関係者に対して要求を送ることができ、又はさらに進んで、どの設備、装置、及び人員が医学的処置を行うべきか決定して、具体的な要求をこれらの特定の設備、装置、及び人員に送ることができ、それに続くスケジューリングは人間の人員によって手動で行われる。

これらは、自動化心エコー計測値抽出システム１００によって抽出される自動抽出された心エコー計測値に基づいて行うことができる認知動作の単なる例であることを認識されたい。本発明の趣旨及び範囲から逸脱することなく、図４に示すタイプに加えて、又はその代わりに行うことができる他のタイプの認知動作を用いることができる。

上記のように、例示的な実施形態の機構は、コンピュータ技術に根差したものであり、そのようなコンピューティング又はデータ処理システム内に存在する論理を用いて実装される。これらのコンピューティング又はデータ処理システムは、上述の種々の動作を実装するように、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせのいずれかを通じて具体的に構成される。それゆえ、図５は、本発明の態様を実装することができるデータ処理システムの１つのタイプの例として提供される。多くの他のタイプのデータ処理システムを、例示的な実施形態の機構を具体的に実装するように構成することができる。

図５は、例示的な実施形態の態様を実装することができる例示的なデータ処理システムのブロック図である。データ処理システム３００は、図４のサーバ２０４Ａ−Ｄ又はクライアント２１０−２１２のようなコンピュータの一例であり、本発明の例証的な実施形態のためのプロセスを実装するコンピュータ使用可能コード又は命令が配置される。１つの例示的な実施形態において、図５は、サーバ２０４Ａのようなサーバ・コンピューティング・デバイスを表し、これは認知システム２００及び医用画像ビューア・アプリケーション２３０を実装し、サーバ２０４Ａはさらに、図１及び図４の正常性分類器１００を実装するように構成され、ハードウェア及び／又はソフトウェア論理を実行する。

図示した例において、データ処理システム３００は、ノースブリッジ及びメモリコントローラハブ（ＮＢ／ＭＣＨ）３０２及びサウスブリッジ及び入力／出力（Ｉ／Ｏ）コントローラハブ（ＳＢ／ＩＣＨ）３０４を含む、ハブアーキテクチャを使用する。処理ユニット３０６、主メモリ３０８、及びグラフィック・プロセッサ３１０がＮＢ／ＭＣＨ３０２に接続される。グラフィック・プロセッサ３１０が、アクセラレーテッド グラフィックス ポート（ＡＧＰ）を通じてＮＢ／ＭＣＨ３０２に接続される。

図示した例において、ローカル・エリア・ネットワーク（ＬＡＮ）アダプタ３１２が、ＳＢ／ＩＣＨ３０４に接続する。オーディオ・アダプタ３１６、キーボード及びマウス・アダプタ３２０、モデム３２２、読み出し専用メモリ（ＲＯＭ）３２４、ハードディスクドライブ（ＨＤＤ）３２６、ＣＤ−ＲＯＭドライブ３３０、ユニバーサルシリアルバス（ＵＳＢ）ポート及び他の通信ポート３３２、並びにＰＣＩ／ＰＣＩｅデバイス３３４は、バス３３８及び３４０を通じてバスＳＢ／ＩＣＨ３０４に接続する。ＰＣＩ／ＰＣＩｅデバイスは、例えばＥｔｈｅｒｎｅｔアダプタ、アドインカード、及びノートブックコンピュータ用のＰＣカードを含むことができる。ＰＣＩは、カードバスコントローラを使用し、ＰＣＩｅは使用しない。ＲＯＭ３２４は、例えば、フラッシュ・ベーシック入力／出力システム（ＢＩＯＳ）とすることができる。

ＨＤＤ３２６及びＣＤ−ＲＯＭドライブ３３０は、バス３４０を通じてＳＢ／ＩＣＨ３０４に接続する。ＨＤＤ３２６及びＣＤ−ＲＯＭドライブ３３０は、例えば、インテグレーテッド・ドライブ・エレクトロニクス（ＩＤＥ）又はシリアル・アドバンスト・テクノロジ・アタッチメント（ＳＡＴＡ）インタフェースを用いることができる。スーパーＩ／Ｏ（ＳＩＯ）デバイス３３６は、ＳＢ／ＩＣＨ３０４に接続される。

オペレーティングシステムは、処理ユニット３０６上で実行される。オペレーティングシステムは、図５のデータ処理システム３００内の種々のコンポーネントを連係し、制御を与える。クライアントとして、オペレーティングシステムは、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ １０（登録商標）のような市販のオペレーティングシステムである。Ｊａｖａ（商標）プログラミングシステムのようなオブジェクト指向プログラミングシステムをオペレーティングシステムと共に実行することができ、データ処理システム３００上で実行されるＪａｖａ（商標）プログラム及びアプリケーションからオペレーティングシステムに呼び出しを与える。

サーバとして、データ処理システム３００は、例えば、Ａｄｖａｎｃｅｄ Ｉｎｔｅｒａｃｔｉｖｅ Ｅｘｅｃｕｔｉｖｅ（ＡＩＸ（登録商標））オペレーティングシステム又はＬＩＮＵＸ（登録商標）オペレーティングシステムを実行する、ＩＢＭ（登録商標）ｅＳｅｒｖｅｒ（商標）Ｓｙｓｔｅｍ ｐ（登録商標）コンピュータシステムとすることができる。データ処理システム３００は、プロセッサユニット３０６内に複数のプロセッサを含む対称型マルチプロセッサ（ＳＭＰ）システムとすることができる。あるいは、単一のプロセッサシステムを使用することができる。

オペレーティングシステムに対する命令、オブジェクト指向プログラミングシステム、及びアプリケーション又はプログラムは、ＨＤＤ３２６などのストレージ・デバイス上に置かれ、処理ユニット３０６による実行のために主メモリ３０８にロードされる。本発明の例示的な実施形態のためのプロセスは、コンピュータ使用可能プログラムコードを用いて、処理ユニット３０６によって行われ、コンピュータ使用可能プログラムコードは、例えば主メモリ３０８、ＲＯＭ３２４、又は例えば１つ若しくは複数の周辺デバイス３２６及び３３０といった、メモリ内に置かれる。

図５に示されるバス３３８又はバス３４０のようなバスシステムは、１つ又は複数のバスで構成される。もちろん、バスシステムは、通信ファブリック又はアーキテクチャに取り付けられた異なるコンポーネント又はデバイス間のデータ転送を提供するあらゆるタイプの通信ファブリック又はアーキテクチャを用いて実装することができる。図５のモデム３２２又はネットワーク・アダプタ３１２のような通信ユニットは、データを送受信するために用いられる１つ又は複数のデバイスを含む。メモリは、例えば、図５の主メモリ３０８、ＲＯＭ３２４、又はＮＢ／ＭＣＨ３０２内で見られるようなキャッシュとすることができる。

当業者は、図４及び図５に示すハードウェアは実装に応じて変更することができることを認識するであろう。図４及び図５に示すハードウェアに加えて又はその代わりに、フラッシュ・メモリ、同等の不揮発性メモリ、または光ディスクドライブなどのような他の内部ハードウェア又はパイプラインデバイスを用いることができる。また、例示的な実施形態のプロセスは、本発明の趣旨及び範囲から逸脱することなく、上記のＳＭＰシステム以外のマルチプロセッサ・データ処理システムに適用することができる。

さらに、データ処理システム３００は、クライアント・コンピューティング・デバイス、サーバ・コンピューティング・デバイス、タブレット・コンピュータ、ラップトップ・コンピュータ、電話又は他の通信装置、パーソナルデジタルアシスタント（ＰＤＡ）などを含む多くの異なるデータ処理システムのいずれかの形態を取ることができる。いくつかの例示的な実施形態において、データ処理システム３００は、例えばオペレーティングシステムファイル及び／又はユーザ生成データを格納するための不揮発性メモリを提供するフラッシュ・メモリと共に構成された、ポータブル・コンピューティング・デバイスとすることができる。本質的に、データ処理システム３００は、アーキテクチャ上の制限なしで、いずれかの既知の又は今後開発されるデータ処理システムとすることができる。

図６は、１つの例示的な実施形態に従って医用画像の正常性分類を行うための例示的な動作を概説するフローチャートである。図６に概説される動作は、図１−図４に関して上述した心エコー計測抽出システム１００のような自動化心エコー計測値抽出システムによって実装することができる。図６に概説する動作は、様々な異なる視点を有する医用画像研究の医用画像から心エコー計測値を抽出することを目的としたものである。この動作は、種々の機械学習及び／又は深層学習機構が既に上述したようなやり方で訓練済であることを想定する。さらに、図６には示されていないが、抽出された心エコー計測値は、医用画像ビューア・アプリケーションによる医用画像描画、医用画像研究レポート生成を行うための基礎として用いることができ、及び／又は様々な認知動作を行うための基礎として用いることができる。

図６に示すように、動作は、心エコー計測値の抽出のための医用画像研究の一部として複数の医用画像を受け取ることによって開始する（ステップ４１０）。受け取った医用画像のモードを判定し（ステップ４２０）、医用画像の視点を分類する（ステップ４３０）。選択されたモード及び視点に基づいて医用画像のサブセットを選択し、ここで医用画像のサブセットは、様々な異なる視点を有することができる（ステップ４４０）。同じモードであるが様々な視点を有する選択された医用画像を訓練された畳み込みニューラルネットワークに入力し（ステップ４５０）、これは、医用画像に対して動作して、学習された医用画像視点と対応する心エコー計測値との間の関連付けに基づいて、医用画像から心エコー計測値を抽出する（ステップ４６０）。抽出された心エコー計測値は、次いで、抽出された心エコー計測値の報告及び／又は１つ又は複数の認知動作の実行のために、認知システム及び／又は医用画像ビューアに出力される（ステップ４７０）。動作は終了する。

上述のように、例示的な実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はハードウェア要素及びソフトウェア要素の両方を含む実施形態の形をとることができることを認識されたい。１つの例示的な実施形態において、例示的な実施形態の機構は、これらに限定されるものではないが、ファームウェア、常駐ソフトウェア、マイクロコード等を含むソフトウェア又はプログラムコードの形で実装される。

プログラムコードを格納及び／又は実行するのに適したデータ処理システムは、例えばシステム・バスなどの通信バスを介してメモリ要素に直接又は間接的に結合された少なくとも１つのプロセッサを含む。メモリ要素は、例えば、プログラムコードの実際の実行中に用いられるローカル・メモリ、大容量記憶装置、及び実行中に大容量記憶装置からコードを取り出さなければならない回数を減らすために少なくとも幾つかのプログラムコードの一時的なストレージを提供するキャッシュ・メモリを含むことができる。メモリは、これらに限定されるものではないが、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ・メモリ、ソリッド・ステート・メモリ等を含む種々のタイプのものとすることができる。

入力／出力すなわちＩ／Ｏデバイス（これらに限定されるものではないが、キーボード、ディスプレイ、ポインティング・デバイス等）は、直接システムに結合することもでき、又は介在する有線若しくは無線のＩ／Ｏインタフェース及び／又はコントローラ等を介してシステムに結合することができる。Ｉ／Ｏデバイスは、例えば、これらに限定されるものではないが、スマートフォン、タブレット・コンピュータ、タッチスクリーン・デバイス、音声認識デバイス等を通じて結合される通信デバイスのような、従来のキーボード、ディスプレイ、ポインティング・デバイス等以外の多くの異なる形をとることができる。いずれの周知の又は後で開発されるＩ／Ｏデバイスも、例示的な実施形態の範囲内にあることが意図される

ネットワーク・アダプタをシステムに結合させて、データ処理システムが、介在する私的ネットワーク又は公衆ネットワークを通じて他のデータ処理システム又は遠隔プリンタ若しくはストレージ・デバイスに結合できるようにすることもできる。モデム、ケーブル・モデム及びイーサネット・カードは、有線通信のためのネットワーク・アダプタの利用可能なタイプのうちのほんの数例である。これらに限定されるものではないが、８０２．１１ ａ／ｂ／ｇ／ｎ無線通信アダプタ、Ｂｌｕｅｔｏｏｔｈ無線アダプタ等を含む、無線通信ベースのネットワーク・アダプタを用いることもできる。いずれの周知の又は後で開発されるネットワーク・アダプタも、本発明の趣旨及び範囲内にあることが意図される。

本発明の説明が例証及び説明の目的のために提示されたが、これらは、網羅的であること、又は本発明を開示された形態に制限することを意図するものではない。当業者には、説明される実施形態の範囲の趣旨から逸脱することなく、多くの修正及び変形が明らかであろう。実施形態は、本発明の原理及び実際の適用を最もよく説明するため、及び、当業者が、考えられる特定の使用に適するものとして種々の変形を有する種々の実施形態において本発明を理解するのを可能にするために、選択され説明された。本明細書で用いられる用語は、実施形態の原理、実際の適用、又は市場に見られる技術に優る技術的改善を最もよく説明するため、又は、当業者が、本明細書に開示される実施形態を理解するのを可能にするために選択された。

１４２：医用画像
１６０：畳み込みニューラルネットワーク
１６１−１６５：畳み込みモジュール
１６６：畳み込み層
１６７：完全に接続された層
１６８：計測値ベクトル出力
２０４Ａ−Ｄ：サーバ・コンピューティング・デバイス
２１０−２１２：クライアント・コンピューティング・デバイス
２０４、２０６：コーパス
３００：データ処理システム

Claims (20)

1. 少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサによって実行されると前記少なくとも１つのプロセッサに自動化心エコー計測値抽出システムを実装させる命令を含む少なくとも１つのメモリとを含むデータ処理システムにおける方法であって、
   前記データ処理システム上で実行される前記自動化心エコー計測値抽出システムによって、１つ又は複数の医用画像を含む医用画像データを受け取ることと、
   前記自動化心エコー計測値抽出システムによって、前記１つ又は複数の医用画像を深層学習ネットワークに入力することと、
   前記深層学習ネットワークによって、前記１つ又は複数の医用画像を自動的に処理して、前記１つ又は複数の医用画像から抽出された心エコー計測値についての１つ又は複数の値を含む、被抽出心エコー計測値ベクトル出力を生成することと、
   前記深層学習ネットワークによって、前記被抽出心エコー計測値ベクトル出力を医用画像ビューアに出力することと、
   を含む、方法。
2. 前記１つ又は複数の医用画像は、患者の１つ又は複数のＢモード心エコー画像を含む、請求項１に記載の方法。
3. 前記１つ又は複数の医用画像を自動的に処理して被抽出心エコー計測値ベクトル出力を生成することは、前記１つ又は複数の医用画像に対して画像のセグメント化を行うことなく行われる、請求項１に記載の方法。
4. 前記深層学習ネットワークは、多層畳み込みニューラルネットワークを含む、請求項１に記載の方法。
5. 前記１つ又は複数の医用画像は、複数の医用画像を含み、前記複数の医用画像のうち少なくとも２つの医用画像は異なる視点を有しており、前記１つ又は複数の医用画像を自動的に処理して被抽出心エコー計測値ベクトル出力を生成することは、前記複数の医用画像の特徴ベクトルを連結することを含む、請求項１に記載の方法。
6. 前記深層学習ネットワークによって、前記被抽出心エコー計測値ベクトル出力を医用画像ビューアに出力することは、
   前記自動化心エコー計測値抽出システムによって、前記１つ又は複数の医用画像に、前記心エコー計測値についての１つ又は複数の値を含めるように注釈付けすることと、
   前記注釈付けされた１つ又は複数の医用画像を、前記医用画像ビューアを介して表示することと、
   をさらに含む、請求項１に記載の方法。
7. 前記深層学習ネットワークによって、前記被抽出心エコー計測値ベクトル出力を医用画像ビューアに出力することは、
   前記自動化心エコー計測値抽出システムによって、前記１つ又は複数の医用画像から抽出されることを要する各タイプの心エコー計測値に対して、当該タイプの心エコー計測値を生成するのに最適な視点をもたらす、対応する医用画像視点を識別することと、
   前記自動化心エコー計測値抽出システムによって、各タイプの心エコー計測値について、前記１つ又は複数の医用画像が前記最適な視点に対応する視点を有する少なくとも１つの医用画像を含むか否かを判定することと、
   をさらに含む、請求項１に記載の方法。
8. 前記深層学習ネットワークによって、前記被抽出心エコー計測値ベクトル出力を医用画像ビューアに出力することは、各タイプの心エコー計測値について、
   前記１つ又は複数の医用画像が前記最適な視点に対応する視点を有する少なくとも１つの医用画像を含んでいないことに応答して、ユーザに対して、患者の少なくとも１つの追加の医用画像を取り込むべきとの通知を出力するとともに、対応するタイプの心エコー計測値に対する前記最適な視点を指定すること、
   をさらに含む、請求項１に記載の方法。
9. 前記深層学習ネットワークによって、前記被抽出心エコー計測値ベクトル出力を医用画像ビューアに出力することは、
   前記自動化心エコー計測値抽出システムによって、前記１つ又は複数の医用画像から抽出されることを要する各タイプの心エコー計測値が前記１つ又は複数の医用画像から既に抽出されたか否かを判定することと、
   前記自動化心エコー計測値抽出システムによって、ユーザに対して、医用画像の取り込みが完了したことの通知を出力することと、
   をさらに含む、請求項１に記載の方法。
10. 医用画像から心エコー計測値を抽出するように、注釈付き訓練画像データセットに基づいて前記深層学習ネットワークを訓練すること、
    をさらに含む、請求項１に記載の方法。
11. コンピュータ可読プログラムを格納するコンピュータ可読ストレージ媒体を有するコンピュータプログラム製品であって、前記コンピュータ可読プログラムは、データ処理システム上で実行されたとき、前記データ処理システムに自動化心エコー計測値抽出システムを実装させ、前記自動化心エコー計測値抽出システムは、
    １つ又は複数の医用画像を含む医用画像データを受け取り、
    前記１つ又は複数の医用画像を深層学習ネットワークに入力し、
    前記深層学習ネットワークによって、前記１つ又は複数の医用画像を自動的に処理して、前記１つ又は複数の医用画像から抽出された心エコー計測値についての１つ又は複数の値を含む、被抽出心エコー計測値ベクトル出力を生成し、
    前記深層学習ネットワークによって、前記被抽出心エコー計測値ベクトル出力を医用画像ビューアに出力する、
    ように動作する、コンピュータプログラム製品。
12. 前記１つ又は複数の医用画像は、患者の１つ又は複数のＢモード心エコー画像を含む、請求項１１に記載のコンピュータプログラム製品。
13. 前記コンピュータ可読プログラムはさらに、前記自動化心エコー計測値抽出システムに、前記１つ又は複数の医用画像に対して画像のセグメント化を行うことなく、前記１つ又は複数の医用画像を自動的に処理して被抽出心エコー計測値ベクトル出力を生成させる、請求項１１に記載のコンピュータプログラム製品。
14. 前記深層学習ネットワークは、多層畳み込みニューラルネットワークを含む、請求項１１に記載のコンピュータプログラム製品。
15. 前記１つ又は複数の医用画像は、複数の医用画像を含み、前記複数の医用画像のうち少なくとも２つの医用画像は異なる視点を有しており、前記コンピュータ可読プログラムはさらに、前記自動化心エコー計測値抽出システムに、前記複数の医用画像の特徴ベクトルを連結することによって、前記１つ又は複数の医用画像を自動的に処理して被抽出心エコー計測値ベクトル出力を生成させる、請求項１１に記載のコンピュータプログラム製品。
16. 前記コンピュータ可読プログラムはさらに、前記自動化心エコー計測値抽出システムに、前記深層学習ネットワークによって、前記被抽出心エコー計測値ベクトル出力を医用画像ビューアに出力させ、それはさらに少なくとも、
    前記自動化心エコー計測値抽出システムによって、前記１つ又は複数の医用画像に、前記心エコー計測値についての１つ又は複数の値を含めるように注釈付けすることと、
    前記注釈付けされた１つ又は複数の医用画像を、前記医用画像ビューアを介して表示することと、
    によって行われる、請求項１１に記載のコンピュータプログラム製品。
17. 前記コンピュータ可読プログラムはさらに、前記自動化心エコー計測値抽出システムに、前記深層学習ネットワークによって、前記被抽出心エコー計測値ベクトル出力を医用画像ビューアに出力させ、それはさらに少なくとも、
    前記自動化心エコー計測値抽出システムによって、前記１つ又は複数の医用画像から抽出されることを要する各タイプの心エコー計測値に対して、当該タイプの心エコー計測値を生成するのに最適な視点をもたらす対応する医用画像視点を識別することと、
    前記自動化心エコー計測値抽出システムによって、各タイプの心エコー計測値について、前記１つ又は複数の医用画像が前記最適な視点に対応する視点を有する少なくとも１つの医用画像を含むか否かを判定することと、
    によって行われる、請求項１１に記載のコンピュータプログラム製品。
18. 前記コンピュータ可読プログラムはさらに、前記自動化心エコー計測値抽出システムに、前記深層学習ネットワークによって、前記被抽出心エコー計測値ベクトル出力を医用画像ビューアに出力するようにさせ、それはさらに少なくとも、
    前記１つ又は複数の医用画像が前記最適な視点に対応する視点を有する少なくとも１つの医用画像を含んでいないことに応答して、ユーザに対して、患者の少なくとも１つの追加の医用画像を取り込むべきとの通知を出力するとともに、対応するタイプの心エコー計測値に対する前記最適な視点を指定すること、
    によって行われる、請求項１１に記載のコンピュータプログラム製品。
19. 前記コンピュータ可読プログラムはさらに、前記自動化心エコー計測値抽出システムに、前記深層学習ネットワークによって、前記被抽出心エコー計測値ベクトル出力を医用画像ビューアに出力するようにさせ、それはさらに少なくとも、
    前記自動化心エコー計測値抽出システムによって、前記１つ又は複数の医用画像から抽出されることを要する各タイプの心エコー計測値が前記１つ又は複数の医用画像から既に抽出されたか否かを判定することと、
    前記自動化心エコー計測値抽出システムによって、ユーザに対して、医用画像の取り込みが完了したことの通知を出力することと、
    によって行われる、請求項１１に記載のコンピュータプログラム製品。
20. プロセッサと、
    前記プロセッサによって実行されたとき、前記プロセッサに自動化心エコー計測値抽出システムを実装させる命令を含む、前記プロセッサに結合されたメモリと、を含む装置であって、前記自動化心エコー計測値抽出システムは、
    １つ又は複数の医用画像を含む医用画像データを受け取り、
    前記１つ又は複数の医用画像を深層学習ネットワークに入力し、
    前記深層学習ネットワークによって、前記１つ又は複数の医用画像を自動的に処理して、前記１つ又は複数の医用画像から抽出された心エコー計測値についての１つ又は複数の値を含む、被抽出心エコー計測値ベクトル出力を生成し、
    前記深層学習ネットワークによって、前記被抽出心エコー計測値ベクトル出力を医用画像ビューアに出力する、
    ように動作する、装置。

Images