JP2020503142A - イメージングデータ及び組織情報を導出するためのニューラルネットワークを用いた超音波イメージングシステム - Google Patents

Abstract

いくつかの実施形態による超音波システムが、組織に向けて超音波パルスを送信し、超音波パルスに応答したエコー信号を生成するように構成された、超音波トランスデューサと、エコー信号を記憶するように構成された、チャネルメモリと、エコー信号に応答して、ビームフォーミングされた信号を生成するように構成された、ビームフォーマと、エコー信号又はビームフォーミングされた信号の１つ又は複数のサンプルを受信し、第１のタイプの超音波イメージングデータを生成するように構成された、ニューラルネットワークと、第２のタイプの超音波イメージングデータを生成するように構成されたプロセッサであって、１つ又は複数のプロセッサが、さらに、第１のタイプの超音波イメージングデータと、第２のタイプの超音波イメージングデータとに基づいて超音波画像を生成し、それと通信可能に結合されたディスプレイに超音波画像を表示させるように構成された、プロセッサとを備える。

Description

[001] 本開示は、生の超音波エコーからイメージングデータ、組織情報及び診断情報を導出するためのニューラルネットワークを利用する超音波システム及び方法に関する。

[002] 超音波は、診断、術前ケア及びプランニング、並びに術後患者モニタリングのための器官及び組織のリアルタイム非侵襲性イメージングを提供することができるので、超音波は、医療イメージングにおいて広く使用されているイメージングモダリティである。従来の超音波イメージングシステムでは、トランスデューサプローブが、画像化されるべき組織に向けて超音波を送信し、超音波に応答したエコーを検出する。（無線周波数又はＲＦ信号とも呼ばれる）収集されたエコー信号が、たとえば、生チャネルデータ（たとえば、複数のトランスデューサ要素からのＲＦ信号）、又はトランスデューサ要素のパッチの部分的にビームフォーミングされた信号を組み合わせて、完全にビームフォーミングされた信号にするビームフォーマと、ビームフォーミングされた信号から直交信号を抽出する復調器と、１つ又は複数のフィルタとを備える、一連の信号処理構成要素を通過して、画像データ（たとえば、２Ｄ又は３Ｄ超音波画像を生成するために使用されるピクセル情報）が生成される。解剖学的構造の超音波画像を提供することに加えて、既存の超音波システムは、エコー信号から追加情報を抽出するために、様々な他のタイプの処理を実施するように構成される。たとえば、多くの超音波システムは、一般に、解剖学的画像形成のための処理と並行して、フロー情報を提供するためのドップラーデータの抽出のために、ビームフォーミングされた信号を処理するように構成される。そうするために、従来のシステムは、エコー信号の複数の時間的に離間したサンプルからドップラー周波数を導出するための、特別に構成された信号プロセッサを利用する。他のシステムは、エラストグラフィ、ベクトルフローイメージング、及び様々な臨床適用例のために望ましい他のタイプのイメージングを実施するように構成される。これらの目的のために、従来のシステムは、信号及び画像処理ステップの特定のシーケンスを実施するように設計された、特殊化されたハードウェア構成要素（たとえば、事前プログラムされたプロセッサ）を備える。

[003] したがって、従来の超音波システムは、医療イメージングにおける著しい進歩を提供するが、依然として、さらなる改善から恩恵を受ける。たとえば、従来の信号処理構成要素は、モデルベースアルゴリズムに依拠し、それを実施し、そのうちのいくつかは不完全であり、したがって、近似を提供するにすぎない。事前プログラムされたアルゴリズムの制限、並びにハードウェアの制限が、従来のシステムの出力において画像アーチファクト又は他の欠点をもたらす。システムへの、特定のモデル又は信号処理経路の、ハード配線又は事前プログラミングにより、それは、ユーザのニーズに対する将来の改善及び適応に関してあまりフレキシブルでなくなる。したがって、この領域における改善は望ましい。また、現在の超音波システムは、概して、ユーザが、所望の関心解剖学的構造又は病状を正確に記録するために、超音波システムディスプレイを慎重に観察し、トランスデューサの動きを調整し、ユーザ制御を操作することを必要とする。所望の画像をキャプチャした後に、ユーザは、一般に、画像を検討し、特定の解剖学的構造又は病状に手動でアノテーションを付ける。したがって、画像及び／又は診断情報の品質を犠牲にすることなしに、超音波イメージングシステムの動作を簡略化するための技法も望ましい。

[004] 本開示は、生超音波エコー信号から、或いは完全に又は部分的にビームフォーミングされたＲＦ信号から、イメージングデータ、並びに／或いは、組織タイプ特徴づけ情報、定性又は定量診断情報、及び他のタイプの臨床的に関連する情報など、様々な他の組織情報を導出するためのニューラルネットワーク（たとえば、人工ニューロン又はノードの、機械トレーニングアルゴリズム又はハードウェアで実施されたネットワーク）を利用する、超音波システム及び方法に関する。いくつかの実施形態では、ニューラルネットワークは、局所データセットとも考えられる多次元（２次元以上）データセットを使用してパターンを分析することが可能な深層ニューラルネットワークであり、データセット内のデータのロケーションとデータ値とは、両方とも、分析された結果に寄与する。

[005] いくつかの実施形態による超音波システムが、組織に向けて超音波パルスを送信し、超音波パルスに応答したエコー信号を生成するように構成された、超音波トランスデューサと、エコー信号を記憶するように構成された、チャネルメモリと、エコー信号に応答して、ビームフォーミングされた信号を生成するように構成された、ビームフォーマと、エコー信号又はビームフォーミングされた信号の１つ又は複数のサンプルを受信し、第１のタイプの超音波イメージングデータを生成するように構成された、ニューラルネットワークと、第２のタイプの超音波イメージングデータを生成するように構成されたプロセッサであって、１つ又は複数のプロセッサが、さらに、第１のタイプの超音波イメージングデータと、第２のタイプの超音波イメージングデータとに基づいて超音波画像を生成し、それと通信可能に結合されたディスプレイに超音波画像を表示させるように構成された、プロセッサとを備える。

[006] いくつかの実施形態では、超音波イメージングシステムが、第２のタイプのイメージングデータとして、Ｂモードイメージングデータを生成し、第１のタイプのイメージングデータとして、ドップラーイメージングデータ、ベクトルフローイメージングデータ、エラストグラフィイメージングデータ、組織タイプ特徴づけデータ、流体を中に含んでいる解剖学的構造の壁せん断応力（ｗａｌｌ ｓｈｅａｒ ｓｔｒｅｓｓ）、組織組成データ、超音波造影剤情報、プラーク特徴づけデータ、Ｂモードイメージングデータに関連付けられた１つ又は複数の診断インジケータ、又はそれらの任意の組合せを生成するように構成される。

[007] いくつかの実施形態では、ニューラルネットワークは、深層ニューラルネットワーク（ＤＮＮ）又は畳み込みニューラルネットワーク（ＣＮＮ）を含む。いくつかの実施形態では、ニューラルネットワークは、ハードウェア、ソフトウェア、又はそれらの組合せで実施される。たとえば、ニューラルネットワークは、少なくとも部分的に、実行可能な命令を備えるコンピュータ可読媒体において実施され、実行可能な命令は、チャネルメモリ、ビームフォーマ、又はその両方に結合されたニューラルネットワークプロセッサによって実行されたとき、ニューラルネットワークプロセッサに、エコー信号又はビームフォーミングされた信号の１つ又は複数のサンプルに応答して第１のタイプの超音波イメージングデータを生成するための機械トレーニングアルゴリズムを実施させる。

[008] いくつかの実施形態では、ニューラルネットワークは、ニューラルネットワークへの入力として、記憶されたエコー信号又はビームフォーミングされた信号のサンプルを選択するように構成された、データ選択器を備える。いくつかの実施形態では、データ選択器は、データ選択器によって受信された制御信号に応答して、エコー信号のサンプル又はビームフォーミングされた信号のサンプルのいずれかを、ニューラルネットワークに選択的に結合するように構成される。いくつかの実施形態では、制御信号は、ユーザが、提供された入力のタイプとニューラルネットワークの対応する動作モードとを選択することを可能にするためになど、ユーザ入力に応答して生成される。いくつかの実施形態では、ニューラルネットワークは、入力としての補助データをさらに受信するように構成され、補助データは、超音波トランスデューサ構成情報、ビームフォーマ構成情報、媒体に関する情報、又はそれらの組合せを含む。そのような実施形態では、第１のタイプのイメージングデータは、補助データにさらに基づいて、ニューラルネットワークによって推定される。

[009] いくつかの実施形態では、ニューラルネットワークは、トレーニング入力及び知られている出力のアレイを受信するように構成されたトレーニングアルゴリズムに動作可能に関連付けられ、トレーニング入力は、画像化された組織の領域に関連付けられた、エコー信号、ビームフォーミングされた信号、又はそれらの組合せを含み、知られている出力は、画像化された組織の領域の知られているプロパティを含む。いくつかの実施形態では、トレーニングアルゴリズムは、超音波データを含むトレーニング入力とともに、超音波以外のイメージングモダリティを使用して取得された知られている出力を利用するように構成される。いくつかの実施形態では、ニューラルネットワークは、複数の動作モードのうちの１つに従って入力データを処理するように構成され、複数の動作モードのうちの１つは、ユーザ入力に応答して選択されるか、又はエコー信号の収集中に超音波システムのイメージングモードに基づいて超音波システムによって自動的に設定される。いくつかの実施形態では、ニューラルネットワークは、第２のタイプのイメージングデータを使用せずに、入力データに基づいて組織の脂肪含量を予測するように構成される。いくつかの実施形態では、ニューラルネットワークは、画像処理回路によって生成された直交信号を使用せずに、入力データの時間的に連続するサンプルに基づいて組織の解剖学的構造中に含まれている流体のフロープロパティを予測するように構成される。いくつかの実施形態では、ニューラルネットワークは、エコー信号のサンプルに基づいて、予測されたビームフォーミングされた信号を生成し、予測されたビームフォーミングされた信号を使用して、第１のタイプの超音波イメージングデータを生成するように構成される。

[010] いくつかの実施形態による超音波イメージングの方法が、超音波システムに動作可能に結合されたトランスデューサによって送信された超音波に応答したエコー信号を生成するステップと、チャネルメモリにエコー信号を記憶するステップと、チャネルメモリからの複数のエコー信号をビームフォーミングして、ビームフォーミングされた信号を生成するステップと、エコー信号、ビームフォーミングされた信号、又はそれらの組合せのサンプルを、エコー信号又はビームフォーミングされた信号のサンプルに応答して第１のタイプのイメージングデータを出力するようにトレーニングされたニューラルネットワークに結合するステップと、ビームフォーミングされた信号に応答して第２のタイプのイメージングデータを生成するように構成されたプロセッサに、ビームフォーミングされた信号を結合するステップと、第１のタイプのイメージングデータと第２のタイプのイメージングデータとに基づいて超音波画像を生成するステップとを有する。第１のタイプのイメージングデータと第２のタイプのイメージングデータの両方に応答して生成された超音波画像の１つ又は複数のフレームが、ディスプレイに、ストレージ（たとえば、永続ストレージ又はシネループメモリ）、或いはリアルタイム使用又は（たとえば、ニューラルネットワークの後でのトレーニングにおける）後での使用のための別のタイプの出力デバイスに提供される。いくつかの実施形態では、第２のタイプのイメージングデータは、Ｂモードイメージングデータであり、第１のタイプのイメージングデータは、フローイメージングデータ、組織剛性イメージングデータ、流体を中に含んでいる解剖学的構造の壁せん断応力、組織組成データ、超音波造影剤情報、プラーク特徴づけデータ、Ｂモードイメージングデータに関連付けられた１つ又は複数の診断インジケータ、又はそれらの組合せを含む。

[011] いくつかの実施形態では、エコー信号、ビームフォーミングされた信号、又はそれらの組合せのサンプルを、ニューラルネットワークに結合するステップは、画像化された組織の領域内のロケーションに対応する、エコー信号のサンプル又はビームフォーミングされた信号のサンプルを含む入力（たとえば、アレイ）を、ニューラルネットワークに結合するステップと、ニューラルネットワークを通してその入力を伝搬して、画像化された組織の領域内のロケーションに関連付けられたピクセルデータを推定するステップとを有する。いくつかの実施形態では、エコー信号、ビームフォーミングされた信号、又はそれらの組合せのサンプルを、ニューラルネットワークに結合するステップは、画像化された組織の領域内のロケーションから受信された、時間的に連続した送信及び受信サイクルからの、エコー信号のサンプル又はビームフォーミングされた信号のサンプルを含む入力を、ニューラルネットワークに結合するステップと、ニューラルネットワークを通してその入力を伝搬して、そのロケーションにおけるフローの速度を推定するステップとを有する。いくつかの実施形態では、上記方法は、ユーザ入力に応答して、エコー信号のサンプル又はビームフォーミングされた信号のサンプルのいずれかを、入力データとしてニューラルネットワークに選択的に結合するステップと、その入力データに基づいてニューラルネットワークの対応する動作モードを選択するステップとを有する。いくつかの実施形態では、上記方法は、ニューラルネットワークをトレーニングするステップをさらに有する。たとえば、上記方法は、ニューラルネットワークのトレーニングモード中に、ニューラルネットワークに、第２のタイプのイメージングデータの少なくともいくつかを提供するステップを有する。いくつかの実施形態では、上記方法は、超音波以外のイメージングモダリティによって取得されたイメージングデータを使用してニューラルネットワークをトレーニングするステップをさらに有する。

[012] 本明細書で説明される方法又はそれらのステップのいずれも、実行されたとき、医療イメージングシステムのプロセッサに、本明細書中で具現される方法又はステップを実施させる実行可能な命令を備える、非一時的コンピュータ可読媒体において具現される。

[013] 本発明の原理による、超音波システムのブロック図である。 [014] 遅延及び加算ビームフォーミング技法を示す図である。 [015] 本発明の原理による、ニューラルネットワークのための入力データ選択の態様を示す図である。 [016] 本発明の原理による、入力データ選択器のブロック図である。 [017] 本発明のさらなる原理による、入力データ選択器の別のブロック図である。 [018] 本発明の原理による、超音波画像を生成するプロセスの流れ図である。

[019] いくつかの例示的な実施形態の以下の説明は、本質的に例にすぎず、本発明或いはその適用例又は使用を限定することは決して意図されない。本システム及び方法の実施形態の以下の詳細な説明では、本出願の一部を形成し、説明されるシステム及び方法が実施される特定の実施形態が例として示される、添付の図面への参照が行われる。これらの実施形態は、当業者が本開示のシステム及び方法を実施することを可能にするために十分に詳細に説明され、本システムの趣旨及び範囲から逸脱することなく、他の実施形態が利用され得、構造的及び論理的変更が行われ得ることを理解されたい。その上、明快のために、本システムの説明を不明瞭にしないように、いくつかの特徴の詳細な説明は、それらが当業者に明らかであるとき、説明されない。したがって、以下の詳細な説明は、限定的な意味にとられるべきでなく、本システムの範囲は、添付の特許請求の範囲によってのみ定義される。

[020] 本開示による超音波システムは、従来の超音波イメージングにおけるいくつかの処理ステップをバイパスするために、ニューラルネットワーク、たとえば、深層ニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）などを利用する。いくつかの例では、ニューラルネットワークは、生チャネルデータ（すなわち、収集された無線周波数（ＲＦ）エコー信号）から、或いは、場合によっては、部分的に又は完全にビームフォーミングされた信号から、表示のための画像の特性を導出又は計算することが可能であるニューラルネットワーク（たとえば、ノードの機械トレーニングアルゴリズム又はハードウェアベースシステム）を取得するために、様々な現在知られている又は後で開発される機械学習技法のうちのいずれかを使用してトレーニングされる。ニューラルネットワークは、特殊なコンピュータコードの依拠によってではなく、データセットサンプルを分析することによって、データセットの特徴を認識するように一般化及びトレーニングされ得るという点で、ニューラルネットワークは、旧来の形態のコンピュータプログラミングアルゴリズムに勝る利点を提供する。ニューラルネットワークトレーニングアルゴリズムに適切な入力及び出力データを提示することによって、本開示による超音波システムのニューラルネットワークは、システム動作を案内するための物理的に導出されたモデルの必要なしに、画像データ（たとえば、フローイメージングデータ）を生成し、他のタイプの組織情報（たとえば、画像化された領域内の、組織内容又はタイプ、ひずみ／応力データ、特定の解剖学的構造の識別など）を導出するようにトレーニングされ得る。

[021] 図１は、本発明の原理による、例示的な超音波システムを示す。システム１００は、媒体に向けて超音波パルスを送信し、超音波パルスに応答したエコー信号を生成するように構成された超音波トランスデューサ１１３を備えるか、又はそれに動作可能に結合される。超音波システム１００は、収集されたエコー信号（生ＲＦ信号）を記憶するように構成されたチャネルメモリ１２１と、送信及び／又は受信ビームフォーミングを実施するように構成され、収集されたエコー信号に応答して生成されたビームフォーミングされた信号を記憶するように構成されたビームフォーマメモリ１２３を備える、ビームフォーマ１２２とを備える。いくつかの実施形態では、システム１００は、超音波システム１００によって生成された超音波画像を表示するためのディスプレイ１３８を備えるか、又はそれに通信可能に結合される。

[022] 超音波トランスデューサ１１３は、プローブ１１２、たとえば、ハンドヘルドプローブ、又はコンピュータによって少なくとも部分的に制御されるように構成されたプローブ（たとえば、機械作動プローブ）において提供される、超音波トランスデューサアレイ１１４を備える。いくつかの例では、アレイ１１４は、各々トランスデューサ要素のサブアレイを備える複数のパッチを使用して実施され、アレイ１１４は、画像化されるべき対象者に対して適合して配置されるように構成される。アレイ１１４は、関心領域に向けて超音波を送信し、関心領域（ＲＯＩ）を画像化するためのエコーを受信するように動作可能である。様々なトランスデューサアレイ、たとえば、線形アレイ、湾曲アレイ、又はフェーズドアレイが使用される。アレイ１１４は、たとえば、２Ｄ及び／又は３Ｄイメージングのためにエレベーション次元とアジマス次元の両方において走査することが可能なトランスデューサ要素の２次元アレイを備える。

[023] アレイ１１４は、プローブ１１２中に、又は超音波システムベース中に（たとえば、Ｐｈｉｌｉｐｓによって提供されるＳＰＡＲＱ又はＥＰＩＱ超音波システムなど、カートベースのシステム中に）位置するマイクロビームフォーマ１１６に結合される。マイクロビームフォーマ１１６は、アレイ１１４によって信号の送信及び受信を制御する。アレイ１１４は、一般にベース中に位置する送信／受信（Ｔ／Ｒ）スイッチ１１８に（ワイヤード又はワイヤレス接続を介して）結合されるマイクロビームフォーマ１１６を介して、超音波システムベースに結合される。Ｔ／Ｒスイッチ１１８は、たとえば、高エネルギー送信信号からメインビームフォーマ１２２を保護するために、送信と受信との間で切り替わるように構成される。いくつかの実施形態では、Ｔ／Ｒスイッチ１１８及びシステム中の他の要素の機能は、ＰＨＩＬＩＰＳによって提供されるＬＵＭＩＦＹシステムなど、ポータブルシステムに結合するように動作可能なプローブなど、プローブ内に組み込まれる。プローブ１１２は、ワイヤード又はワイヤレス接続を使用してベースに通信可能に結合される。プローブ４１２は、ワイヤード又はワイヤレス接続を使用してベースに通信可能に結合される。いくつかの実施形態では、トランスデューサ、チャネルメモリ、及びニューラルネットワークを記憶するハードウェアが、プローブ中に位置し得、ニューラルネットワークによって作成された画像を表示するためのディスプレイが、プローブに通信可能に結合され得る。たとえば、ディスプレイは、ケーブルを介してプローブに結合されるか、又は、ワイヤレス通信を介して結合され得、ワイヤレス通信では、プローブが、ディスプレイに画像データを送るためのワイヤレス送信機を備えることができる。いくつかの実施形態では、システムは、システムにおけるニューラルネットワークを完全に又は部分的にトレーニングするために、グラフィックス処理ユニット（ＧＰＵ）を備えることができる。たとえば、ＧＰＵは、トランスデューサ、チャネルメモリ、及びニューラルネットワークを記憶するハードウェアとともに、プローブ中に位置し得る。代替的に、ＧＰＵは、タブレット、又はスマートフォンなどの他のコンピューティングデバイス中に位置するなど、プローブとは別のところに位置し得る。

[024] 超音波トランスデューサ１１３は、画像化されるべき媒体（たとえば、組織）に向けて送信された超音波信号に応答したエコー信号を収集するように構成される。説明されたように、トランスデューサ１１３は、送信／受信コントローラ１２０からの制御の下で、媒体に向けて超音波のパルスを送信し、送信パルスに応答したエコーを検出することが可能な要素のアレイを備える。送信／受信コントローラ１２０は、（たとえば、マイクロビームフォーマ（μＢＦ）１１６を備えるトランスデューサの場合）トランスデューサ１１３による超音波信号の送信と、アレイの個々の要素又は要素のグループによる超音波エコー信号の受信とを制御する。送信／受信コントローラ１２０は、信号の送信及び受信を制御する際に、ユーザインターフェース１２４のユーザの動作から入力を受信する。ユーザインターフェース１２４は、コントロールパネル１４２など、１つ又は複数の入力デバイスを備え、これは、１つ又は複数の機械的コントロール（たとえば、ボタン、エンコーダなど）、タッチセンシティブコントロール（たとえば、トラックパッド、タッチスクリーンなど）、及び他の入力デバイスを含む。送信／受信コントローラ１２０によって制御される別の機能は、ビームがステアリングされる方向である。ビームは、アレイ１１４の送信側からまっすぐに（それに直角に）、又はより広い視野のために異なる角度でステアリングされる。超音波トランスデューサ１１３によって受信されたエコー信号は、収集されたエコー信号を受信及び記憶するチャネルメモリ１１０に結合される。チャネルメモリ１１０は、毎要素又は（マイクロビームフォーミングされた信号の場合）グループエコー信号（生ＲＦ信号又は単にＲＦ信号、或いは毎チャネルデータ（ｐｅｒ−ｃｈａｎｎｅｌ ｄａｔａ）とも呼ばれる）を記憶するように構成される。毎チャネルデータは、複数の送信／受信サイクルにわたってメモリ中で累積される。

[025] システム１００は、収集されたエコー信号を受信し、ビームフォーミングされたＲＦ信号を生成するように構成されたビームフォーマ１２２をさらに備える。ビームフォーマ１２２は、（たとえば、マイクロビームフォーマに関連付けられたトランスデューサの場合）トランスデューサのグループからの個々のエコー信号又は部分的にビームフォーミングされた信号を組み合わせて、完全にビームフォーミングされた信号にする。たとえば、ビームフォーマ１２２は、図２に示されているように、遅延及び加算ビームフォーミングを実施する。図２に示されているように、ビームフォーマ（たとえば、ビームフォーマ１２２）は、アレイの要素２０５によって検出される反射体２１０からのエコー２１１に対応する、毎チャネルＲＦ信号２０６を受信する。生ＲＦ信号２０６は、（２０９に示されているように）時間的にそれらを整合させるために適切な時間量２０７だけ遅延され、（２１５に示されているように）組み合わせられて、ビームフォーミングされたＲＦ信号又は加算されたＲＦ信号と呼ばれることもある、ビームフォーミングされた信号２１７になる。場合によっては、時間的に整合される信号は、それらが加算される前に、（２０８に示されている）ファクタで乗算される。場合によっては、マイクロビームフォーマが、たとえば、トランスデューサプローブ中に含まれ、これは、要素のパッチ（たとえば、所与の送信／受信サイクルにおいてエコーを検出する要素のサブセット）によって受信された信号の部分的なビームフォーミングを実施し、それにより、メインビームフォーマへのチャネル入力の数を低減する。そのような場合、メインビームフォーマ（たとえば、ビームフォーマ１２２）は、部分的にビームフォーミングされた信号から、視野内の走査線に対応する完全にビームフォーミングされた信号を生成する。いくつかの実施形態では、ビームフォーマ（及び／又は、備えられる場合、マイクロビームフォーマ）は、代替又は追加として、エコー信号からの情報を組み合わせ、組織からの後方散乱超音波エネルギーの画像ラインを形成するために、限定はしないが、すべて毎チャネルデータに対して動作する、相互相関を用いる二重アポダイゼーション、位相コヒーレンスイメージング、ｃａｐｏｎビームフォーミング及び最小分散ビームフォーミングを含む、他の技法を使用するように構成される。

[026] 再び図１を参照すると、ビームフォーマによって生成されたビームフォーミングされた信号は、１つ又は複数のタイプの超音波イメージングデータ、たとえば、走査された解剖学的構造のグレースケール画像（たとえば、Ｂモード画像）を生成するためのイメージングデータを生成するために、さらなるダウンストリーム信号処理構成要素（たとえば、プロセッサ１５０）に結合される。プロセッサ１５０は、超音波画像を生成し、超音波画像の表示のためのユーザインターフェースを提供するための、本明細書で説明される機能を実施するように特別に構成された、１つ又は複数のＣＰＵ、ＧＰＵ、及び／又はＡＳＩＣを含む、ソフトウェア及びハードウェア構成要素で実施される。いくつかの実施形態では、ビームフォーミングされた信号のサンプルは、代替又は追加として、フローイメージングデータ、組織弾性イメージングデータなど、１つ又は複数の他のタイプのイメージングデータを生成するようにトレーニングされるニューラルネットワーク１６０に結合される。プロセッサ１５０によって生成されたイメージングデータは、超音波画像を生成させるために使用され、超音波画像はまた、たとえば、以下でさらに説明されるニューラルネットワーク１６０から出力されたイメージングデータを含む。いくつかの実施形態では、ビームフォーミングされた信号は、それらが、（たとえば、ニューラルネットワークによる、及び／又は１つ又は複数の画像プロセッサによる）画像生成、又は組織特徴づけのために使用されるまで、１つ又は複数の送信／受信サイクルにわたってビームフォーマメモリ１２３に記憶される。

[027] 図１中の例に示されているように、システム１００は、プロセッサ１５０と総称される、１つ又は複数の処理構成要素を備え、これは、ビームフォーミングされた信号を受信し、超音波画像（たとえば、Ｂモード画像）を生成するための１つ又は複数のタイプのイメージングデータを生成するように構成される。たとえば、ビームフォーミングされた信号は、帯域通過フィルタ処理、デシメーション、Ｉ及びＱ成分分離、並びに高調波信号分離によってなど、様々なやり方でビームフォーミングされた信号を処理するように構成された信号プロセッサ１２６に結合される。信号プロセッサ１２６はまた、スペックル低減、信号コンパウンディング、及びノイズ除去など、追加の信号強調を実施する。処理された信号は、Ｂモードイメージングデータを生成するためのＢモードプロセッサ１２８に結合される。Ｂモードプロセッサ１２８は、身体中の構造のイメージングのために振幅検出を利用することができる。Ｂモードプロセッサ１２８によって生成された信号は、スキャンコンバータ１３０及びマルチプレーナリフォーマッタ１３２に結合される。スキャンコンバータ１３０は、所望の画像フォーマットで信号が受信された空間的関係に、信号を配置するように構成される。たとえば、スキャンコンバータ１３０は、２次元（２Ｄ）扇形フォーマット、或いはピラミッド形又は別様に整形された３次元（３Ｄ）フォーマットに信号を配置する。マルチプレーナリフォーマッタ１３２は、たとえば、米国特許第６，４４３，８９６号（Ｄｅｔｍｅｒ）に記載されているように、身体のボリューメトリック領域中の共通平面における点から受信されたエコーをその平面の超音波画像（たとえば、Ｂモード画像）に変換することができる。ボリュームレンダラ１３４が、たとえば、米国特許第６，５３０，８８５号（Ｅｎｔｒｅｋｉｎら）に記載されているように、所与の基準点から見た３Ｄデータセットの画像を生成する。

[028] さらに及び随意に、信号プロセッサ１２６からの信号は、ドップラーシフトを推定し、ドップラー画像データを生成するように構成されたドップラープロセッサ１４４に結合される。ドップラー画像データは、従来の二重Ｂモード／ドップラー画像を表示するための、Ｂモード（又はグレースケール）画像データでオーバーレイされるカラーフローデータを含む。いくつかの例では、ドップラープロセッサ１４４は、自己相関器など、ドップラー推定器を備え、速度（ドップラー周波数）推定が、ラグ１の自己相関関数の引数に基づき、ドップラーパワー推定が、ラグ０の自己相関関数の大きさに基づく。また、運動が、知られている位相領域信号処理技法（たとえば、ＭＵＳＩＣ、ＥＳＰＲＩＴなど、パラメトリック周波数推定器）、又は時間領域信号処理技法（たとえば、相互相関）によって推定され得る。速度推定器の代わりに、又はそれに加えて、加速度或いは時間的及び／又は空間的速度導関数の推定器など、速度の時間的又は空間的分布に関係する他の推定器が使用され得る。いくつかの例では、速度及びパワー推定値は、ノイズを低減するためのしきい値検出、並びに、セグメンテーション、及び、充填及び平滑化などの後処理を経る。速度及びパワー推定値は、次いで、カラーマップに従って表示カラーの所望の範囲にマッピングされる。ドップラー画像データとも呼ばれるカラーデータは、次いで、スキャンコンバータ１３０に結合され、ドップラー画像データは、所望の画像フォーマットに変換され、血流を含んでいる組織構造のＢモード画像上にオーバーレイされて、カラードップラー画像を形成する。

[029] さらに及び随意に、システム１００は、検出されたエコーに応答して生成された信号からビーム角非依存速度情報を抽出するように構成されたベクトルフロープロセッサ１４６を備える。たとえば、ベクトルフロープロセッサ１４６は、（たとえば、いかなる目的のためにもその開示が全体として参照により本明細書に組み込まれる「Ｒｅｃｅｎｔ ａｄｖａｎｃｅｓ ｉｎ ｂｌｏｏｄ ｆｌｏｗ ｖｅｃｔｏｒ ｖｅｌｏｃｉｔｙ ｉｍａｇｉｎｇ」、２０１１ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｕｌｔｒａｓｏｎｉｃｓ Ｓｙｍｐｏｓｉｕｍ、２６２〜２７１ページにＪｅｎｓｅｎらによって記載されているように）横振動法（ｔｒａｎｓｖｅｒｓｅ ｏｓｃｉｌｌａｔｉｏｎ ｍｅｔｈｏｄ）又は合成開口法を使用して、或いは任意の他の現在知られている又は後で開発されるベクトルフロー推定及びイメージング技法を使用して、画像化された身体構造（たとえば、血管）内のフローのビーム角非依存速度成分を推定するように構成される。

[030] Ｂモードプロセッサからのイメージングデータと同様に、これらの追加の随意の画像データプロセッサのうちのいずれかによって生成されたイメージングデータは、所望の画像フォーマット（たとえば、２次元（２Ｄ）扇形フォーマット、或いはピラミッド形又は別様に整形された３次元（３Ｄ）フォーマット）で、信号が受信された空間的関係に、信号を配置するためのスキャンコンバータ１３０と、身体のボリューメトリック領域中の共通平面における点から受信された信号のセットを抽出して、その平面の超音波画像にするためのマルチプレーナリフォーマッタ１３２とに結合される。３Ｄイメージングの場合、信号は、追加又は代替として、所与の基準点から見た３Ｄデータセットの画像を生成するボリュームレンダラ１３４に結合される。したがって、プロセッサ１５０は、望まれるように、Ｂモードイメージングデータ、ドップラーイメージングデータ、ベクトルフローイメージング（ＶＦＩ）データなどを生成するために、１つ又は複数の信号処理経路、回路、又は特別にプログラムされたソフトウェア構成要素を備え、これらのデータは、二重表示（たとえば、ドップラーデータとＢモードデータとのオーバーレイ、又はＢモードデータと応力／ひずみデータとのオーバーレイ）、又は三重表示（たとえば、Ｍモード画像又はスペクトルドップラー画像など、グラフィカル表示を示す第２の画像ウィンドウと同時に表示される、ある画像ウィンドウにおけるドップラーとＢモードとのオーバーレイ）のためにデータを組み合わせることを含む、所望の表示フォーマットで配置されることが理解されよう。

[031] 本発明の原理によれば、システム１００は、ニューラルネットワーク１６０を備える。ニューラルネットワーク１６０は、エコー信号の１つ又は複数のサンプル、ビームフォーミングされた信号の１つ又は複数のサンプル、又はそれらの組合せを入力として受信し、入力に応答して別のタイプの超音波イメージングデータを生成するように構成される。ニューラルネットワーク１６０は、（たとえば、ネットワークの人工ノードのためのハードワイヤード回路を使用する）ハードウェア構成要素、及び／又は（たとえば、１つ又は複数のプロセッサを機械トレーニングアルゴリズムを実施するようにプログラムする実行可能な命令を使用する）ソフトウェア構成要素で実施される。ニューラルネットワーク１６０は、ノードのネットワークを通して入力（たとえば、生エコー信号のサンプル及び／又はビームフォーミングされた信号のサンプル）を伝搬して、後でさらに表示のために処理される予測された又は推定されたイメージングデータを取得するようにトレーニングされる。場合によっては、ネットワークは、複数の動作モードのうちのいずれか１つにおいて動作するようにトレーニングされ、ネットワークの動作モードに応じて、同じ入力に応答して異なるタイプのイメージングデータを生成するか、又は他の組織情報を出力する。モードは選択的であり得る（たとえば、ユーザ入力に応答する、又はシステムによって自動的に選択される）。

[032] 説明されたように、ニューラルネットワーク１６０は、ハードウェアベース（たとえば、ニューロンが物理的構成要素によって表される）、又はソフトウェアベース（たとえば、ソフトウェアアプリケーションで実施されるニューロン及び経路）であり、ニューラルネットワークを所望の出力を生成するようにトレーニングするために、様々なトポロジー及び学習アルゴリズムを使用することができる。たとえば、ソフトウェアベースのニューラルネットワークは、命令を実行するように構成されたプロセッサ（たとえば、シングルコア又はマルチコアＣＰＵ、単一のＧＰＵ又はＧＰＵクラスタ、或いは並列処理のために配置された複数のプロセッサ）を使用して実施され、その命令は、コンピュータ可読媒体に記憶され、実行されたとき、プロセッサに、超音波画像を生成すること、及び／又は上記の識別された入力のうちの１つ又は複数から組織情報を出力することを行うための機械トレーニングアルゴリズムを実施させる。超音波システムは、超音波画像、及び／又は、アノテーションと、ニューラルネットワークによっても出力される組織情報と、他のグラフィカル構成要素とを含む追加のグラフィカル情報を、超音波システムのディスプレイ上の表示のためのディスプレイウィンドウにおいて配置するように動作可能である、ディスプレイ又はグラフィックスプロセッサを備える。いくつかの実施形態では、超音波画像及び組織情報は、さらに、報告目的で、又は（たとえば、ニューラルネットワークの性能を向上させ続けるための）将来の機械トレーニングのために、ピクチャアーカイビング通信システム（ＰＡＣＳ：ｐｉｃｔｕｒｅ ａｒｃｈｉｖｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ）或いは別のローカル又はリモート／ネットワークストレージデバイスなど、ストレージデバイスに提供される。またさらなる例では、ＰＡＣＳに記憶される、様々な異なるイメージングモダリティ（たとえば、磁気共鳴イメージング（ＭＲＩ）、コンピュータ断層撮影（ＣＴ）など）から取得されたイメージングデータは、代替又は追加として、ニューラルネットワークをトレーニングするために使用される。理解されるように、本開示によるシステムは、システム及びより詳細にはニューラルネットワークを、進行中のフィードバック及びトレーニングのために、トレーニングデータの（１つ又は複数の）ソース（たとえば、ストレージデバイス）に、及び／又は他の機械トレーニングシステムに結合する二方向通信リンクを備える。

[033] いくつかの実施形態では、ニューラルネットワーク１６０は、Ｂモードイメージングデータ以外のイメージングデータ及び／又は任意の所望の組織情報を生成するように特別に構成される。たとえば、ニューラルネットワークは、エコー信号及び／又はビームフォーミングされた信号から直接、フローイメージングデータ（たとえば、ビーム角依存又はビーム角非依存速度情報）を提供するようにトレーニングされ、一方、システムは、それとのオーバーレイのための解剖学的画像を、プロセッサ１５０における事前プログラムされた又はモデルベース処理構成要素を使用して生成する。Ｂモードイメージングデータは、次いで、フローイメージングデータと組み合わせられて（この場合、オーバーレイされて）、グレースケール解剖学的画像上にカラーコード化されたフローマップを示す（又はＶＦＩの場合、ベクトル場を示す）従来のドップラー画像と同様の超音波画像を生成する。他の実施形態では、ニューラルネットワークは、エコー信号及び／又はビームフォーミングされた信号から直接、エラストグラフィイメージングデータ（たとえば、組織剛性情報）を提供するようにトレーニングされ、一方、システムは、それとのオーバーレイのための解剖学的画像を、プロセッサ１５０における事前プログラムされた又はモデルベース処理構成要素を使用して生成する。従来のエラストグラフィでは、組織剛性情報は、フロー情報が表示のためにカラーコード化されるのと同様のやり方でカラーコード化される。本例では、エラストグラフィイメージングデータ（たとえば、組織剛性情報）は、Ｂモードプロセッサによって出力されたＢモードデータに基づいて生成された解剖学的画像の表示のための所望のフォーマットで組織剛性情報を配置するために、プロセッサ１５０に（たとえば、スキャンコンバータ及びマルチプレーナリフォーマッタ又はボリュームレンダラに）結合される。他のタイプのイメージングデータ及び／又は組織情報は、ニューラルネットワークが標準画像形成技法及びダウンストリーム信号処理に対する依拠をバイパスすることによって、エコー信号及び／又はビームフォーミングされた信号から直接推定される。このようにして、ニューラルネットワークによって出力されるイメージングデータ及び／又は組織情報は、画像アーチファクトによって悪影響を及ぼされず、したがって、特に経時的なニューラルネットワークのさらなるトレーニングを伴って、より正確である。そのうちのいくつかが以下でさらに説明される、様々な臨床適用例におけるイメージングデータ及び組織情報を生成するためのニューラルネットワークの使用が、本明細書の例に従って実施される。

[034] 本開示によるニューラルネットワーク１６０をトレーニングするために、入力アレイ及び出力分類の複数のインスタンスを含むトレーニングセット｛Ｘｉ，Ｙｎ｝が、ニューラルネットワーク１６０の（１つ又は複数の）トレーニングアルゴリズム（たとえば、Ｋｒｉｚｈｅｖｓｋｙ，Ａ．、Ｓｕｔｓｋｅｖｅｒ，Ｉ．及びＨｉｎｔｏｎ，Ｇ．Ｅ．「ＩｍａｇｅＮｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」、ＮＩＰＳ ２０１２又はその派生物で記載されている、ＡｌｅｘＮｅｔトレーニングアルゴリズム）に提示される。トレーニングデータセットにおいて、入力データ［Ｘｉ］は、たとえば、図３に示されているように、随意に、以下でさらに説明される補助データとともに、毎チャネルエコー信号を含み、出力データ［Ｙｉ］は、エコー信号のサンプルに対応する、組織の任意の知られているプロパティ（たとえば、血流又は他の組織運動イメージングの場合の知られている速度、知られているひずみ／応力値、或いは解剖学的構造イメージング情報を生成するためのエコー強度データなど）を含む。トレーニングデータセットの入力［Ｘｉ］及び出力［Ｙｉ］データは、従来の超音波イメージングのための構成要素を備える超音波イメージングシステム、又は別のタイプのイメージングモダリティのために構成されたイメージングシステム（たとえば、ＭＲＩスキャナ、ＣＴスキャナなど）によって収集される。いくつかの実施形態では、システム１００は、組み合わせられた画像を生成する際に使用するための、又はニューラルネットワーク１６０に関連付けられたトレーニングアルゴリズムに追加のトレーニングセットを提供するための、入力及び出力データセットを収集するために、従来のビームフォーミング、信号及び画像処理構成要素をも備える。たとえば、異なるタイプの組織が、トランスデューサを使用して走査され（たとえば、超音波的に走査され）、トランスデューサは空間的局在化システム（たとえば、ＥＭ又は超音波追跡プローブ）に動作可能に関連付けられ、これは、走査されている組織の関心点又は関心領域を出力データ（たとえば、トレーニングセットにおける出力として使用されるべきイメージングデータ及び／又は組織特徴づけ情報）に空間的に相関させることができる。さらなる例では、ニューラルネットワーク１６０は、（Ｊ．Ａ．Ｊｅｎｓｅｎ、Ａ Ｍｏｄｅｌ ｆｏｒ ｔｈｅ Ｐｒｏｐａｇａｔｉｏｎ ａｎｄ Ｓｃａｔｔｅｒｉｎｇ ｏｆ Ｕｌｔｒａｓｏｕｎｄ ｉｎ Ｔｉｓｓｕｅ、Ｊ．Ａｃｏｕｓｔ．Ｓｏｃ．Ａｍ．８９、１８２〜１９１ページ、１９９１で記載されているように）Ｆｉｅｌｄ ＩＩプログラムなど、好適な超音波シミュレーションを使用してトレーニングされ、これは、超音波トランスデューサ及び送信されたパルスのジオメトリに関するデータとともに、画像フィールドにおける散乱体を表す点の空間的分布を入力としてとり、（シミュレートされたエコーとも呼ばれる）毎要素エコー信号を表す算出された超音波データを出力する。システム１００は、たとえば、シミュレートされたエコーと、トランスデューサに関する補助データと、空間中の１つ又は複数の所与の点に対する送信されたパルスとを使用することによって、トレーニング目的で、このタイプのデータを使用し、入力トレーニングデータ［Ｘｉ］としてニューラルネットワークにそれらを提示し、対応する出力データ［Ｙｉ］は、シミュレーションからの散乱体密度である。他のアルゴリズム又は技法が、追加又は代替として、ニューラルネットワーク１６０をトレーニングするために使用される。また、述べられたように、場合によっては、出力データ（たとえば、イメージングデータ及び／又は組織の知られているプロパティ）は、超音波とは異なるイメージングモダリティ、たとえば、ＭＲＩ、ＣＴなど、又はそれらの任意の組合せを使用して取得される。したがって、ニューラルネットワーク１６０は、イメージングデータ、及び、ある場合には、直接ＲＦ信号からの従来の超音波画像処理を通して別様に可能であるものよりも高い品質（たとえば、より高い解像度）の画像を生成するようにトレーニングされる。

[035] 関連付けられたニューラルネットワークトレーニングアルゴリズムは、入出力関係の明示的モデル（たとえば、既存の超音波システムの従来のビームフォーマ、信号プロセッサ又はイメージングデータプロセッサで一般に実施される、事前プログラムされた物理学ベースのモデル）に対する依拠なしに、生測定データ（すなわち、生エコー又はビームフォーミングされたＲＦ信号）に基づいてイメージングデータ又は様々な組織プロパティを直接推定又は出力するようにニューラルネットワーク１６０をトレーニングするために、数千、さらには数百万のトレーニングデータセットを提示される。すなわち、数百、数千、又は数百万のトレーニングデータセットは、様々なトポグラフィ又はモデルのうちのいずれか１つに従って配置される人工ニューロン又はノードのネットワークを開発するために機械学習アルゴリズムに提示される。ニューラルネットワークのニューロンは、一般に、層で結合され、信号は、最初の（入力）層から最後の（出力）層に進む。現代のニューラルネットワーク及びトレーニングアルゴリズムにおける進歩に伴って、数十万から数百万のニューロン又はノード、及びそれらの間の結合を含むニューラルネットワークが開発される。ニューラルネットワーク１６０における人工ニューロンの信号及び状態は、一般に実数、一般に０から１の間であり、しきい値関数又は制限関数が、各結合及び／又はノード自体に関連付けられ、そのため、信号は、伝搬する前に、しきい値／制限に等しいか又はそれを超えなければならない。

[036] トレーニングプロセスの出力は、（たとえば、ニューラルネットの層を通る伝搬を制御するしきい値又は制限関数を調整するために）動作中にニューラルネットワーク１６０によって使用される、（結合又はノード重みとも呼ばれる）重みのセットである。トレーニングされると、ニューラルネットワーク１６０は、任意の入力アレイ、Ｘｋに対して動作し、１つ又は複数の出力値を生成するように構成され、１つ又は複数の出力値は、Ｘｋが出力セットＹｎのメンバーである（たとえば、エコー信号のサンプルが、ピクセル画像データのセットに対応する）確率又は信頼性推定値として大まかに解釈され得る。出力セット、Ｙｎはまた、数値範囲を表すことができる。このようにして、ＲＦ信号のセットは、ニューラルネットワーク１６０への入力として提供され、そのＲＦ信号のセットは、媒体内の所与の空間的ロケーションのサブセット（たとえば、画像化された組織における関心領域）に対応し、ニューラルネットワークは、所与の空間的ロケーションにおける画像の一部分を生成するための対応するピクセルデータのセットを出力として提供する。いくつかの例では、ニューラルネットワークの重みを変更することによって、このシステムは、多種多様な異なる特性の画像を生成するように動的に再構成され得る。いくつかの実施形態では、ニューラルネットワーク１６０は、深層学習、又は単に深層ニューラルネットワーク（ＤＮＮ）、及び／或いは適応ニューラルネットワークである。いくつかの実施形態では、完全畳み込みネットワーク（ＦＣＮ）とも呼ばれる深層畳み込みニューラルネットワーク（深層ＣＮＮ）など、深層ニューラルネットワーク（ＤＮＮ）は、ピクセルごとに画像内の物体を局所化するために使用される。例では、入力トレーニングアレイ、Ｘｉは、画像における関心領域中の点を囲む任意の所望のタイプの画像データ（たとえば、フロー画像データ、エラストグラフィ画像データ）から形成される。各トレーニングアレイは、当該の出力点又はピクセルのセットメンバーシップに基づいて、１つ又は複数の出力セット又は値に分類される。したがって、超音波システム１００は、場合によっては、従来の信号処理を通して導出されるエコー強度情報と組み合わせて、超音波画像を生成するためのイメージングデータを出力するために、少なくとも部分的にいくつかの従来の信号処理をバイパスするように構成される。むしろ、ニューラルネットワークによって出力されるイメージングデータを形成する値の推定又は予測が、ニューラルネットワーク内で暗黙的に遂行される。

[037] 血流及び／又は造影イメージングの例では、時間的側面が、ニューラルネットワークのトレーニングにおいて考慮される。図３に示されている超音波エコー、ｅｉが、複数の超音波送信受信サイクルにわたって収集されたデータを含むように選択される場合、本明細書で説明されるトレーニングプロセスは、複数の送信イベントからのエコーの空間的及び時間的特性に基づいて、異なる組織タイプを区別するために使用される。そのようにして、ニューラルネットワークは、動いている組織（たとえば、血流）及び／又は造影剤に関連付けられたイメージングデータを生成するようにトレーニングされる。さらに、ニューラルネットワークが、イメージングカテーテル上で支持されたアレイから収集されたエコーに対して動作するときなど、脈管内超音波（ＩＶＵＳ）イメージングの例では、ニューラルネットワークは、複数のフレームからの毎チャネルエコーデータをトレーニング入力（ｘｉ）とし、対応する（場合によっては手動で）セグメント化された画像データ（組織／血液）をトレーニング出力（ｙｉ）として、ニューラルネットワークをトレーニングすることによって、２Ｄエコー画像データから、流れている血液を識別及び局所化するようにトレーニングされる。複数の送信／受信サイクルにわたって収集されたエコー信号及び／又はビームフォーミングされた信号は、他の血流又は他の動いている組織の検出及びイメージング適用例のために使用される。

[038] 説明されたように、ニューラルネットワーク１６０の出力は、従来の信号処理技法によって生成されたイメージングデータと組み合わせるために、プロセッサ１５０に結合される。たとえば、ニューラルネットワーク１６０の出力は、ニューラルネットワークから受信されたピクセルデータのサブセットをそれらの空間的属性に基づいて配置し、イメージングデータを所望のフォーマット（たとえば、２Ｄ又は３Ｄ超音波画像）で提示するために、スキャンコンバータ１３０及びマルチプレーナリフォーマッタ１３２及び／又はボリュームレンダラ１３４に結合される。いくつかの例では、ニューラルネットワークによって提供されたイメージングデータ（たとえば、ピクセルデータ）又は組織情報は、たとえば、カラーフロー、ベクトルフロー、又はエラストグラフィ画像のフルフレームを構成するのに足りる十分な量のピクセルデータがニューラルネットワークによって出力されるまでバッファされている。いくつかの例では、プロセッサ１５０に出力データを渡すより前に、ニューラルネットワークの出力は、出力データのいくつかの空間的及び／又は時間的特性を強調するために空間的及び時間的に出力データを処理するように構成されたデータ調整器１６４を通過する。いくつかの例では、データ調整器１６４は、多重解像度画像処理を実施するように構成される。

[039] ニューラルネットワークによって生成されたイメージングデータが、プロセッサ１５０によって生成されたイメージングデータと組み合わせられると、そのデータは、前に説明されたように、最終画像を向上させ、及び／又はアノテーションを追加するための従来の様式でさらに処理される。（１つ又は複数の）超音波画像は、たとえば、ユーザインターフェース１２４のディスプレイユニット上に、リアルタイムで表示され、画像の時間的シーケンスを表示するためにシネループメモリにバッファされ、及び／或いはストレージデバイス又は印刷システムにエクスポートされる。記憶された超音波画像（又は事前にフォーマットされた／事前にアノテーションを付けられたイメージングデータ）は、後での分析及び診断、報告への包含のために、並びに／又はトレーニングデータとして使用するために取り出される。超音波イメージングデータは、走査されている組織の解剖学的構造又は特性に関する追加の定量及び／又は定性情報を抽出するために、従来の技法を使用してさらに処理される。

[040] いくつかの実施形態では、（たとえば、チャネルメモリ１１０又はビームフォーマメモリからの）ＲＦ信号は、入力データ選択器１６２を介してニューラルネットワーク１６０に結合される。入力データ選択器１６２は、イメージング視野中の各関心点又は関心領域（ＲＯＩ）について、トランスデューサアレイの要素の各々又はサブセットから、ｍ個のＲＦ信号サンプル（たとえば、エコー信号サンプル）の対応するアレイを選択するように構成される。いくつかの例では、入力データ選択器１６２は、ＲＦ信号のサンプルの中心が、往復時間遅延に、したがって関心深度にほぼ対応するようにサンプルを選択するように構成される（たとえば、図３参照）。図３中の例に示されているように、エコー信号ｅ_ｉのｍ個のサンプル（すなわち、ｅ_１、ｅ_２、ｅ_３、．．．ｅ_ｎによって表される毎チャネルデータ）が、関心深度に対応するそれぞれの中心を有することに基づいて選択されたことが示されている。いくつかの例では、データセグメント長が、関心深度を囲む各エコーからの情報を含むのに十分長い限り、エコーセグメント内で関心深度を中心とすることは厳密には必要でない。いくつかの実施形態では、したがって、データ選択器１６２は、画像化された組織の領域内の隣接点に関連付けられた、収集されたエコー信号からエコー信号のサブセットを選択するように構成される。適切な入力データセットの選択の後に、イメージング及び他の組織データ抽出が、従来のビームフォーミングに対する依拠なしにニューラルネットワーク１６０によって暗黙的に実施される。

[041] いくつかの例では、ニューラルネットワーク１６０は、入力データタイプ（たとえば、毎チャネルデータ、ビームフォーミングされた信号、直交データ、イメージングデータ、又はそれらの組合せ）に少なくとも部分的に基づいて、複数のモードで動作するようにトレーニングされる。たとえば、ビームフォーミングされたＲＦ信号を使用するとき、たとえば、ＲＯＩに対応する（単一又は複数の送信／受信サイクルにわたる）ビームフォーミングされたＲＦ信号の適切なサンプルを選択するように構成された入力データ選択器１６２を介して、ビームフォーミングされたＲＦ信号の選択されたサンプルが、ニューラルネットワーク１６０に結合される。そのような例では、毎チャネル信号の代わりに、又はそれに加えて、サンプル選択器は、関心領域からの走査線並びに近接する照準線に対応するＲＦ信号のサンプルを選択するか、又はそれらは、連続する送信イベントから生成された走査線に対応するビームフォーミングされたＲＦ信号を表すことができる。したがって、ビームフォーミングされたＲＦ信号の入力アレイに対応する走査線に対する超音波イメージングデータは、ビームフォーミングされたＲＦ信号から直接ニューラルネットワークによって暗黙的に推定され得る。

[042] 入力データ選択器１６２は、さらに、ニューラルネットワーク１６０の適切な動作モードをアクティブにするように構成され、これは、ユーザ入力に応答したものであるか、又はエコー信号の収集中のイメージングモードに基づく事前プログラムされたデフォルト値である（たとえば、フローイメージング、エラストグラフィなど）。図４及び図５は、入力データのタイプ及びサンプルを選択し、並びに／又はニューラルネットワークの適切なモードをアクティブにするために、ニューラルネットワーク１６０に動作可能に関連付けられた、入力データ選択器４６２及び５６２の例を示す。入力データ選択器４６２又は５６２は、図１中の例示的なシステムのデータ選択器１６２を実施するために使用される。

[043] たとえば、図４を参照すると、入力データ選択器４６２は、制御信号に応答して、データのタイプ（たとえば、エコー信号又はビームフォーミングされた信号）をニューラルネットワークに選択的に結合する、入力タイプ選択器を備える。制御信号は、ユーザ入力に基づいて生成される。入力データ選択器４６２は、前に説明された選択されたタイプの信号の適切なサンプルを選択及び結合する、サンプル選択器を備える。そのために及び図５中の例に示されているように、入力タイプ選択器５６４は、モード選択器５６５とスイッチ５６７とを備える。モード選択器５６５は、制御信号を受信し、スイッチに選択（Ｓｅｌ）信号を送って、適切なタイプの入力データのサンプルをニューラルネットワーク１６０に選択的に結合する。さらに、入力データ選択器５６２は、たとえば、（たとえば、モード選択器５６５から）ニューラルネットワーク１６０にモード制御信号を送信することによって、ニューラルネットワークの適切なモードをアクティブにするように構成される。

[044] いくつかの実施形態では、ニューラルネットワーク１６０は、取得されることが望まれるイメージングデータ又は組織情報のタイプにさらに基づいて、１つ又は複数の異なるモードで動作するようにトレーニングされる。説明されたように、ニューラルネットワーク１６０は、同じ入力に応答して異なるタイプのイメージングデータを出力するように構成され得る。これらの異なるタイプのイメージングデータ又は組織情報の各々について、ネットワークはトレーニングされ、したがって、異なる伝搬経路（たとえば、適切なトレーニングを通して開発されたノードの層及び結合）を備え、伝搬経路又はモードは、ユーザによって選択されるか、或いはイメージングモード又は適用例（たとえば、血流イメージング、胎児超音波イメージングなど）に応じてシステムによって自動的に呼び出される。

[045] いくつかの実施形態では、本開示による超音波システムのニューラルネットワークは、たとえば、トレーニングフェーズ中にニューラルネットワークに、たとえば、従来の超音波イメージングを通して、又は異なるモダリティを使用するイメージングを通して取得された、入力及び知られている出力の適切なトレーニングデータセットを提示することによって、たとえば、脂肪含量、プラークを特徴づけるために、又は超音波造影イメージングのために、超音波組織特徴づけを実施するように構成される。

[046] たとえば、超音波肝臓イメージングでは、超音波減衰及び後方散乱（すなわち、組織のエコー源性）が、脂肪含量に比例して増加し、超音波の速度が、対応して低減する。ビームフォーミングされたＲＦエコーからの超音波減衰、エコー源性及び／又は速度を定量化し、この減衰を脂肪含量と相関させることによって、肝臓（或いは他の適用例における他の組織又は器官）の脂肪含量の推定が、超音波を用いて実施される。そのようなシステムの顧客向け出力は、定量的（たとえば、画像化された組織内の脂肪部分を表す単一の値）であり、これは、（たとえば、特定の関心点又は関心領域について）解剖学的構造の画像上に表示されるか、或いは、それは、図式的に表され、血流又はエラストグラフィ情報の従来のオーバーレイと同様に、各定量値がカラーコード化され、肝臓（或いは他の器官又は組織）の２Ｄ画像又は３Ｄボリュームレンダリング上にオーバーレイされる。

[047] 組織内容（たとえば、脂肪含量）に関係する組織情報を抽出するようにニューラルネットワークをトレーニングするために、ニューラルネットワークは、トレーニングデータセットを提示され、このトレーニングデータセットは、局所生ＲＦ信号及び／又はビームフォーミングされたＲＦ信号を入力として、対応する定量化された組織パラメータ（たとえば、脂肪含量又は他のタイプの組織内容）を知られている出力として含み、対応する定量化された組織パラメータは、上記の超音波定量化方法を介して、或いは画像化される組織の組織内容を決定することが可能な他のイメージング又は非イメージングプロセスを通して取得される。適切にトレーニングされると、ニューラルネットワークは、トレーニングデータを最初に取得するために使用される超音波定量化方法に対する依拠なしに、生ＲＦ信号及び／又はビームフォーミングされたＲＦ信号から直接、この情報を暗黙的に抽出するように動作可能である。

[048] 別の例では、プラーク特徴づけが、プラーク組成のカラー化された組織マップにルーメン及び管測定値を提供するために脈管内超音波（ＩＶＵＳ）カテーテルによって使用されるような、従来の超音波システムにおいて事前プログラムされる既存の管組織分類モデルを置き換えるように適切にトレーニングされたニューラルネットワークによって向上される。たとえば、Ｐｈｉｌｉｐｓ Ｖｏｌｃａｎｏによって提供されるＶＨアルゴリズムが、概して、ＩＶＵＳカテーテルからのビームフォーミングされた超音波ＲＦ信号を利用し、これらのエコー信号の短時間窓掛けされたＲＦスペクトルプロパティを分析して、組織を、繊維状組織、壊死性コア、高密度カルシウム及び繊維脂肪組織など、いくつかの異なるカテゴリーのうちの１つに分類すると言われ得る。次いで、管壁内のこれらの組織タイプの分布を示す画像が提供される。したがって、関連する管組織分類情報を提供するように本開示によるシステムのニューラルネットワークをトレーニングするために、ＩＶＵＳ取得されたＲＦ信号を含むトレーニングデータセットが、ニューラルネットワークのトレーニングフェーズ中に入力として提供され、対応する知られている組織分類（たとえば、繊維状、壊死性コア、高密度カルシウムなど）を知られている出力とする。概して、既存のＩＶＵＳシステムを使用して取得された、生ＲＦ信号及び／又はビームフォーミングされたＲＦ信号並びに対応する脈管病状データは、従来のＩＶＵＳシステムによって現在利用されるフーリエ変換及びヒューリスティック技法の必要なしに、検出されたエコー及び／又はビームフォーミングされた信号から直接、脈管組織組成を推定するように、ニューラルネットワークを用いた超音波イメージングシステムをトレーニングするために使用される。

[049] またさらなる例では、ニューラルネットワークは、超音波造影剤の存在に関して組織を特徴づけるようにトレーニングされる。超音波造影イメージングでは、複数パルスシーケンス（たとえば、電力変調）からの毎チャネルデータが、一般に、ビームフォーミングされ、次いで、組み合わせられて、イメージング視野にわたる微小気泡造影剤の体積密度を表す画像を形成する。同じことが、毎チャネルデータ及び／又は少なくとも部分的にビームフォーミングされたデータ並びに対応する知られている微小気泡造影剤の体積密度の形態の入力トレーニングデータを用いてトレーニングされたニューラルネットワークによって、暗黙的に（ビームフォーミングすること及び／又は体積密度を明示的に計算することなしに）達成される。

[050] さらなる例では、複数の検査対象者からの人間の心臓が、１Ｄ又は２Ｄアレイトランスデューサを使用して走査され得、得られた画像及び／又は３Ｄボリュームが、ａ）心室内の、又はｂ）心筋組織を含む、のいずれかである領域に（手動で又は自動的に）セグメント化され得る。これらの画像は、心室認識を実施するようにニューラルネットワーク１６０をトレーニングするために使用される。例では、入力データ［ｘｉ］は、本明細書で説明されるように、毎チャネルデータ、及び随意に補助データであり、出力データは、分類（すなわち、ａ）又はｂ）のいずれか）である。例では、ニューラルネットワークは、このタイプの分類を実施するために、適切にトレーニングされたセマンティック分類器を備える。そのようにトレーニングされたニューラルネットワークは、次いで、解剖学的構造の画像を最初に再構成する必要なしに、及び画像処理技法に対する依拠なしに、生データ又はビームフォーミングされたデータから直接、心室をセグメント化及び識別するために使用される。このセグメンテーション情報は、イメージングアーチファクトを抑制するために使用され得るか、又は、それは、駆出率又は他の臨床パラメータを定量化するためにアルゴリズムに直接供給され得る。システムは、他のタイプの組織又は解剖学的構造（たとえば、管の壁、肺／胸膜境界面）を識別し、それに関連付けられる関連する臨床パラメータを定量化する（たとえば、項部浮腫測定を取得する）ように同様にトレーニングされる。

[051] 図１及び図４中の例に示されているように、ニューラルネットワークは、ビームフォーマ１２２のプログラミングに関する情報、トランスデューサ１１３のプロパティ（たとえば、アレイの要素の数、配置及び／又は間隔、アレイのタイプなど）、画像化されている解剖学的構造に関する知られている情報、及び／或いは（たとえば、トランスデューサ追跡システムによって取得された）関心点又は関心領域の空間的ロケーションなど、補助データを受信するように構成される。たとえば、異なるイメージングモダリティからのトレーニングセットの場合、他のタイプの情報も、トレーニングアルゴリズムへの補助情報として提供される。いくつかの実施形態では、ニューラルネットワークは、トレーニングデータセットを補足するためにトレーニングプロセス中に使用される補助データを受信する。随意に、補助データはまた、イメージングセッション中にニューラルネットワークに提供される。

[052] 図６は、本開示のいくつかの例によるプロセスの流れ図を示す。プロセス６００が、ブロック６０２に示されているように、収集されたエコーＲＦ信号をチャネルメモリに記憶することによって開始する。チャネルメモリに記憶されたＲＦ信号は、超音波システム（たとえば、システム１００）に動作可能に結合されたトランスデューサ（たとえば、トランスデューサ１１３）によって送信された超音波に対する応答である、組織から検出されたエコーに対応する。いくつかの実施形態では、方法は、ブロック６０４に示されているように、エコー信号に基づいて、ビームフォーミングされたＲＦ信号を生成するステップを有する。ビームフォーミングされた信号は、たとえば、システム１００のビームフォーマ１２２を使用して、従来のビームフォーミング技法によって生成される。いくつかの実施形態では、１つ又は複数の時間的に連続した送信／受信サイクルからのビームフォーミングされたＲＦ信号が、ビームフォーマメモリに記憶される。ビームフォーミングされた信号は、１つ又は複数の信号及び画像プロセッサ（たとえば、プロセッサ１５０）に結合される。たとえば、ビームフォーミングされた信号は、ブロック６０６に示されているように、直交データ（すなわち、信号のＩ／Ｑ成分）を抽出するための信号プロセッサに結合され、この直交データは、ブロック６０８に示されているように、解剖学的画像（ブロック６１０参照）を生成するためのＢモードプロセッサに結合され得る。

[053] エコーＲＦ信号及び／又はビームフォーミングされたＲＦ信号のサンプルは、ブロック６１２に示されているように、ニューラルネットワーク（たとえば、ニューラルネット１６０）に結合され、次いで、ネットワークのトレーニング及び／又は動作モードに応じて、ネットワークの層を通って伝搬して、イメージングデータ又は任意のタイプの組織情報を生成する。すなわち、いくつかの実施形態では、あるタイプのイメージングデータが、従来の信号処理（たとえば、信号処理経路６０１）を通して取得され、別のタイプのイメージングデータが、ブロック６１２に示されているように、生ＲＦ信号又はビームフォーミングされたＲＦ信号から直接、（たとえば、ニューラルネットワーク経路６１３に沿って）入力データの暗黙的又は予測的分析を通して取得される。いくつかの例では、ニューラルネットワークは、深層ニューラルネットワーク（ＤＮＮ）又は畳み込みニューラルネットワーク（ＣＮＮ）であり、これは、ハードウェア（たとえば、ハードウェア構成要素に対応するノード）又は（たとえば、ノードがコンピュータコードを使用して表される）ソフトウェアで実施される。いくつかの実施形態では、生ＲＦ信号又はビームフォーミングされたＲＦ信号のサンプルの結合は選択的であり、たとえば、ユーザ入力に応答するか、或いはイメージングモード又は臨床適用例に基づいてシステムによって自動的に制御される。ニューラルネットワークは、入力データ（たとえば、生チャネルデータ又はビームフォーミングされたデータ）のタイプに各々関連付けられた複数の異なるモードで動作するようにトレーニングされ、したがって、ニューラルネットワークの対応する動作モードは、ニューラルネットワークへの入力データのタイプに基づいて（自動的に又はユーザ入力に応答して）選択される。ニューラルネットワークによって出力されるイメージングデータ及び／又は組織情報は、Ｂモードイメージングデータ、ドップラーイメージングデータ、ベクトルフローイメージングデータ、ひずみイメージングデータを含む。ブロック６１６に示されているように、第１のタイプのイメージングデータと第２のタイプのイメージングデータの両方を含む超音波画像が生成され、超音波システムに動作可能に関連付けられたディスプレイユニット上に表示される。

[054] いくつかの実施形態では、ニューラルネットワークはまた、イメージングデータを生成する際に使用するための補助データを受信する。動作モード中に、トレーニングアルゴリズムに関連付けられたニューラルネットワークは、トレーニングデータセット、たとえば、（たとえば、経路６０１に沿ってエコー信号を処理することによって取得された）システム自体によって生成された、又はイメージングモダリティとして超音波を利用することも利用しないこともある他のイメージングシステムからの、画像データ又は他の知られている情報を受信する。

[055] 構成要素、システム及び／又は方法が、コンピュータベースシステム又はプログラマブル論理など、プログラマブルデバイスを使用して実施される様々な実施形態では、上記で説明されたシステム及び方法は、「Ｃ」、「Ｃ＋＋」、「ＦＯＲＴＲＡＮ」、「Ｐａｓｃａｌ」、「ＶＨＤＬ」など、様々な知られている又は後で開発されるプログラミング言語のうちのいずれかを使用して実施され得ることを理解されたい。したがって、上記で説明されたシステム及び／又は方法を実施するように、コンピュータなど、デバイスに指示することができる情報を含むことができる、磁気コンピュータディスク、光ディスク、電子メモリなど、様々なストレージメディアが準備され得る。適切なデバイスが、ストレージメディア上に含まれている情報及びプログラムにアクセスすると、ストレージメディアは、デバイスに、情報及びプログラムを提供し、したがって、デバイスが、本明細書で説明されるシステム及び／又は方法の機能を実施することを可能にすることができる。たとえば、ソースファイル、オブジェクトファイル、実行ファイルなど、適切なマテリアルを含んでいるコンピュータディスクが、コンピュータに提供された場合、コンピュータは、情報を受信し、それ自体を適切に構成し、上記の図及びフローチャートで概説された様々なシステム及び方法の機能を実施して、様々な機能を実施することができる。すなわち、コンピュータは、上記で説明されたシステム及び／又は方法の異なる要素に関係する情報の様々な部分をディスクから受信し、個々のシステム及び／又は方法を実施し、上記で説明された個々のシステム及び／又は方法の機能を協調させることができる。

[056] 本開示に鑑みて、本明細書で説明される様々な方法及びデバイスは、ハードウェア、ソフトウェア及びファームウェアで実施され得ることに留意されたい。さらに、様々な方法及びパラメータは、単に例として含まれ、限定を意味するものではない。本開示に鑑みて、当業者は、本発明の範囲内にとどまりながら、自分自身の技法と、これらの技法に影響を及ぼすために必要とされる機器とを決定する際に、本教示を実施することができる。本明細書で説明されるプロセッサのうちの１つ又は複数の機能は、より少数の又は単一の処理ユニット（たとえば、ＣＰＵ）に組み込まれ、実行可能な命令に応答して本明細書で説明される機能を実施するようにプログラムされた特定用途向け集積回路（ＡＳＩＣ）又は汎用処理回路を使用して実施される。

[057] 本システムは、特に超音波イメージングシステムを参照しながら説明されたが、本システムは、１つ又は複数の画像がシステマティック様式で取得される他の医療イメージングシステムに拡張され得ることも想定される。したがって、本システムは、限定はしないが、腎臓、睾丸、乳房、卵巣、子宮、甲状腺、肝臓、肺、筋骨格、脾臓、心臓、動脈及び脈管システム、並びに超音波ガイドインターベンションに関係する他のイメージング適用例に関係する画像情報を取得及び／又は記録するために使用される。さらに、本システムはまた、従来のイメージングシステムとともに使用される１つ又は複数のプログラムを含み得、したがって、それらは、本システムの特徴及び利点を与え得る。本開示のいくつかの追加の利点及び特徴が、本開示を研究すると当業者に明らかになり、又は本開示の新規のシステム及び方法を利用する人によって体験される。本システム及び方法の別の利点は、従来の医療画像システムが、本システム、デバイス、及び方法の特徴及び利点を組み込むように容易にアップグレードされ得ることである。

[058] もちろん、本明細書で説明される例、実施形態又はプロセスのうちのいずれか１つは、１つ又は複数の他の例、実施形態及び／又はプロセスと組み合わせられるか、或いは、本システム、デバイス及び方法による別個のデバイス又はデバイス部分間で、分離及び／又は実施されることを理解されたい。

[059] 最終的に、上記の説明は、本システムの例示にすぎないことが意図され、添付の特許請求の範囲を特定の実施形態又は実施形態のグループに限定するものと解釈されるべきでない。したがって、本システムは、例示的な実施形態を参照しながら、特に詳細に説明されたが、多数の変更及び代替実施形態が、以下の特許請求の範囲に記載されている本システムのより広い及び意図された趣旨及び範囲から逸脱することなく、当業者によって考案され得ることも理解されたい。したがって、明細書及び図面は、例示的な様式と見なされるべきであり、添付の特許請求の範囲を限定することを意図するものではない。

Claims (15)

1. 組織に向けて超音波パルスを送信し、前記超音波パルスに応答したエコー信号を生成する、超音波トランスデューサと、
   前記エコー信号を記憶する、チャネルメモリと、
   前記エコー信号に応答して、ビームフォーミングされた信号を生成する、ビームフォーマと、
   前記エコー信号又は前記ビームフォーミングされた信号の１つ又は複数のサンプルを受信し、第１のタイプの超音波イメージングデータを生成する、ニューラルネットワークと、
   第２のタイプの超音波イメージングデータを生成するプロセッサとを備え、
   前記プロセッサが、前記第１のタイプの超音波イメージングデータと前記第２のタイプの超音波イメージングデータとに基づいて、超音波画像を生成する、
   超音波システム。
2. 前記第２のタイプの超音波イメージングデータが、Ｂモードイメージングデータを含み、前記第１のタイプの超音波イメージングデータが、ドップラーイメージングデータ、ベクトルフローイメージングデータ、エラストグラフィイメージングデータ、組織タイプ特徴づけデータ、流体を中に含んでいる解剖学的構造の壁せん断応力、組織組成データ、超音波造影剤情報、プラーク特徴づけデータ、前記Ｂモードイメージングデータに関連付けられた１つ又は複数の診断インジケータのうちの１つ、又はそれらの組合せを含む、請求項１に記載の超音波イメージングシステム。
3. 前記ニューラルネットワークが、深層ニューラルネットワーク（ＤＮＮ）又は畳み込みニューラルネットワーク（ＣＮＮ）を含む、請求項１に記載の超音波システム。
4. 前記ニューラルネットワークが、少なくとも部分的に、実行可能な命令を備えるコンピュータ可読媒体において実施され、前記実行可能な命令が、前記チャネルメモリ、前記ビームフォーマ、又はその両方に結合されたニューラルネットワークプロセッサによって実行されたとき、前記ニューラルネットワークプロセッサに、前記エコー信号又は前記ビームフォーミングされた信号の前記１つ又は複数のサンプルに応答して前記第１のタイプの超音波イメージングデータを生成するための機械トレーニングアルゴリズムを実施させる、請求項１に記載の超音波イメージングシステム。
5. 前記ニューラルネットワークへの入力のためのサンプルとして、記憶された前記エコー信号又は前記ビームフォーミングされた信号のサブセットを選択する、データ選択器をさらに備える、請求項１に記載の超音波イメージングシステム。
6. 前記データ選択器が、前記データ選択器によって受信された制御信号に応答して、エコー信号の前記サンプル又は前記ビームフォーミングされた信号の前記サンプルのうちの１つを、前記ニューラルネットワークに選択的に結合する、請求項５に記載の超音波イメージングシステム。
7. 前記プロセッサが、ディスプレイに前記超音波画像を表示させる、請求項１に記載の超音波イメージングシステム。
8. 前記ニューラルネットワークが、入力としての補助データを受信し、前記補助データが、超音波トランスデューサ構成情報、ビームフォーマ構成情報、媒体に関する情報、又はそれらの組合せを含み、前記ニューラルネットワークによって提供された前記イメージングデータが、前記補助データに基づく、請求項１に記載の超音波イメージングシステム。
9. 前記ニューラルネットワークが、トレーニング入力及び知られている出力のアレイを受信するトレーニングアルゴリズムに動作可能に関連付けられ、前記トレーニング入力が、画像化された組織の領域に関連付けられた、エコー信号、ビームフォーミングされた信号、又はそれらの組合せを含み、前記知られている出力が、前記画像化された組織の知られているプロパティを含む、請求項１に記載の超音波イメージングシステム。
10. 前記知られているプロパティが、超音波以外のイメージングモダリティを使用して取得される、請求項９に記載の超音波イメージングシステム。
11. 前記ニューラルネットワークが、複数の動作モードのうちの１つに従って入力データを処理し、前記複数の動作モードのうちの１つが、ユーザ入力に応答して選択されるか、又は前記エコー信号の収集中に前記超音波システムのイメージングモードに基づいて前記超音波システムによって自動的に設定される、請求項１に記載の超音波イメージングシステム。
12. 前記ニューラルネットワークが、前記第２のタイプの超音波イメージングデータを使用せずに、前記入力データに基づいて前記組織の脂肪含量を予測する、請求項１に記載の超音波イメージングシステム。
13. 前記ニューラルネットワークが、画像処理回路によって生成された直交信号を使用せずに、前記入力データの時間的に連続するサンプルに基づいて前記組織の解剖学的構造中に含まれている流体のフロープロパティを予測する、請求項１に記載の超音波イメージングシステム。
14. 前記ニューラルネットワークが、前記エコー信号のサンプルに基づいて、予測されたビームフォーミングされた信号を生成し、前記予測されたビームフォーミングされた信号を使用して、前記第１のタイプの超音波イメージングデータを生成する、請求項１に記載の超音波イメージングシステム。
15. 前記ディスプレイが、前記超音波システムに電気的に又はワイヤレスに結合される、請求項７に記載の超音波イメージングシステム。

Images