JP2020531074A - 画像アーチファクト特定及び除去のための深層学習ネットワークを有する超音波システム - Google Patents

Abstract

深層学習ニューラルネットワーク機能を有する超音波システムを使用して、直交情報の解析により頸動脈のＢモード画像のヘイズアーチファクトを除去する。説明される実施態様では、直交情報は、Ｂモード画像の構造情報と、Ｂモード画像と同じ視野の動き情報とを含む。別の実施形態では、ニューラルネットワークは、アーチファクトの深度におけるＴＧＣ利得を低減することによりヘイズアーチファクトを低減する。

Description

本発明は、医用診断超音波システムに関し、具体的には、除去する画像アーチファクトを特定することにより超音波画像を向上させる深層学習ネットワークを有する超音波システムに関する。

現在利用可能な医用超音波システムは、臨床医が、オンボード検査プロトコルを使用して患者の超音波走査を行い、画像を撮り、測定を行い、内蔵アルゴリズム及びレポート生成ソフトウェアを使用して診断を行い、診断結果を報告することを可能にする。臨床医は、検査を開始する前に、検査中に使用される及び行われる設定並びに機能を選択してシステムをセットアップする必要がある。これは、通常、使用するプローブタイプの選択から始まり、次に、検査タイプ（ＯＢ、心臓学、末梢血管等）や、使用する場合には検査プロトコル及びその他の超音波機器の操作設定の選択が続く。今日の超音波システムには自動検査セットアップがあり、これは、一般的な検査や、１つの検査から保存される設定のオンボードリストから選択可能であり、ボタンを押すだけで次の検査のために呼び出すことができる。例えば米国特許第５，３１５，９９９号（Ｋｉｎｉｃｋｉ他）を参照されたい。これらのシステムの製造業者は、この特徴を「組織固有のプリセット」と呼ばれるシステムに進化させた。これらは、工場でインストールされるプリセットで、通常、様々なタイプの超音波検査で使用され、１つのボタンを押すだけでシステム上に呼び出すことができる。例えば妊娠中の母親の胎児検査を行う準備をしている産科医が「ＯＢ」ボタンを押すと、超音波システムは、胎児検査の実施に通常使用される設定にすぐに調整される。

深層学習は、問題を解析する際の人間の脳の機能を模倣する機械学習アルゴリズムの急速に発展している部門である。人間の脳は、過去に同様の問題を解いたことから学習したことを思い出し、その知識を適用して新しい問題を解決する。パターン認識、自然言語処理、コンピュータビジョンといった多くの分野におけるこの技術の可能な使用を確認するために調査が進行中である。深層学習アルゴリズムには、カスタムコンピュータコードを書くのではなく、画像サンプルを解析することにより画像特徴を認識するように一般化及びトレーニングすることができる点で、従来の形式のコンピュータプログラミングアルゴリズムよりも明確な利点がある。しかし、超音波システムにおいて視覚化される解剖学的構造は、すぐには自動画像認識に役立たない。各人は異なり、解剖学的形状、サイズ、位置及び機能も人によって異なる。更に、同じ超音波システムを使用する場合でも、超音波画像の品質及び鮮明度は異なる。これは、画像形成に使用される体内から返される超音波信号に体形が影響を与えるからである。体脂肪の厚い層を通して臓器を走査すると、超音波信号は大幅に減衰され、画像内で解剖学的構造が十分に定義されない。しかし、本願に説明するシステムは、深層学習技術を使用して、ニューラルネットワークモデルによる処理を介して超音波画像内の解剖学的構造を認識する機能を示している。ニューラルネットワークモデルは、まず、既知の解剖学的構造の複数の画像が提示されることによってトレーニングされる。トレーニングされると、ユーザが取得した保存済み画像又はライブ画像が、ニューラルネットモデルによってリアルタイムで解析され、画像内の解剖学的構造が特定される。解剖学的構造の特定は、画像に注釈を付けたり、特定された解剖学的構造の検査を実施するために超音波システムのユーザコントロールを設定するために使用される。

超音波画像内の解剖学的構造を認識する機能を説明したが、深層学習の使用における更なる要望は、それを使用して画質を向上させることである。これが有益となる診断分野の１つは、血管内に形成されたプラークの検出及び解析である。プラークは、血管の超音波画像ではかすかにしか見えないことが多く、検出が困難である。この困難さは、血管の物理的現象及び解剖学的構造によって更に悪化する。これらの物理現象及び解剖学的構造は、血管壁から超音波を残響やその他のマルチパス反射の形で反射する可能性がある。これらの残響は、超音波トランスデューサによって検出され、超音波画像内に血管上のヘイズ（クラッタ）として現れる。クラッタは、プラークと同じ明るさの範囲に一般的に表れるため、血管壁のプラーク蓄積を不明瞭にする。深層学習といった特徴を使用して超音波画像を解析し、残響及び他のマルチパス歪みからのヘイズといった画像アーチファクトを認識し、これを画像から除去してプラークをより確実に診断できることが望ましい。更に、超音波画像の取得及び処理に必要な時間に大きな影響を与えることなくこのようなアーチファクトを検出及び除去して、画像フレームをリアルタイム表示でユーザに提示することができることが望ましい。

本発明の原理によれば、超音波システムは、身体の或る領域のＢモード画像と、同じ領域の直交情報とを取得する。直交とは、Ｂモード画像の構造情報を補完する解剖学的構造の、動きといった第２の情報源を意味する。Ｂモード画像又はＢモード画像及び直交情報は、本目的のためにトレーニングされたニューラルネットワークモデルにより解析され、プラークといった解剖学的材料から区別して画像内のヘイズアーチファクトを特定する。特定されたアーチファクトは、フィルタリング等により画像から削除される。別の実施態様では、ニューラルネットワークモデルは、血管と血管内のヘイズ又はクラッタとを特定し、ヘイズ又はクラッタの画像深度でＴＧＣ（時間利得制御）利得を低減して、ヘイズ又はクラッタを画像から除去する。

図１は、本発明の原理に従って構成された超音波システムを示す。 図２は、ヘイズアーチファクト及びプラークの両方を含む血管の超音波画像を示す。 図３は、ヘイズアーチファクト及びプラークの両方を含む血管の超音波画像を示す。 図４ａは、同じ解剖学的構造の直交情報の超音波画像であって、血管のＢモード画像におけるヘイズアーチファクトを示す。 図４ｂは、同じ解剖学的構造の直交情報の超音波画像であって、同じ血管のカラーフロー画像における動き（流れ）を示す。 図５は、本発明の原理に従って直交画像情報を使用して画像アーチファクトを除去することにより画質を向上させる第１の方法を説明するフローチャートである。 図６は、第２のやり方で直交画像情報を使用して画像アーチファクトを除去するように再構成された場合の図１の超音波システムの一部を示す。 図６ａは、図６の相関器の動作を説明する表である。 図７は、図６のサブシステムに従って直交画像情報を使用して画像アーチファクトを除去することにより画質を向上させる第２の方法を説明するフローチャートである。 図８は、血管クラッタを示す画像と、画像に隣接して表示されるＴＧＣ曲線とを備えた超音波ディスプレイを示す。 図９は、ＴＧＣ特性を調整することにより図８の画像内の血管クラッタを除去する技術を説明するフローチャートである。 図１０は、図９の技術によるクラッタ除去後の図８の超音波ディスプレイを示す。

ここで図１を参照すると、本発明の原理に従って構成された超音波診断撮像システムがブロック図形式で示されている。トランスデューサアレイ１２が、超音波を送信し、エコー情報を受信するために超音波プローブ１０に設けられている。トランスデューサアレイ１２は、例えば仰角（３Ｄ）及び方位角の両方で２次元又は３次元で走査可能であるトランスデューサ素子の１次元又は２次元アレイであってよい。トランスデューサアレイ１２は、アレイ素子による信号の送受信を制御するプローブ内のマイクロビームフォーマ１４に結合されている。マイクロビームフォーマは、米国特許第５，９９７，４７９号（Ｓａｖｏｒｄ他）、第６，０１３，０３２号（Ｓａｖｏｒｄ）及び第６，６２３，４３２号（Ｐｏｗｅｒｓ他）に説明されているように、トランスデューサ素子のグループ又は「パッチ」によって受信された信号の少なくとも部分的なビーム形成が可能である。マイクロビームフォーマは、プローブケーブルによって送受信（Ｔ／Ｒ）スイッチ１６に結合される。送受信（Ｔ／Ｒ）スイッチ１６は、送信と受信とを切り替え、メインビームフォーマ２０を高エネルギー送信信号から保護する。マイクロビームフォーマ１４の制御下でのトランスデューサアレイ１２からの超音波ビームの送信は、Ｔ／Ｒスイッチに結合された送信コントローラ１８と、ユーザインターフェース又は制御パネル３８のユーザ操作から入力を受信するビームフォーマ２０とによって導かれる。送信コントローラによって制御される送信特性には、送信波形の間隔、振幅、位相及び極性がある。パルス伝送の方向に形成されたビームは、トランスデューサアレイからまっすぐ前方に又はより広い視野のために異なる角度で操縦することができる。

トランスデューサアレイ１２によって受信されたエコーは、ＴＧＣ制御回路１９の制御下でＴＧＣ増幅器１７によって被験者内の深度の関数として増幅される。時間利得制御補正は、長年にわたって超音波で使用されてきている。増幅器の利得は、ディスプレイ上のグラフィックタッチスクリーンコントロールによって、又は、参照により本明細書に組み込まれる米国特許第５，４８２，０４５号（Ｒｕｓｔ他)に説明されているように、機械式スライドポットによって設定することができる。手動で行われるスライドポット調整は、ＴＧＣ増幅器又はＴＧＣ制御回路のメモリに保存されている利得値に直接適用され、利得の制御に使用される。トランスデューサ素子の連続したグループによって受信された利得補正されたエコーは、それらを適切に遅延させてから結合することによりビーム形成される。各パッチからマイクロビームフォーマ１４によって生成される部分的にビーム形成された信号は、メインビームフォーマ２０に結合され、そこで、トランスデューサ素子の個々のパッチからの部分的にビーム形成された信号は、完全にビーム形成されたコヒーレントエコー信号となるように結合される。例えばメインビームフォーマ２０は、１２８個のチャネルを有し、各チャネルは、１２個のトランスデューサ素子からなる１つのパッチから部分的にビーム形成された信号を受信する。このようにして、２次元アレイトランスデューサの１５００個を超えるトランスデューサ素子によって受信された信号は、単一のビーム形成信号に効率的に寄与することができる。

コヒーレントエコー信号は、信号プロセッサ２６によって信号処理される。信号処理には、デジタルフィルタによるフィルタリングや、空間又は周波数合成によるノイズ低減が含まれる。信号プロセッサはまた、周波数帯域をより低い又はベースバンドの周波数範囲にシフトすることもできる。信号プロセッサ２６のデジタルフィルタは、例えば米国特許第５，８３３，６１３号（Ａｖｅｒｋｉｏｕ他）に開示されているタイプのフィルタであってよい。処理されたエコー信号は、次に、信号位相情報を提供する直交（Ｉ及びＱ）成分に復調される。

ビーム形成され処理されたコヒーレントエコー信号は、組織といった体内の構造のＢモード画像を生成するＢモードプロセッサ５２に結合される。Ｂモードプロセッサは、（Ｉ^２＋Ｑ^２）^１／２の形式でエコー信号振幅を計算することにより、直交復調されたＩ及びＱ信号成分の振幅（包絡線）検出を行う。直交エコー信号成分は、動き検出器４６にも結合される。本発明の一実施態様では、動き検出器は、画像フィールド内の離散点からのエコー信号のアンサンブルを保存するドップラープロセッサを含む。上記アンサンブルをその後使用して、高速フーリエ変換（ＦＦＴ）プロセッサを用いて画像内の点におけるドップラーシフトを推定する。ドップラーシフトは、画像フィールド内の点における動き、例えば血流や組織の動きに比例する。カラードップラー画像の場合、血管内の各点において推定されたドップラーフロー値がウォールフィルタ処理され、ルックアップテーブルを使用してカラー値に変換される。Ｂモード画像信号及びドップラー流量値は、走査コンバータ３２に結合される。走査コンバータ３２は、Ｂモードサンプル及びドップラーサンプルを、それらの取得したＲ−θ座標から、例えば図２、図３、図４ａ及び図４ｂに示すような直線表示形式又はセクタ表示形式である所望の表示形式での表示のためにデカルト（ｘ，ｙ）座標に変換する。Ｂモード画像又はドップラー画像のいずれかを単独で表示することも、２つを解剖学的に位置合わせした状態で一緒に表示することもできる。この場合、図４ｂに示すように、カラードップラーオーバーレイが画像内の組織及び血管内の血流を示す。

本発明の原理によれば、同じ画像領域のＢモード画像情報及び直交情報は、ニューラルネットモデル８０に結合される。ニューラルネットモデル８０は、深層学習の原理を使用してこれらの２種類の情報を解析する。深層学習ニューラルネットモデルは、ソフトウェア設計者が記述し、また、多くのソースから公的に入手することができるソフトウェアを含む。図１の超音波システムでは、ニューラルネットモデルソフトウェアはデジタルメモリに格納されている。「ＮＶｉｄｉａ Ｄｉｇｉｔｓ」と呼ばれるニューラルネットモデルの構築に使用できるアプリケーションをhttps://developer.nvidia.com/digitsから入手することができる。ＮＶｉｄｉａ Ｄｉｇｉｔｓは、Ｂａｒｋｅｌｙ Ｖｉｓｉｏｎ ａｎｄ Ｌｅａｒｎｉｎｇ Ｃｅｎｔｅｒ（http://caffe.berkeleyvision.org/）によって開発された「Ｃａｆｆｅ」と呼ばれる深層学習フレームワークに関する高レベルユーザインターフェースである。本発明の実施態様における使用に適した一般的な深層学習フレームワークのリストは、https://developer.nvidia.com/deep-learning-frameworksにある。ニューラルネットモデル８０には、トレーニング画像メモリ３４が結合されている。トレーニング画像メモリ３４には、既知の患者の解剖学的構造の超音波画像が保存され、直交画像情報からその解剖学的構造の超音波画像におけるアーチファクトを特定するようにニューラルネットワークモデルをトレーニングするために使用される。図２、図３、図４ａ及び図４ｂの頸動脈画像といった図１の超音波システムによって生成されるライブ画像が、ニューラルネットモデルのトレーニング中に、ニューラルネットモデルに提示されて、例えばＢモード（構造）情報及び動き情報である直交情報から頸動脈の画像におけるヘイズアーチファクトといったアーチファクトが特定される。本発明の構成された実施態様では、ニューラルネットモデルは、直交情報を使用して頸動脈の超音波画像におけるヘイズアーチファクトを特定するようにトレーニングされている。トレーニングされたニューラルネットモデルは、この情報を解析し、画像アーチファクトが特定されると、画像フィールド内のアーチファクトの位置を特定する「アーチファクトＩＤ」データを生成し、また、例えば８０％の確信、１００％の確信又は他の係数といったように、その特定の精度として、モデルが推定したものの信頼係数も生成する。信頼係数は、超音波システムの表示画面に表示される。ユーザは、ニューラルネットモデルによって行われた画像解析や、また、任意の特定されたアーチファクトの除去のためのその後続の使用を承認するかどうかを決定する際にこの信頼係数を考慮することができる。ニューラルネットモデル解析が承認されると、アーチファクトＩＤデータがアーチファクトフィルタ４８に適用される。アーチファクトフィルタ４８は当該データを使用して、走査コンバータ３２によって生成されたＢモード画像からアーチファクトを除去する。アーチファクトフィルタは、様々な形式を取ってよい。アーチファクトフィルタは、アーチファクトＩＤによってヘイズ又は他のアーチファクトであると特定された血管内のピクセル位置におけるピクセルを除去する（暗くする）ピクセル単位フィルタであってよい。フィルタは、アーチファクトＩＤデータによってアーチファクトを含むと特定された画像位置に、低減されたＴＧＣ（時間利得制御）を適用してもよい。この点は、以下により詳細に説明する。フィルタ４８は、Ｂモード画像の領域に空間的に選択的な平滑化を適用してもよい。フィルタ４８は、アーチファクトを含むと特定された画像領域に、異なるグレースケール圧縮又は時間的フィルタリングを行うことができる。別の代替案は、アーチファクトＩＤデータを使用してＲＦ信号を、信号プロセッサ２６のバンドパスフィルタの通過帯域を調整するように変化させることである。

アーチファクトフィルタ４８によって生成される向上された超音波画像は、画像プロセッサ３０及び多平面リフォーマッタ４４に結合される。多平面リフォーマッタは、米国特許第６，４４３，８９６号（Ｄｅｔｍｅｒ）に説明されているように、身体のボリュメトリック領域の共通平面内の点から受信したエコーをその平面の超音波画像に変換する。ボリュームレンダラ４２が、米国特許第６，５３０，８８５（Ｅｎｔｒｅｋｉｎ他）に説明されているように、３Ｄデータセットのエコー信号を、所与の基準点から見た投影３Ｄ画像に変換する。２Ｄ又は３Ｄ画像は、画像ディスプレイ４０での表示のための更なる強化、バッファリング及び一時的保存のために画像プロセッサ３０に結合される。テキスト及び患者ＩＤといった他のグラフィック情報を含むグラフィック表示オーバーレイが、超音波画像と共に表示するためにグラフィックプロセッサ３６によって生成される。

図２は、頸動脈６０の内腔にプラークとマルチパスヘイズアーチファクトとの両方を含む頸動脈６０の超音波Ｂモード画像の一例を示す。総頸動脈（ＣＣＡ）の壁のプラーク蓄積６２を示す。プラークの位置のすぐ左側に、内頸動脈への動脈分岐の直前でヘイズアーチファクトによって暗くなった領域がある（この画像では、説明を簡単にするために白黒反転で示す。標準的な超音波画像では明るくなる）。ヘイズが標的プラークに近接していると、プラークの検出が困難になり、また画像内でプラークの境界を区別するのが困難になる。

図３は、頸動脈の内腔にプラーク６２とマルチパスヘイズアーチファクト６４との両方を含む頸動脈６０の超音波Ｂモード画像の別の例示である。この例では、両方とも動脈の分岐点の近くにあり、プラークは下部分岐の入口にあり、ヘイズは上部分岐の入口にある。この画像ではヘイズ６４の暗さ（明るさ）は診断中にプラークの可能性があると間違えられる可能性がある。この例はまた、直交情報、ここでは、Ｂモード画像にはない流れの動きを使用することの利点も示す。プラークにより引き起こされる頸動脈の下部分岐への入口の部分的な閉塞は、湾曲矢印で示すように、血液は下部分岐に入るためにプラークの周りを進まなければならないため、この位置で内腔を細くする。この位置における血流のカラーフロー画像は、プラークの周辺の流速の増加や、方向転換された血流から生じる乱流も示す。これは、ヘイズがある血管の上部分岐における血流とは明らかに異なる。この領域における血流は、太矢印で示すように、通常のまっすぐな層流になる。ヘイズは構造的なものではなく、単に超音波信号及びその処理のアーチファクトであるため、血流はヘイズによって妨げられない又は影響を受けない。したがって、Ｂモード画像の構造情報と、同じ領域についての動き情報とを組み合わせることにより、画像内のヘイズアーチファクトを特定し除去することができる。

図４ａ及び図４ｂは、頸動脈６０の同じ画像領域の２つの超音波画像であるが、異なる画像情報を有する超音波画像を並列表示で示す。左側のＢモード画像は、頸動脈においてヘイズアーチファクト６４による雑音があるように見えるが、右側のカラーフロー画像は、カラーフローボックス６８内の均一なフローカラー６６で示すように、頸動脈内腔がスムーズに流れる血液を含むことを示し、品質低下している領域はヘイズアーチファクトであり、流れを変えるプラークではないことが明らかになる。診断はこれら２つの並んで置かれた画像から行うことができるが、これには、カラーフローボックス６８内の各点からエコーサンプルのアンサンブルを取得する必要があり、これには、カラーフローボックスの領域で送信を繰り返す必要がある。これらの繰り返される送信及びその結果生じるエコー（その速度は、各送受信間隔について体内での音の速度によって制限される（約１，５４０ｍ／秒））は、ドップラーフロー推定に必要なエコーのアンサンブルを取得するのに必要な時間、したがって各新しいカラーフロー画像を取得するのに必要な時間を増加する。これにより、画像の表示のフレームレートが低下し、頸動脈画像をリアルタイム表示として表示する機能が低下する。この時間は、アンサンブル長を短くし、カラーフローボックス内の各点のインタロゲーションの数を減らすことにより短縮化できるが、これは、表示されるフローの動きの精度を低下する。本発明によれば、このジレンマは、コンピュータの速度で動作するニューラルネットモデルを用いて、より少ない数の送受信サイクルを必要とする取得を使用し、画像データの両方のセット、即ち、Ｂモード及び動き情報を解析することにより克服される。動きのあるフィールドでのインタロゲーションの数を減らしても、トレーニングされたニューラルネットモデルは依然として高い信頼度でヘイズアーチファクトを特定することができることが分かっている。例えばエコー信号の比較的長いアンサンブル、６つ以上のサンプルを完全に収集するには、特に長い取得時間が必要である。この時間は、マルチライン取得を使用することにより短縮することができる。マルチライン取得では、米国特許第８，１３７，２７２号（Ｃｏｏｌｅｙ他）に説明されているように、単一の広い送信ビームに応答して複数の隣接する走査ラインのエコーサンプルが取得される。このようなデータの解像度は、単一の標準的なライン毎の取得とは対照的に低下するが、ニューラルネットモデル解析によるアーチファクトの特定には十分であることが分かっている。取得時間を短縮する別のアプローチは、６サンプル未満の短いアンサンブル長を使用することである。これも、深層学習解析を成功させるのに十分であることが分かっている。動き情報を検出する更に別のやり方は、スペックル追跡によるものである。スペックル追跡では、ある領域の少なくとも２つのインタロゲーションのスペックル特性が比較される。スペックルは、超音波のコヒーレントな性質により生じる組織の超音波画像の現象である。組織から散乱した超音波は、散乱信号の相対位相の相互作用によりユニークなパターンを示し、動き（プローブ又は組織の動き）がない状態で、画像間で変化しないパターンを生成する。２つの連続して取得された画像のスペックルパターンを差し引くことにより、信号が組織から返される場合は、ほぼ完全に相殺される。しかし、流れる血液から返される信号は、血流の動きのために絶えず変化するため、フレーム間の減算後に小さな残留信号が生じる。したがって、画像フィールドの２つのＢモードインタロゲーションだけで、どの領域が構造的（組織、プラーク）であり、どの領域がそうでない（血流）かに関する情報を提供することができる。このようなインタロゲーションを数回行うだけでよいということは、２種類の画像データの信頼性の高いニューラルネットモデル解析に必要な情報である構造と動きとの両方の種類の情報の取得に必要な送受信サイクルの数を減らす。音速により左右される送受信サイクル時間による制限を受けない超音波システムのコンピュータ処理による計算に依存する深層学習解析は、超音波取得に比べて比較的瞬間的である。結果として得られる画像は、高い表示フレームレートでリアルタイムに更新及び表示され、ヘイズアーチファクトが高い信頼性で除去される。これにより、リアルタイム表示フレームレートを許容できないほど低下させることなく、空間合成といった長い取得時間を必要とする他の画像強調を行いながら、ヘイズアーチファクトを除去することができる。

図５に、ニューラルネットワークモデルをトレーニング及び使用して、直交画像情報を使用して画像アーチファクトを特定及び除去する方法を示す。最初に、ニューラルネットワークモデルがコンピュータベースの超音波システムにインストールされる。ニューラルネットワークモデルは、ソフトウェアアーキテクトによって設計されたものでも、前述の利用可能な深層学習フレームワークの１つを使用して構築されたものでもよい。ステップ５０２において、複数の患者から取得したアーチファクトとプラークとの両方を含む頸動脈の画像が、画像領域内の動きといった直交画像情報と共にニューラルネットワークモデルに提示されて、アーチファクトを特定し、それらをプラークから区別するためにモデルをトレーニングする。使用されるトレーニング画像の数は、様々な画像アーチファクト及び構造並びに直交情報によって示されるそれらの違いに関してニューラルネットワークモデルをトレーニングするために、数百又は数千であることが好適である。トレーニングされたニューラルネットワークモデルが超音波システムにインストールされた状態で、ステップ５０４において、Ｂモード画像が超音波システムによって取得される。当該Ｂモード画像は、ステップ５０６において取得される同じ領域の直交情報と共に取得され、アーチファクト特定のためにニューラルネットワークモデルに提示される。ステップ５０８において、直交情報を使用してニューラルネットワークモデルによって、Ｂモード画像におけるアーチファクトが特定され、また、モデルによって信頼係数が生成される。ステップ５１０において、ユーザは信頼係数を確認し、それに納得する場合、アーチファクトを特定した解析を確定する。ステップ５１２において、上記フィルタ技術の１つを使用して、特定されたアーチファクトがＢモード画像から除去される。

図６に、図１の一部の再構成である本発明の第２の実施態様を示す。前述の実施態様では、Ｂモード画像及び対応する動き（フロー）画像といった直交情報を解析することにより超音波画像内のアーチファクトを特定するようにトレーニングされたニューラルネットワークモデルを使用する。ニューラルネットワークモデルは両方の種類の対応する画像を共に考慮する必要があるため、このトレーニングはかなり複雑である。更に、このような対応する画像のセットの可用性は限られている場合があり、ニューラルネットワークの望ましいトレーニングレベルのための画像セットの数が不十分となる可能性がある。図６の第２の実施態様は、Ｂモード画像のみにおけるアーチファクトを特定するより限定されたタスクにニューラルネットワークを使用することにより、上記懸念に対処する。これは、ニューラルネットワークがＢモード画像のみでトレーニングされることを意味し、より単純なアプローチである。この場合、より多くのトレーニング画像が一般に入手可能である。図６の実施態様では、Ｂモードデータのフレーム（Ｂ_１、Ｂ_２、Ｂ_３、...）が、カラーフローフレームデータ（ＣＦ_１、ＣＦ_２、ＣＦ_３、ＣＦ_４、...）とインターリーブシーケンスで取得される。Ｂモードフレームデータの各セットは、Ｂモードプロセッサ５２により処理されてＢモード画像が形成される。カラーフローフレームデータのセットは、アンサンブルメモリ５０に保存され、そこでドップラー推定に望ましい長さのデータアンサンブルが組み立てられる。所望の長さのアンサンブルが組み立てられると、それらはカラーフロープロセッサ５４によって処理され、カラーフロー画像が生成される。カラーフロー画像は流速画像でも、各ピクセル位置におけるドップラー信号強度のパワードップラー画像であってもよい。

この実施態様におけるニューラルネットワークモデル８０は、Ｂモード画像でトレーニングされ、Ｂモード画像におけるアーチファクトを特定する。Ｂモードプロセッサ５２によって生成されたＢモード画像は、アーチファクトについてニューラルネットワークモデル８０によって解析され、この解析の結果は、相関器５６に結合される。相関器５６はまた、カラーフロープロセッサ５４から、同じ画像領域のカラーフロー情報を受け取る。相関器５６の機能は、これら２つのタイプの直交情報が、Ｂモード画像の領域全体でどの程度相関するかを見ることである。これを図６ａの表に示す。例えばニューラルネットワークモデルが、Ｂモード画像のピクセルの画像情報を高精度（例えば１００％の信頼係数）で特定し、カラーフロープロセッサが、カラーフロー画像における空間的に対応するピクセルの画像情報を同じ精度で補完するものとして特定した場合、２つの画像情報は高度に相関していると見なされる。例えばニューラルネットワークモデルがあるピクセルを組織と特定し、カラーフロー画像のそのピクセル位置にフローがない場合、直交データからの２つの結果は高度に相関している。Ｂモード画像における組織ピクセルはそのままである（Ｎ．Ｃ．＝変更なし）。別の例では、ニューラルネットワークモデルは、あるピクセル位置において、高い信頼性で組織を見つけず、カラーフロー画像は同じ空間ピクセル位置に血流を見つけることがある。これら２つの結果は相関しており、ピクセルはＢモード画像ではそのままである。血液が存在する血管の内腔は、通常黒で表示される。更に別の例として、ニューラルネットワークモデルは、Ｂモード画像におけるあるピクセルをアーチファクトであると特定し、カラーフロー画像は、そのピクセル位置での血流を高い精度で示すことがある。これらの２つの結果は相関している。つまり、アーチファクトフィルタ４８によってアーチファクトを削除する必要がある（Ｄｅｌ．＝削除）。アーチファクトフィルタは、相関のこの結果を使用して、Ｂモード画像からアーチファクトを除去し、完全にフィルタリングされた画像が、表示のために画像プロセッサ３０に転送される。

この程度の有効性で画像アーチファクトを除去するように動作する超音波システムでは、表示フレームレートを増加することが決定されてよい。これは、より少ないフレーム数（例えばアンサンブル長が短くなることを意味する）のカラーフローデータ（ＣＦ_ｎ）を取得するか、又は、より広い間隔で、したがって、より少ない走査ラインでＢモード画像を取得することによって行われる。これらの変更は共に、画像データの取得に必要な時間を短縮するので、表示フレームレートを向上させるが、アーチファクトの除去の有効性が低下する可能性がある。例えばこれらの変更の結果として、ニューラルネットワークモデルは、図６ａの表の下に示すように、Ｂモード画像におけるアーチファクトを８０％の信頼度でしか特定できず、血流は１０％の精度でしか検出できない。直交データの比較結果は、決定的なものではなく、相関度が低い場合がある。決定的な結果ではないので、決定は、左右矢印によって示すように、画像に何もしないことであってよく、これにより、画像には削除されていないアーチファクトが含まれている場合がある。ユーザは、アーチファクトによる品質低下のより大きい可能性を承認すると決定してもよい。これは、表示フレームレートが高いことによる診断上の利点が大きいためである。又は、ユーザは、よりアーチファクトのない画像を得るために、より低い表示フレームレートを承認すると決定してもよい。しかし、ニューラルネットワークモデル解析の速度は、いずれにしても、超音波システムの計算速度の関数であり、カラーフロー性能を向上させるために必要なカラーフローフレーム数の増加のように、フレームレートを大きく損なうものではない。カラーフローアンサンブルが長くなっても、ニューラルネットワーク解析の性能は高いままである。

図７は、本発明のこの第２の実施態様の動作のフローチャートである。ステップ７１０において、ニューラルネットワークモデルは、Ｂモード画像における残響アーチファクトといったアーチファクトを特定するようにトレーニングされる。ステップ７１２において、１つ以上のＢモード画像が取得され、ステップ７１４において、１つ以上のフロー画像が取得される。ステップ７１２及び７１４は、所望の精度のドップラー流量推定のために十分な流量データを取得するのに望ましいインターリーブシーケンスで繰り返される。アンサンブルが長いほど、精度が高くなる。ステップ７１６において、Ｂモード画像におけるアーチファクトがニューラルネットワークモデルによって特定され、信頼係数がモデルによって生成される。ステップ７１８において、ニューラルネットワークモデル解析の結果とカラーフローとは、ニューラルネットワーク解析の信頼係数に注目して、それらが一致するかどうかを見るために相関され、相関が十分に高い場合、比較が確認され、有効と思われるピクセル（例えば組織、プラーク、血流）に変更は加えられず、アーチファクトピクセルは削除される。アーチファクトの除去は、ステップ７２０においてアーチファクトフィルタによって行われる。

上記システム及び方法の変形は、当業者には容易に思い浮かぶであろう。前述の特許出願番号［２０１６ＰＦ００９４０］において説明されているように、ニューラルネットモデルを使用して、画像内の頸動脈を認識することができる。上記特許出願の内容は参照により本明細書に組み込まれる。したがって、深層学習モデルを使用して、標的解剖学的構造を特定し、診断のために画質を向上させることの両方を行うことができる。診断決定の支援は、患者病歴情報、解剖学的構造の特定及び解剖学的構造の測定値を組み合わせることにより実現することができる。このデータは、深層学習アルゴリズムによって処理され、診断決定支援結果を提供して、診断を確認することができる。

本発明の出現前の臨床業務では、超音波検査技師は、一般にＴＧＣ調整を使用して、画像内のヘイズ及びクラッタピクセルを減衰させることで画像におけるそれらの出現を低減しようと試みてきた。例えば図８は、頸動脈６０の超音波画像７２を表示する超音波ディスプレイ７０を示す。超音波画像のすぐ右側には、一般にセンチメートル単位で画像の上部（皮膚の表面）から下部への深度の増分を示す深度スケール７４がある。深度スケールの右側には、現在適用されている時間利得制御特性を示すＴＧＣ曲線７６がある。曲線の左端（深度スケールに最も近い）部分は、その深度で適用されている利得は低いことを示し、曲線の右端部分は、適用されている利得が最大であることを示す。曲線上に点又は制御点７７が示され、各点は、電子的又は機械的なスライドポット制御に対応する。スライドポットは、ディスプレイの右側に制御点７７に合わせて取り付けられることもあるため、ユーザはどのスライドポットがどの深度に影響するかをすぐに確認することができる。この例では、スライドポットの垂直アセンブリの最上部のスライドポットが、最上部の制御点の位置を制御し、したがって、画像の最も浅い深度での利得を制御する。スライドポットを左に動かすと利得が低減し、制御点７７は、制御矢印７８で示すように左に動く。同様に、スライドポットを右に動かすと、そのスライドポットの深度における利得が増加する。図８の例では、スライドポットは、浅い深度では比較的低い利得を、より深い深度では比較的大きい利得を適用するように設定されている。この例での血管６０の画像は、血管内のヘイズ又はクラッタ６４によって品質が低下していることが分かる。超音波検査技師の現在の慣行では、ヘイズ又はクラッタ６４の深度におけるスライドポットを左にスライドさせて、その深度における信号利得、したがって、画像内のヘイズ又はクラッタの出現を低減することを試みる。

本発明の実施態様は、ニューラルネットワークモデル８０を使用して、このクラッタ低減を自動的に行うことができる。図９にそのための手法を示す。超音波検査に先立って、ニューラルネットワークモデルは、ステップ９０２において示すように、また、前述したとおり、超音波画像内の頸動脈といった血管を特定するようにトレーニングされる。ステップ９０４において、ニューラルネットワークモデルは、超音波画像内の血管におけるヘイズ及びクラッタを特定するようにトレーニングされる。このトレーニングは、必要に応じて、ステップ９０４で示すように、超音波画像内の血管に現れるヘイズ及びクラッタを特定するようにニューラルネットワークモデルをトレーニングすることによって組み合わせることができる。ユーザが超音波システムにこの画像向上を自動的に行わせたい場合、ユーザは、ステップ９０６に示すように、超音波システムの自動アーチファクト低減特徴を作動させる。ステップ９０８において、ユーザはＢモード画像を取得し、ステップ９１０に示すように、超音波システムは、ニューラルネットワークモデル８０を使用して画像内の血管を自動的に特定し、ステップ９１２において、ニューラルネットワークモデルは、特定された血管内のヘイズ又はクラッタを特定する。ヘイズ又はクラッタが特定されると、ステップ９１４に示すように、画像内のアーチファクトの深度におけるＴＧＣ利得が低減されて、画像内のヘイズ又はクラッタの出現が低減される。これは、ニューラルネットワークモデル８０がＴＧＣ制御回路１９に結合され、画像内のアーチファクトの深度におけるＴＧＣ利得の低減を命令するものとして示されている図１に示されている。この調整は、ニューラルネットワークモデルがＴＧＣ利得の小さい低減を命令し、その後、超音波画像を再び取得し、その新しい画像を解析してヘイズ又はクラッタアーティファクトがまだ特定可能かどうかを確認することで反復的に行われてよい。まだ特定される場合、利得低減の更なる増分が命令され、処理はアーチファクトが画像から消えて特定できなくなるまで繰り返される。このアーチファクト補正技法は、補正の深度において組織構造が依然として強く見えることを可能にすることが分かっている。これは、組織及びプラークが通常超音波の優れた鏡面反射体であるためである。

この補正がニューラルネットワークモデルによって行われると、超音波画像は、図１０に示すように見える。ヘイズ及びクラッタは除去されているが、血管６０は依然として超音波画像においてはっきりと特定可能であることが分かる。図１０はまた、ＴＧＣ曲線７６の結果として生じる変化も示す。制御点７５の深度におけるスライドポットは、利得を低減するように調整されているため、曲線は制御点７５の深度において左に動かされている。滑らかな連続曲線を維持するために、制御点７５の深度の上下の利得及び制御点もまた、図１０に示すように、わずかに利得が低減されている。これは、今日の超音波システムのほとんどのＴＧＣ制御回路によく見られる特徴である。

なお、本発明の実施態様における使用に適した超音波システム、特に図１の超音波システムのコンポーネント構造は、ハードウェア、ソフトウェア又はこれらの組み合わせで実施することができる。超音波システムの様々な実施形態及び／又はコンポーネント、例えば深層学習ソフトウェアモジュール又はその中のコンポーネント及びコントローラも、１つ以上のコンピュータ又はマイクロプロセッサの一部として実施することができる。コンピュータ又はプロセッサは、コンピューティングデバイス、入力デバイス、表示ユニット及び例えば図１に示すようにインターネットにアクセスするためのインターフェースを含んでよい。コンピュータ又はプロセッサは、マイクロプロセッサを含んでよい。マイクロプロセッサは、例えばＰＡＣＳシステム又はトレーニング画像をインポートするためのデータネットワークにアクセスするための通信バスに接続されてよい。コンピュータ又はプロセッサはまた、メモリを含んでよい。画像メモリ２８及びアンサンブルメモリ５０といったメモリデバイスは、ランダムアクセスメモリ（ＲＡＭ）及び読み取り専用メモリ（ＲＯＭ）を含んでよい。コンピュータ又はプロセッサは更に、ハードディスクドライブ、又は、フロッピー（登録商標）ディスクドライブ、光学ディスクドライブ、ソリッドステートサムドライブ等といったリムーバブルストレージドライブであってよいストレージデバイスを含んでよい。ストレージデバイスはまた、コンピュータ又はプロセッサにコンピュータプログラム又は他の命令をロードするための他の同様の手段であってもよい。

本明細書において使用する場合、「コンピュータ」、「モジュール」、「プロセッサ」又は「ワークステーション」との用語には、マイクロコントローラ、縮小命令セットコンピュータ（ＲＩＳＣ）、ＡＳＩＣ、論理回路及び本明細書に説明される機能を実行可能な任意の他の回路又はプロセッサを使用するシステムを含む任意のプロセッサベース又はマイクロプロセッサベースのシステムを含んでよい。上記例は単なる例示であり、したがって、これらの用語の定義及び／又は意味を決して限定するものではない。

コンピュータ又はプロセッサは、入力データを処理するために、１つ以上のストレージ素子に格納されている命令セットを実行する。ストレージ素子はまた、所望通りに又は必要に応じてデータ又は他の情報を格納することもできる。ストレージ素子は、情報源又は処理マシン内の物理メモリ素子の形であってもよい。

上述したような超音波画像の取得、処理及び送信を制御する命令を含む超音波システムの命令のセットは、本発明の様々な実施形態の方法及びプロセスといった特定の動作を行うように、処理マシンとしてのコンピュータ又はプロセッサに命令する様々なコマンドを含んでよい。命令のセットは、ソフトウェアプログラムの形式であってよい。ソフトウェアは、システムソフトウェア又はアプリケーションソフトウェアといった様々な形であってよく、また、有形及び非一時的なコンピュータ可読媒体として具現化されてよい。更に、ソフトウェアは、別個のプログラム又はニューラルネットワークモデルモジュールといったモジュールの集合、より大きなプログラム内のプログラムモジュール又はプログラムモジュールの一部の形であってもよい。ソフトウェアはまた、オブジェクト指向プログラミングの形のモジュラープログラミングを含んでもよい。処理マシンによる入力データの処理は、オペレータのコマンドに応答するものであっても、前の処理の結果に応答するものであっても、別の処理マシンによる要求に応答するものであってもよい。

更に、以下の請求項の限定は、ミーンズプラスファンクション形式で書かれておらず、当該請求項の限定が更なる構造のない機能の記述が続く「ｍｅａｎｓ ｆｏｒ」との語句を明示的に使用していない限り、米国特許法第１１２条第６段落に基づいて解釈されることを意図していない。

Claims (15)

1. 深層学習を使用して超音波画像の画質を向上させる超音波診断撮像システムであって、
   超音波画像信号を取得する超音波プローブと、
   前記超音波プローブに結合され、Ｂモード超音波画像を生成するＢモード画像プロセッサと、
   前記Ｂモード超音波画像を受信し、前記Ｂモード超音波画像内の血管内のアーチファクトを特定するニューラルネットワークモデルと、
   アーチファクトコンテンツが低減された前記Ｂモード超音波画像を表示するディスプレイと、
   を含む、システム。
2. 前記超音波プローブに結合され、前記Ｂモード超音波画像が撮像する領域内の動きに関する情報を生成する動き検出器を更に含み、
   前記ニューラルネットワークモデルは更に、アーチファクトの前記特定において、動きに関する情報を使用する、請求項１に記載の超音波診断撮像システム。
3. 前記Ｂモード超音波画像を受信し、前記ニューラルネットワークモデルに応答して、前記Ｂモード超音波画像内で特定されたアーチファクトを低減するアーチファクトフィルタを更に含む、請求項２に記載の超音波診断撮像システム。
4. 前記ニューラルネットワークモデルによる前記Ｂモード超音波画像の解析と動きに関する前記情報とに応答し、前記アーチファクトフィルタを制御するように前記アーチファクトフィルタに結合された出力部を有する相関器を更に含む、請求項３に記載の超音波診断撮像システム。
5. 前記ニューラルネットワークモデルは更に、ユーザに表示する信頼係数を生成する、請求項３に記載の超音波診断撮像システム。
6. 前記ニューラルネットワークモデルは更に、前記Ｂモード超音波画像内の解剖学的構造を認識する、請求項１に記載の超音波診断撮像システム。
7. 前記動き検出器は更に、ドップラープロセッサを含む、請求項２に記載の超音波診断撮像システム。
8. 前記ドップラープロセッサは更に、６サンプルよりも短いアンサンブル長で動作する、請求項７に記載の超音波診断撮像システム。
9. 前記ドップラープロセッサは更に、マルチライン受信により取得されたアンサンブルで動作する、請求項７に記載の超音波診断撮像システム。
10. 前記動き検出器は更に、スペックル追跡により動作する、請求項２に記載の超音波診断撮像システム。
11. Ｂモード画像を使用して、又は、Ｂモード画像を直交情報と共に使用して、Ｂモード画像内のアーチファクトを検出するようにニューラルネットワークモデルをトレーニングするステップと、
    リアルタイムＢモード画像を取得するステップと、
    前記Ｂモード画像の情報に直交する画像情報を取得するステップと、
    Ｂモード画像及び直交画像情報を使用して、リアルタイム超音波画像内のアーチファクトを特定するように、トレーニングされた前記ニューラルネットワークモデルを使用するステップと、
    特定された前記アーチファクトをフィルタリングするステップと、
    を含む、深層学習を使用して超音波画像の画質を向上させる方法。
12. 前記Ｂモード画像の情報に直交する画像情報を取得するステップは更に、前記Ｂモード画像と同じ画像フィールドの動き情報を取得するステップを含む、請求項１１に記載の方法。
13. 前記超音波画像信号を受信する時間利得制御回路を更に含み、
    前記時間利得制御回路は、アーチファクトの前記特定に応答して、特定されたアーチファクトの画像深度における利得を低減する、請求項１に記載の超音波診断撮像システム。
14. 前記ニューラルネットワークモデルは更に、前記時間利得制御回路に結合され、特定されたアーチファクトの前記画像深度を前記時間利得制御回路に通信する、請求項１３に記載の超音波診断撮像システム。
15. 前記ニューラルネットワークモデルは更に、ＴＧＣ利得を低減し、アーチファクトについて、再取得された超音波画像を反復的に解析する、請求項１３に記載の超音波診断撮像システム。

Images