JP2021516090A - 超音波検査にアノテーションを付けるための方法および装置 - Google Patents

Abstract

超音波イメージングシステムは通常の動作状態および二以上の低パワー状態でシステムを動作するようにプログラムされたプロセッサを含む。プロセッサは所定の制限時間内に組織が撮像されなかった、またはイメージングシステムもしくはトランスデューサが制限時間内に動かなかった等の一または二以上の動作状態を検出すると動作パワー状態を低パワー状態に低下させる。パワーオフ状態が解除されると、プロセッサはトランスデューサが組織を撮像するために位置付けられるまでに不要なパワーを使用することを回避するために通常の動作状態での動作の前に低パワー状態を実行する。【選択図】図１

Description

本開示技術は概して超音波イメージングシステムに関し、特にはピクトグラフを超音波画像に関連付けるためのシステムに関する。

当業者には理解されるように、多くの現代の超音波イメージングシステムは圧電材料のシートで形成されるいくつかの個々のトランスデューサ素子を有するトランスデューサから音響信号を作成することにより稼働する。素子に電圧パルスを印加することで素子は物理的に変形し、それにより対応する超音波信号が生成される。信号は、信号の一部がトランスデューサに反射してエコー信号として戻る関心領域に移動する。エコー信号がトランスデューサ素子に作用すると、素子が振動し、電子信号として検出される対応する電圧を生成する。複数のトランスデューサ素子からの電子信号は結合され、振幅、周波数、位相シフト、パワー等の結合された信号の特性を決定するために分析される。これらの特性は定量化され、関心領域の画像を作成するために使用される画素データに変換される。

超音波検査者が患者の超音波検査を実行する際、医療記録に格納される画像のうち一または二以上を選択するのが一般的である。典型的に、超音波検査者により選択される画像はいくつかの一般的な視野角のうち一つから取得される。例えば、心臓を撮像する場合、胸郭を通して、または胸郭の下で心筋の明瞭な像を取得することのできるいくつかの周知の、または標準化された体の位置がある。画像に示される患者の解剖学的構造の像を識別することを支援するために、超音波検査者はしばしば画像にピクトグラフ（ピクトグラムと呼ぶこともある）を関連付けるかまたは配置する。ピクトグラフは特定の位置および／または視野角から見た組織タイプまたは画像の特徴を表す単純化された超音波画像または他の記号である。いくつかの実施形態では、ピクトグラフは「Ｌｉｖｅｒ」、「Ｈｅａｒｔ」、「Ｍｉｔｒａｌ Ｖａｌｖｅ」等のテキストのアノテーションとすることもでき、またはこれらを含むこともできる。ピクトグラフは超音波検査者または医師にとって即座に認識可能であり、患者から取得された実際の超音波画像を解釈することを支援するために使用される。

現在の超音波イメージングシステムでは、多くの可能性のある組織タイプまたは画像の特徴および視野角に関連付けられたピクトグラフはイメージングシステムのメモリに格納される。超音波検査者が画像にピクトグラフを追加したい場合、超音波検査者は全ての利用可能なピクトグラフから特定のピクトグラフを選択しなければならない。システムには組織タイプによりピクトグラフを分類するものもある。例えば、肝臓組織用のピクトグラフのサブセットは一つのフォルダに格納され得る一方で心臓組織用のピクトグラフの別のサブセットは別のフォルダ等に格納される。ピクトグラフが組織タイプごとに格納されていても、オペレータは依然として正しいフォルダを検索し、保存される画像を取得するために使用されるプローブの向きに最も一致したピクトグラフを選択しなければならない。その結果プロセスはやや煩雑になり、それにより超音波検査者は保存される超音波画像との最も近い一致を有する一または二以上を選択するために複数のピクトグラフを見なければならない。

これらおよび他の懸念に対処するため、本開示技術は超音波検査者により取得される超音波画像に対応する一または二以上のピクトグラフを自動的に示す超音波イメージングシステムに関するものである。超音波検査者は超音波画像に関連付けて格納された一または二以上の示されたピクトグラフからピクトグラフを選択することができる。

一実施形態では、超音波イメージングシステムは画像に示されているかまたは示されていない特徴に基づいて画像を分類するための訓練された畳み込みニューラルネットワーク等の人工知能を用いる。プロセッサは次に分類された画像に対応する一または二以上のピクトグラフを示す。プロセッサは分類された画像に対応し、超音波画像にアノテーションを付けるために超音波検査者が選択する可能性のあるピクトグラフのサブセットを示す。

別の実施形態では、超音波検査のタイプはその検査のタイプに必要な一または二以上の所望の超音波画像の視野（ｖｉｅｗ）に関連付けられる。訓練された畳み込みニューラルネットワーク等のニューラルネットワークは超音波検査者により取得された複数の超音波画像の超音波データを比較し、必要な超音波像に対応する一または二以上の画像を識別する。オペレータは特定の検査の患者の記録へのストレージのために識別された画像のうち一または二以上を承諾することができる。

本開示技術の一実施形態による、代表的な超音波イメージングシステムを例示する。 本開示技術の一実施形態による、入力超音波画像の特徴を分類するために使用される代表的な畳み込みニューラルネットワークを例示する。 本開示技術の一実施形態による、超音波イメージングシステムにおいて使用するためのニューラルネットワークを訓練するプロセスを例示する。 本開示技術の一実施形態による、超音波画像にアノテーションを付けるためにオペレータにより選択されることのできるいくつかの示されたピクトグラフを有する代表的な超音波画像を例示する。 本開示技術の一実施形態による、一または二以上のピクトグラフを超音波画像に関連付けるためにプロセッサにより実行されるステップのフローチャートである。 本開示技術の別の実施形態による、心臓の検査に必要な視野を表す一対のピクトグラフおよび必要な視野に対応するニューラルネットワークにより選択された対応する超音波画像を例示する。 本開示技術の別の実施形態による、検査のタイプに必要な視野に対応する一または二以上の超音波画像を識別するためにプロセッサにより実行されるステップのフローチャートである。 本開示技術の別の実施形態による、イメージングパラメータが撮像されている解剖学的構造のタイプに対して適切であることを確認するためにプロセッサにより実行されるステップのフローチャートである。

図１は本開示技術の一実施形態による代表的な超音波イメージングシステム１０を示している。超音波イメージングシステムは一または二以上のイメージングトランスデューサ２０を含む、ポータブル、手持ち式またはカートベースシステムのタイプであり得る。イメージングトランスデューサ２０は音響超音波信号を生成し、対応する超音波エコーを検出する。超音波イメージングシステム内の画像処理回路は超音波エコーに対応する電子信号を受信し、検査されている区域の一連の画像３０を生成するために信号を処理する。超音波イメージングシステム１０は一般的に超音波画像が表示される一または二以上のビデオディスプレイを有する。ディスプレイのうち一または二以上はタッチセンサ式であってもよく、それによりオペレータはディスプレイ上のグラフィックユーザインタフェースを用いて、またはキーボード、トラックボール、タッチパッド、ボタン、音声コマンド等のイメージングシステム上のより一般的な入力デバイス自体を使用することにより、イメージングシステムを操作することができる。いくつかの実施形態では、超音波イメージングシステムは有線または無線通信リンクを介してリモートサーバ、タブレット、ラップトップ、スマートフォン等の補助ディスプレイまたはコンピューティングデバイス（図示されていない）に接続され得る。補助コンピューティングデバイスは別のビデオスクリーン、入力デバイスとして、および／またはイメージングシステムに追加の計算能力を提供するために使用することができる。

上記で示されたように、超音波検査者は検査中の組織タイプまたは画像の特徴を表し、超音波画像３０が取得される視野（イメージングプローブの方向）に固有のものであり得るピクトグラフ３２を用いて超音波画像にアノテーションを付けたい場合がある。ピクトグラフは単純化された画像、グラフィックシンボルまたはテキストアノテーションであるため、ピクトグラフ３２は実際の超音波画像が何を示そうとしているのかを理解する際に放射線科医、医師または超音波検査者を支援するのに役に立つ。特定の超音波画像に適した対応するピクトグラフを選択するタスクを単純化するために、超音波イメージングシステム１０内のプロセッサ（例えば、ＣＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、専用集積回路またはプロセッサの組合せ等）は超音波画像３０を分類するための人工知能を用いる。一つの実施形態では、オペレータが特定のピクトグラフを関連付けたい画像をキャプチャすると、オペレータは例えばスクリーン上のＧＵＩに触れること、ボタンを押下すること、音声コマンドを発言すること等によりコマンドを入力し、プロセッサに画像に対応する一または二以上のピクトグラフを識別させる。プロセッサはプロセッサ可読メモリに格納された一連の命令を実行し、従来のニューラルネットワーク４０等の訓練されたニューラルネットワークを実装するために予め構成されたロジックに従って操作するように構成される。ニューラルネットワーク４０は画像に示されている（または示されていない）画像の特徴に基づいて入力された超音波画像（または画像の一部）を分類するために訓練される。例えば、画像はいくつかの異なる組織タイプまたは画像の特徴（心臓組織、肝臓組織、胸部組織、腹部組織、膀胱組織、腎臓組織、心臓弁、血管等）の一つとして分類することができる。一つの実施形態では、ニューラルネットワーク４０は画像がいくつかの特定の分類（組織タイプ、画像の特徴、画像内の特定の特徴の欠如またはニューラルネットワークが認識するために訓練される他の基準）に対応する可能性がどれほどあるかを表す計算された値のリストを返す。このような計算された値は画像が特定の組織タイプである確率（例えば、心臓組織＝０．７２）または画像が特定の解剖学的特徴を包含する確率（頸動脈＝０．８７）もしくは画像の特徴を欠く確率（腎臓組織無し＝０．８７）等であり得る。ニューラルネットワークからの決定された確率を受け取る際、プロセッサは超音波イメージングシステムのピクトグラフライブラリ５０または他のメモリに格納され、分類された画像に対応する一または二以上のピクトグラフを再び呼び出すようにプログラムされる。いくつかの実施形態では、訓練されたニューラルネットワークは超音波イメージングシステムそのものに存在する。しかしながら、超音波イメージングシステムがコンピュータ通信リンクに接続されている場合、次に訓練されたニューラルネットワークはリモートコンピュータシステムに設置され、イメージングシステムのプロセッサにより提供される分析するための画像を供給することができる。

ピクトグラフライブラリ５０は画像の特徴により分類される様々なピクトグラフへのリンクを有するデータベースとしてアレンジされてもよく、または画像の特徴により分類されるピクトグラフを包含する一連のフォルダであってもよい。例えば様々な画像の特徴を特定するメタデータを有するピクトグラフをタグ付けすることによるメモリ内のピクトグラフを整理する他の方法も可能である。いくつかの実施形態では、プロセッサは離れて設置されたコンピューティングデバイスから対応するピクトグラフのリクエストを作成するようにプログラムされ得る。例えば、超音波イメージングシステム内のプロセッサは心臓組織もしくは肝臓組織、または頸動脈の欠如等に対応するリモートコンピューティングデバイス上に格納された全てのピクトグラフの送信を依頼することができる。

いくつかの実施形態では、プロセッサは超音波イメージングシステムまたは補助システムのビデオディスプレイスクリーン上の分類された画像に対応するピクトグラフのうち一または二以上を表示し、オペレータは超音波画像３０に関連付けるかまたはアノテーションを付けるために彼らが使用したいピクトグラフ（複数含む）を選択することができる。例えば、ニューラルネットワークが「心臓組織＝０．９８」等の確率値を返す場合、プロセッサはピクトグラフライブラリ内のフォルダ、ピクトグラフデータベース、またはリモートコンピューティングデバイスからの心臓組織に関連付けられたピクトグラフのうち一または二以上を検索するためのプログラムステップを実行する。いくつかの実施形態では、二以上のニューラルネットワークを使用することでより詳細なピクトグラフを検索することが可能になる。例えば、第一のニューラルネットワークが組織のタイプを識別し、「心臓組織＝０．９８」等の値を返すように訓練される場合、次に分類された画像は画像が特定の視野からのものである可能性がどれほどあるかの確率値を返すように構成された第二の心臓固有のニューラルネットワークに提供することができる。第二のニューラルネットワークが「心尖部像＝０．９２」等の値を返す場合、次に心臓の心尖部像に対応するピクトグラフのうち一または二以上が対応するピクトグラフ（複数含む）を検索するためのコマンドに応答して選択するために検索され、オペレータに対してビデオディスプレイスクリーン上に示されることができる。他の実施形態では、単一のニューラルネットワークは画像内に示される組織タイプおよび視野の両方により画像を分類するために訓練される。

いくつかの超音波イメージングシステムにより、オペレータが特定の検査タイプのためにシステムをプログラムすることまたは特定のタイプの組織のためにイメージングパラメータを調整することが可能になる。例えば、オペレータは腹部の検査のためまたは心臓組織等を撮像するために最適化されたイメージングパラメータを選択し得る。いくつかの実施形態では、超音波イメージングシステムは実行されている検査のタイプの記録を保持することができ、また検査のタイプのセットまたはオペレータにより設定されるイメージングパラメータの値を訓練されたニューラルネットワーク（複数含む）により決定される画像の分類と比較することができる。一つの実施形態では、オペレータがピクトグラフに関連付けたい組織の画像を取得すると、オペレータはプロセッサにニューラルネットワーク（複数含む）へ画像を供給させるためにコマンドを入力する。ニューラルネットワークにより分類された画像がそのタイプの検査に使用されるイメージングパラメータに対応する場合、次にプロセッサはニューラルネットワーク４０により識別される組織のタイプにより高い確率を割り当てることができる。イメージングシステム上の検査のタイプのセットまたはイメージングパラメータがニューラルネットワークによる画像の分類に一致しない場合、プロセッサは、オペレータに超音波イメージングシステム上の設定を確認するように依頼してもよく、オペレータが設定をニューラルネットワークにより識別される組織のタイプに最適なものに変更することを提案してもよい。例えば、肝臓の超音波画像をキャプチャする際、オペレータは画像に適した関連するピクトグラフを識別するためにコマンドを開始する。ニューラルネットワークは画像内の組織のタイプが心臓組織である高い確率を有する画像を分類する。プロセッサはこの結果をイメージングシステムのプログラム方法の記録と比較し、撮像された解剖学的構造のタイプ（例えば、心臓組織）が実行されている検査のタイプ（例えば、肝臓の検査）に対応しないことを決定する。プロセッサはしたがって検出された組織のタイプにより適合するようにイメージングパラメータを変更すること（もしくはイメージングシステムにイメージングパラメータを選択させること）、またはいくつかの実施形態ではオペレータが彼らが設定したイメージングパラメータを用いて継続したいか確認することをオペレータに促進するようにプログラムされる。いくつかの実施形態では、プロセッサによる画像の分類はユーザにピクトグラフを画像に関連付けるように依頼させることなく実行することができる。例えば、検査中に生成される最初の少数の画像は検査タイプまたはイメージングパラメータが検出される組織のタイプに最適であることを確認するために分類され得る。

図２は入力超音波画像１２０を分類するように構成された訓練されたニューラルネットワーク１００の一つの可能性のある実施形態を例示している。当業者により理解されるように、デジタル画像に示されているかまたは示されていない特徴を識別するために使用することのできる多数のタイプのニューラルネットワークが存在する。画像分析のためのより一般的なネットワークの一つは畳み込みニューラルネットワークである。一つの実施形態では、訓練された畳み込みニューラルネットワークは所定のサイズ（例えば３２０×３２０画素値のマトリクスまたは別のサイズであり、正方形であってもなくてもよい）の入力画像を取得し、画像にいくつかのフィルタ（例えばフィルタ値のマトリクス）を畳み込む。カラーの超音波画像のケースでは、各画素は一般的に赤、緑および青の色成分の画素強度値を格納する。フィルタは各色成分の画素強度数を用いて畳み込まれる。フィルタは画像内の特徴に反応するように設計される。複数の畳み込みステップを使用することができる。多くの畳み込みネットワークにおいて、出力マトリクス内の単一の入力を定義するためにマトリクス値（例えば５×５等）のグループを分析することおよびそれらの最大値、平均値等を取得することにより出力マトリクスのサイズを低減するプール化が実行される。プールされた値にさらなる畳み込みを実行することができる。使用されるニューラルネットワークのタイプに応じて、フィルタリングおよびプールされた値は、例えば画像が特定の分類を有する可能性がどれほどあるかを表示する完全に接続された層に値を提供することによりさらに処理される。例えば、完全に接続された層は入力画像が異なる組織タイプに対応する可能性のパーセンテージを備える出力を提供することができる。図２に示される例では、訓練されたニューラルネットワークは入力画像が心臓、肝臓、腹部、胸部または膀胱の解剖学的特徴等の様々な組織タイプを表す可能性がどれほどであるかの推定（確率）を生成する。一つの実施形態では、プロセッサは確率値を受信し、最も可能性があると決定された組織タイプを表す一または二以上のピクトグラフを検索するようにプログラムされる。さらに分類が必要な場合、次にプロセッサは画像をさらに分類するために一または二以上の他のニューラルネットワークに分類された画像を提供する。例えば、心臓組織の画像は、胸骨傍、心尖部、肋骨下または胸骨上のノッチビュー等、このような画像が取得される視野を識別するように訓練されたニューラルネットワークにおいて分類されることができる。プロセッサは画像がこれらの異なる視野の各々を表す可能性を受信し、最も可能性があると決定された組織タイプおよび視野を表すピクトグラフを検索することができる。

図３はいくつかの超音波画像を分類するためにニューラルネットワークを訓練するための一つの代表的なシステムを例示している。一つの実施形態では、画像の特徴により分類された超音波画像１２０の多く（例えば数千以上）のトレーニングセットは典型的に利用可能なソフトウェアパッケージを用いて作成されるニューラルネットワーク１４０に供給される。ニューラルネットワーク１４０は画像内の特徴の存在または欠如を分類するために画像１２０を用いて訓練される。いくつかの実施形態では、ニューラルネットワークのノードのためのフィルタおよびバイアス値は最初に与えられるランダムな値であり、訓練システムは次に誤って分類される画像の誤り率を低減するパラメータ値に対する変更を識別するために数学的な検索技術を使用する。訓練プロセスの結果はニューラルネットワーク１４０が所望の正確性のレベルの範囲内で訓練画像を正確に識別または分類することを可能にするネットワークパラメータ値のセットである。訓練セット内の訓練画像の数が大きくなるほど、ネットワークパラメータ値は正確になり得る。ニューラルネットワークが訓練されると、様々なパラメータの値は超音波イメージングシステムにより取得される画像等の実際の画像を分類するためにニューラルネットワーク１４０により使用される。他の実施形態では、訓練されたニューラルネットワークは超音波イメージングシステムのプロセッサとは異なるプロセッサにより実装される。ニューラルネットワークがどのように動作するか、および分類された入力訓練画像のセットに基づいてそれらがどのように訓練されるかについての詳細は人工知能分野の当業者には周知である。

図４は超音波検査者により取得された超音波画像１５０および訓練されたニューラルネットワークに超音波画像１５０のデータを提供した結果超音波イメージングシステムにより選択され、ビデオディスプレイ上に示されるいくつかのピクトグラフ１５２、１５４、１５６を例示している。この例では、ニューラルネットワーク（複数含む）は、左右の心室の断面図を示す肋骨下の窓を使用して画像１５０が心臓組織を表す可能性が最も高いことを決定する。イメージングシステム内のプロセッサはニューラルネットワークから画像分類を受信し、次にメモリから最も可能性が高いと決定された組織および視野タイプに対応する一または二以上のピクトグラフを検索してそれらをビデオディスプレイおよび／または補助システムに表示する。

表示されたピクトグラフ１５２、１５４、１５６を用いて、オペレータは超音波画像に関連付けるための一または二以上のピクトグラフを選択することができる。示されている例では、ピクトグラフ１５２、１５４および１５６は全て心臓組織および肋骨下の視野に関連付けられる。一つの実施形態では、オペレータは次に患者の医療記録に含めるために超音波画像１５０に関連付けられる示されたピクトグラフのうち一または二以上を自由に選択する。いくつかの実施形態では、ピクトグラフは各ピクトグラフの可能性がどれほど高いかの表示が最も可能性が高いものから最も可能性が低いものへ、またはその反対に分類された画像に対応する順序でビデオモニタ上にそれらを表示することにより示される。別の実施形態では、ピクトグラフは、各ピクトグラフが分類された画像に対応する可能性がどれほど高いかを表示する方法（緑＝最も可能性が高い、赤＝最も可能性が低い等）でカラーコード化される。さらに別の実施形態では、ピクトグラフは、各ピクトグラフが分類された画像に対応する可能性がどれほど高いかを表示する視覚的合図（数、スコア、最も可能性が高い、最も可能性が低い等の言葉の記述）を用いて示される。ピクトグラフの提示は識別された組織タイプに対応するこれらのピクトグラフ全てを示すことを含み得る。例えば、ニューラルネットワークが画像を心臓組織を示すものと分類する場合、次に心臓組織に対応するピクトグラフのみが示される。別の実施形態では、ピクトグラフは分類された画像に対応しないピクトグラフを示さないことにより示される。例えば、画像が心臓組織を示すものと分類される場合、次に腎臓組織に対応するピクトグラフは示されない。いくつかの実施形態では、恐らく超音波画像に対応するピクトグラフのサブセットのみが即座に示される。オペレータが最も可能性の高いピクトグラフを容易に識別することができるように、このようなピクトグラフはそれらの信頼値を用いて、またはカラーコード等により示されることができる。オペレータが示されたピクトグラフのいずれかが気に入らない場合、彼らはわずかに可能性の低い候補である他のピクトグラフを見ることができる。いくつかの実施形態では、ピクトグラフの可能性のあるセットが超音波イメージングシステム自体に格納される必要は無い。オペレータに示されるピクトグラフは、ニューラルネットワークにより識別される画像の分類（複数含む）を特定するリクエストに応答して有線または無線通信リンクを介してローカルメモリまたはリモートソースのメモリから検索されることができる。

訓練されたニューラルネットワークにより決定される画像分類に基づいて示される一または二以上のピクトグラフを用いて、プロセッサは、もしあれば、どのプログラムが選択されるかを決定するようにプログラムされる。オペレータがＧＵＩに供給されるコマンド、音声コマンド、ボタン押下等を使用して所望のピクトグラフを選択すると、超音波画像は選択されたピクトグラフと共に格納されることができる。いくつかの実施形態では、ピクトグラフの画素は超音波画像の画素とブレンドされ、他の実施形態では、超音波画像はどのピクトグラフが画像と共に表示されるか、およびピクトグラフが画像のどこにオーバーレイとして現れるかを表示するメタデータと共に格納される。

いくつかの実施形態では、ニューラルネットワークは画像内のどこにピクトグラフを配置するかを識別するために訓練される。例えば、ピクトグラフが腎臓を表している場合、訓練されたニューラルネットワークは画像内の腎臓の顕著な特徴を識別するように構成される。腎臓組織を含むものとして分類された画像は、顕著な特徴を包含する画像の各部分の確率を返す訓練されたニューラルネットワークに与えられる。最も確率の高い画像の部分または区域は顕著な特徴に隣接するピクトグラフを配置するための位置としてプロセッサにより使用される。あるいは、ピクトグラフに関連付けられたラベルは画像内の識別された特徴に隣接して配置されることができる。いくつかの実施形態では、ニューラルネットワークは画像内のフリースペースを検出するために訓練され、ピクトグラフまたはアノテーションを配置するための位置として使用されることができる。ユーザがピクトグラフまたはラベルのために選択された位置が気に入らない場合、ユーザはそれらを画像内の新しい位置に自由に移動させることができる。

この実施形態では、訓練されたニューラルネットワークおよびプロセッサは任意の特定の超音波画像のための対応するピクトグラフを見つけるためにオペレータにより見られる必要のある可能性のあるピクトグラフの数を限定するために動作する。理解されるように、超音波イメージングシステムにより作成された画像に関連付けられたピクトグラフを選択するためにオペレータが見なくてはならないピクトグラフの数を低減することにより、ワークフローの速度が上昇し、検査のプロセスが単純化される。

前述の実施形態では、ニューラルネットワークに供給される画素値は色の明度値である。黒および白の画素は、例えば黒および白の超音波画像を分類するために訓練されるニューラルネットワークへの入力として明度強度値のみを供給することにより使用されることもできることを理解されたい。いくつかの実施形態では、画像のためのプレスキャン変換データ、ビーム形成されたエコーデータ、またはＲＦデータ等であるが、これらに限定されない、画像のためのプレ画素データは画像を分類するためにニューラルネットワークに提供されることができる。

図５は本開示技術の一つの実施形態に即して超音波画像に関連付けられることのできる一または二以上のピクトグラフを決定するためにプロセッサにより実行されるステップのフローチャートである。ステップは説明の容易さのために特定の順序で記述されているが、ステップは異なる順序で実行することができること、または記載される機能性を達成するために代わりのステップを実行することができることを理解されたい。

１６０において開始すると、超音波イメージングシステムのプロセッサは患者に送信される超音波信号に応答して、および患者から受信する超音波エコー信号から超音波画像を作成するためにイメージングモードで動作する。１６２において、プロセッサは超音波イメージングシステムに超音波画像をキャプチャさせる「フリーズ（ｆｒｅｅｚｅ）」ボタンまたは類似の特徴をオペレータがアクティブにしたかどうかを検出する。オペレータが画像データをキャプチャすると、超音波イメージングシステムは画像に対応する一または二以上のピクトグラフを決定するためのステップの実行を開始する。

１６４において、プロセッサはキャプチャされた画像データを一または二以上の画像の特徴を有しているかまたは有していないかにより画像を分類するために畳み込みニューラルネットワーク等の一または二以上の訓練されたニューラルネットワークに提供する。１６６において、プロセッサはニューラルネットワーク（複数含む）の出力を受信する。ネットワークがどのように設計されているかに応じて、このような出力は一または二以上の組織タイプに対応する入力画像の確率を備えることができる。いくつかの実施形態では、ニューラルネットワークは画像が所定の組織タイプである確率を表すいくつかの値（例えば０．０５，０．０５，０．０５，０．８，０．０５等）を返す。

１６８において、プロセッサは次に分類された画像に関連付けられたピクトグラフのうち一または二以上を受信する。例えば、ニューラルネットワークが特定の画像を心臓組織の高い確率を有すると識別した場合、プロセッサはメモリから心臓組織を表すピクトグラフを再び呼び出す。このようなピクトグラフはローカルメモリから、離れた場所または補助デバイス（ラップトップ、リモートサーバ、スマートフォン等）からピクトグラフの画素値（もしくはテキスト）を検索するために使用される名称により、またはＩＤナンバーにより識別されることができる。例えば、プロセッサは離れた場所または補助デバイスに識別されたピクトグラフのＩＤナンバーまたは分類された画像タイプの表示を送信し、対応するピクトグラフを受信することができる。

１７０において、プロセッサはオペレータに入力画像の分類に対応するピクトグラフを示す。オペレータは次に患者の記録内の超音波画像にもしあればピクトグラフのうちどれがブレンドされるか、または関連付けられて格納されるかを選択することができる。いくつかの実施形態では、ステップ１７０はプロセッサによりスキップすることができ、分類された入力画像に最も密接に対応するピクトグラフはオペレータにピクトグラフを承認することを必要とすることなく入力画像にブレンドされるか、またはそれと共に格納されることができる。その結果、本開示技術のいくつかの実施形態では、超音波イメージングシステムはオペレータに検査タイプに関連付けられた全ての可能性のあるピクトグラフから特定のピクトグラフを選択させることなく入力画像に対応するピクトグラフを素早く識別することができ、それによりワークフローを速くし、より容易な検査プロセスを提供する。

前述の実施形態では、ユーザが「フリーズ」ボタンまたは類似の特徴を打つと画像がニューラルネットワークに送信される。他の実施形態では、作成された画像のための対応するピクトグラフを識別するために連続的な、またはユーザが検査を完了した時等のユーザ入力を必要とすることなく画像がニューラルネットワークに送信される。

本開示技術の別の実施形態では、超音波検査者はいくつかの超音波画像を作成するために超音波イメージングシステムを操作し得る。超音波検査者はしたがってどの画像（複数含む）を患者の記録に保存すべきかを選択しなければならない。例えば、患者のワークシートまたは特定の検査タイプのための他のルールセットは三つの異なる視野から取得される心臓の画像を必要とし得る。

この実施形態では、ニューラルネットワークは超音波画像が特定の視野を表す可能性を決定するために訓練される。一つの実施形態では、特定の検査タイプのためのルールセットはどの視野が患者の報告に含まれるべきかを定義する。訓練されたニューラルネットワークは任意の特定の画像が所望の視野を表す可能性がどれほど高いかを決定するために超音波検査者により取得される超音波画像のうち一または二以上を分析する。所望の視野を表す最も高い確率を有する画像は患者の記録に含めるためにオペレータに示されることができる。例えば、ｉｍａｇｅ−１が必要とされる視野を表す０．８７の確率を有し、ｉｍａｇｅ−２が必要とされる視野を表す０．９１の確率を有する場合、次にｉｍａｇｅ−２が患者の記録に組み入れられる可能性のあるものとしてオペレータに示される。必要とされる視野に最も類似する画像（複数含む）はしたがって患者の報告に含める可能性のあるものとしてプロセッサにより自動的に選択される。いくつかの実施形態では、選択された画像に関連付けられたピクトグラフはまた患者の記録に含めるために選択される画像にブレンドされるかまたは関連付けられる。

図６は特定の検査タイプのための異なる視野を用いて取得された必要とされる心臓の超音波画像を表す二つのピクトグラフ１８０、１８２を示している。検査タイプのためのルールは超音波検査者が患者の記録内のこれらのピクトグラフに対応する画像を含むことを必要とする。超音波イメージングシステムは、超音波イメージングシステムによりキャプチャされる全ての画像を手動で評価するのではなく、一または二以上の訓練されたニューラルネットワークにいくつかの超音波画像を提供する。訓練されたニューラルネットワークは一または二以上が所望の視野に対応するかどうかを決定するために画像を分類するために動作する。一または二以上の画像１８４が所望の視野に対応すると識別されると、識別された画像はどの画像（複数含む）が患者の報告に含まれるべきかを選択するためにオペレータに示されることができる。いくつかの実施形態では、プロセッサは画像が所望の視野に対応する可能性がどれほど高いかによりランク付けされた順序で識別された画像を示し、ユーザはどの画像を患者の報告に含むかを選択することができる。

いくつかの実施形態では、ニューラルネットワークにより所望の視野に対応する最も高い確率を有するものと決定された超音波画像は、オペレータに二以上の可能性のある超音波画像の提示から画像を選択させることなくプロセッサにより患者の記録に組み入れられる。

いくつかの実施形態では、いくつかの別々に訓練されたニューラルネットワークがあってもよく、各々は画像の異なる特徴を分類するように訓練される。例えば、第一のニューラルネットワークは画像内の組織のタイプを識別するように構成されることができ、組織固有のニューラルネットワークの別のセットは異なる組織タイプの像を識別するように訓練される。プロセッサはしたがって画像を分類し、それが必要とされる視野を表すかどうかを決定するために一連のニューラルネットワークに画像を提供するようにプログラムされる。

いくつかの実施形態では、特定の検査のためのルールは所望の視野を表すピクトグラフにより定義され得る。いくつかの実施形態では、ピクトグラフは例えばピクトグラフにより示される組織タイプおよび視野を表すメタデータに関連付けられる。プロセッサは必要とされる組織および視野のタイプを決定するため、および画像が所望の視野を表すかどうかを決定するために、対応するニューラルネットワークに超音波画像データを提供するためにメタデータを分析するようにプログラムされる。

図７は所望の視野を表す超音波画像を識別するために本開示技術の一つの実施形態に従う超音波イメージングシステムのプロセッサにより実行される一連のステップを示している。ステップは説明の容易さのために特定の順序で記述されているが、ステップは異なる順序で実行することができること、または記載される機能性を達成するために代わりのステップを実行することができることを理解されたい。１９０において開始すると、プロセッサはオペレータにより実行されている検査のタイプを決定して記録する。１９２において、プロセッサは実行されている検査のタイプのために必要とされる一または二以上の超音波像を決定する。必要とされる視野は超音波イメージングシステムのソフトウェア内にプログラムされ得る。あるいは、必要とされる視野はオペレータにより記入されるべき患者のワークシートにより特定されることができる。他の実施形態では、必要とされる視野はどのタイプの検査が実行されているかの超音波イメージングシステムからの提出に応答してリモートコンピュータもしくは補助コンピュータまたはスマートフォンにより特定される。例えば、患者が特定の視野を必要とする所定の保険プランを有する場合、超音波イメージングシステムは保険会社に「患者ＩＤ、検査タイプ」を備えるメッセージを送信し、またどの視野が払い戻しのために必要とされるのかの表示を受信することができる。必要とされる視野は必要とされる組織タイプおよび視野を表示するメタデータを備えるピクトグラフによりコード化または特定され得る。

１９４において、オペレータはイメージングプロセスを開始し、１９６において、イメージングシステムにより生成された画像がシネバッファまたは他のメモリに格納される。１９８において、格納された画像のための超音波画像データは画像を分類するために一または二以上の訓練されたニューラルネットワークに提供される。

２００において、プロセッサは画像データが必要とされる視野に対応するかどうかを決定する。対応する場合、超音波システムは好ましくは所望の視野が取得されたことをオペレータに通知する。このような通知の例は対応する画像が取得される聴覚または視覚キューを含むことができる。所望の視野がピクトグラフにより表される場合、通知は所望の視野に対応するピクトグラフによるチェックを配置するか、または異なる色でピクトグラフを示すことができる。他の通知または表示はディスプレイスクリーン上で、またはスピーカー等からユーザに提供される印刷されたメッセージまたは聴覚的合図を含むことができる。２０４において、プロセッサは全ての必要とされる視野が取得されるかどうかを決定し、システムは通知または表示を全ての必要とされる画像が取得されるユーザに提供する。対応しない場合、ユーザは一または二以上の必要とされる視野が未だ取得されていないという事実を通知されることができ、処理は１９４に戻ってさらに多くの画像が取得される。全ての必要とされる視野が取得される場合、次に検査は２０６で終了することができる。

いくつかの実施形態では、必要とされる視野に対応する画像を識別するためにニューラルネットワークを用いて画像が分析される前に、ユーザは検査の終了を特定する「検査の終了」制御または他のキーを押下する。あるいは、プロセッサは例えば検査が終了したことを推測するためにトランスデューサを移動させることまたはオペレータ制御と相互作用させることによりオペレータが閾値時間を超えてマシンと相互作用していないことを検出し得る。

上記で示されたように、いくつかの実施形態では、プロセッサは、オペレータが選択を確認することを必要とすることなく患者の記録に組み入れるための超音波画像を自動的に選択するためにプログラムステップを実行する。

いくつかの実施形態では、超音波画像全体がニューラルネットワーク（複数含む）に提供される。他の実施形態では、画像の一部がニューラルネットワークに提供される。例えば、画像を定義する画素のより小さなサブセットはニューラルネットワークに送信されることができる。スライディングウィンドウはどの画素値がニューラルネットワークに送信されるべきかを選択することができる。このようにして、プロセッサは画像のどの部分が必要とされる画像に最も密接に対応するかを決定することができる。理解されるように、画素値の複数のスライディングウィンドウを適用することにより超音波画像全体を訓練されたニューラルネットワークに提供することと比較して処理時間が増加する。

上記で示されたように、いくつかの実施形態では、本開示技術は超音波システムのオペレータが実行されている検査のタイプのための正確な設定を使用していることを確認するために使用される。図８は画像設定がキャプチャされている実際の画像に適切であるかまたは正確であることを確認するためにプロセッサにより実行されるステップのシーケンスを示している。本明細書で使用される「適切（ａｐｐｒｏｐｒｉａｔｅ）」または「正確（ｃｏｒｒｅｃｔ）」は生成される画像がイメージングパラメータを変化させることで大きく改善することができないことを意味する。適切または正確なイメージングパラメータは最適である必要はないが十分に密接であり、そのため熟練した超音波検査者はパラメータが最適からかけ離れていると即座に理解し得ない。ステップは説明の容易さのために特定の順序で記述されているが、ステップは異なる順序で実行することができること、または記載される機能性を達成するために代わりのステップを実行することができることを理解されたい。

２５０において開始すると、超音波システム内のプロセッサは画像内に示されている組織のタイプを識別するために保存された画像を訓練されたニューラルネットワークに供給する。２５２において、プロセッサは訓練されたニューラルネットワークから戻された識別された組織のタイプを受信する。２５４において、訓練されたニューラルネットワークにより識別される組織のタイプが超音波イメージングシステムまたは選択された検査のタイプに設定された（ゲイン、フレームレート、ライン密度、音響パワー、セクターサイズ、利用可能なワークシート等であるが、これらに限定されない）プリセットされたイメージングパラメータに対応するかどうかを決定する。例えば、オペレータが肝臓の撮像に最適な選択されたイメージングパラメータを有し、ニューラルネットワークにより識別される組織が心臓組織である場合、次に超音波システムはユーザが超音波イメージングパラメータの正確なセットが選択されていることまたは正確な検査のタイプが２５６において設定されていることのいずれかを確認するように促すことができる。超音波イメージングシステム上のイメージングパラメータまたは検査のタイプが検出された組織タイプに対応する場合、次にプロセスはイメージングパラメータまたは検査タイプを確認／修正することを薦めることなく２５８において終了する。この実施形態におけるニューラルネットワークはしたがってイメージングパラメータの正確でないセットが検査を実行するために使用されている可能性を低減するために動作する。

本明細書に記載の主題および動作の実施形態はデジタル電気回路において、もしくはソフトウェア、ファームウェア、もしくは本明細書で開示される構造およびそれらの構造等価物を含むハードウェアにおいて、またはそれらのうち一または二以上の組合せにおいて実装されることができる。本明細書に記載の主題の実施形態は一または二以上のコンピュータプログラム、すなわちデータ処理装置による、またはデータ処理装置の操作を制御するための実行のためにコンピュータストレージ媒体でエンコードされたコンピュータプログラム命令の一または二以上のモジュールとして実装されることができる。

コンピュータストレージ媒体はコンピュータ可読ストレージデバイス、コンピュータ可読ストレージ基板、ランダムもしくはシリアルアクセスメモリアレイもしくはデバイス、もしくはそれらのうち一または二以上の組合せとすることができ、またはこれらに含まれることができる。さらに、コンピュータストレージ媒体は伝搬信号ではないが、コンピュータストレージ媒体は人工的に生成された伝搬信号においてエンコードされるコンピュータプログラム命令の発生源または送信先とすることができる。コンピュータストレージ媒体はまた一または二以上の別々の物理コンポーネントまたは媒体（例えば、複数のＣＤ、ディスク、または他のストレージデバイス）とすることができ、またはこれらに含まれることができる。本明細書に記載の動作は一または二以上のコンピュータ可読ストレージデバイスに格納されたかまたは他の発生源から受信したデータに対してプロセッサにより実行される動作として実装されることができる。

「プロセッサ（ｐｒｏｃｅｓｓｏｒ）」という用語は例としてプログラム可能なプロセッサ、コンピュータ、システムオンチップ、もしくは複数のそれら、または前述のものの組合せを含む、全ての種類の装置、デバイス、およびマシンを包含する。装置は特殊目的論理回路、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途集積回路）を含むことができる。装置はまたハードウェアに加えて、問題のコンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベースマネジメントシステム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらのうち一または二以上の組合せを構成するコードを含むことができる。装置および実行環境はウェブサービス、分散コンピューティングおよびグリッドコンピューティングインフラストラクチャ等の様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。

プロセッサによる実行のためのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）はコンパイルまたはインタプリタ言語、宣言型または手順型言語を含む、任意の形態のプログラミング言語で書かれることができ、またスタンドアロンプログラム、またはモジュール、コンポーネント、サブルーチン、オブジェクト、もしくはコンピューティング環境における使用に好適な他のユニットを含む任意の形態でデプロイすることができる。コンピュータプログラムはファイルシステム内のファイルに対応し得るが、必須ではない。プログラムは他のプログラムもしくはデータ（例えば、マークアップ言語文書に格納された一または二以上のスクリプト）を保持するファイルの一部、問題のプログラム専用の単一のファイル、または複数の統合されたファイル（例えば、一または二以上のモジュール、サブプログラム、もしくはコードの一部を格納するファイル）に格納されることができる。

本明細書に記載のプロセスおよび論理フローは入力データを操作することおよび出力を生成することにより動作を実行するために一または二以上のコンピュータプログラムを実行する一または二以上のプログラム可能なプロセッサにより実行されることができる。プロセスおよび論理フローはまた特殊目的論理回路、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途集積回路）により実行されることができ、装置はまたこれらとして実装されることができる。

コンピュータプログラムの実行に好適なプロセッサは例として汎用および専用マイクロプロセッサ、ならびにあらゆる種類のデジタルコンピュータのうち任意の一または二以上のプロセッサの両方を含む。一般に、プロセッサは読取り専用メモリもしくはランダムアクセスメモリまたは両方から命令およびデータを受信する。コンピュータの本質的な要素は命令に従って動作を実行するプロセッサおよび命令およびデータを格納するための一または二以上のメモリデバイスである。一般に、コンピュータはまたデータを格納するための一または二以上のマスストレージデバイス、例えば磁気、磁気光学ディスク、もしくは光学ディスクを含むか、またはそこからデータを受信するかもしくはそこへデータを送信するために動作可能に結合される。しかしながら、コンピュータはこのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを格納するのに好適なデバイスは例として例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス等の半導体メモリデバイス、例えば内部ハードディスクまたはリムーバブルディスク等の磁気ディスク、磁気光学ディスク、ならびにＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭディスクを含む、不揮発性メモリ、媒体およびメモリデバイスの全ての形態を含む。プロセッサおよびメモリは特殊目的論理回路により補われるか、またはそれに組み入れられることができる。

理解されるように、本開示技術は前述の特定の実施形態に限定されるものではなく、その変化は本発明の範囲から逸脱することなくなされることができる。例えば、開示される実施形態は人間の対象者に関して説明されるが、本開示技術は獣医学の環境においても使用されることができることを理解されたい。したがって、本発明は添付の特許請求の範囲を除いては限定されない。

Claims (21)

1. 超音波イメージングシステムであって、
   プロセッサにより実行可能ないくつかの命令を格納するためのメモリと、
   プロセッサであって、
   超音波画像を分類するように訓練されたニューラルネットワークに画像に適した超音波データを提供し、
   前記ニューラルネットワークによる前記分類に基づいて前記画像に関連付けられ得る一または二以上のピクトグラフを示す
   ための前記命令を実行するように構成されたプロセッサと、
   を備える、超音波イメージングシステム。
2. 前記プロセッサは前記分類された超音波画像に対応する一または二以上のピクトグラフを表示することにより一または二以上のピクトグラフを示すように構成される、請求項１に記載の超音波イメージングシステム。
3. 前記プロセッサは前記分類された超音波画像に対応しない一または二以上のピクトグラフを表示しないように構成される、請求項１に記載の超音波イメージングシステム。
4. 前記プロセッサは各ピクトグラフが前記分類された超音波画像に対応する可能性がどれほど高いかの表示と共に一または二以上のピクトグラフを示すように構成される、請求項１に記載の超音波イメージングシステム。
5. 前記プロセッサは各ピクトグラフが前記分類された超音波画像に対応する可能性がどれほど高いかを表す順序で一または二以上のピクトグラフを示すように構成される、請求項４に記載の超音波イメージングシステム。
6. 前記プロセッサは各ピクトグラフが前記分類された超音波画像に対応する可能性がどれほど高いかを表示する視覚的合図を用いて一または二以上のピクトグラフを示すように構成される、請求項４に記載の超音波イメージングシステム。
7. 前記視覚的合図は各ピクトグラフが前記分類された超音波画像に対応する可能性がどれほど高いかを表示する色である、請求項６に記載の超音波イメージングシステム。
8. 視覚的合図は各ピクトグラフが前記分類された超音波画像に対応する可能性がどれほど高いかを表すスコアである、請求項４に記載の超音波イメージングシステム。
9. 前記プロセッサは前記訓練されたニューラルネットワークへの入力として超音波画像の画素値を提供するように構成される、請求項１に記載の超音波イメージングシステム。
10. 前記プロセッサは前記訓練されたニューラルネットワークへの入力として超音波画像に適したプレ画素画像データを提供するように構成される、請求項１に記載の超音波イメージングシステム。
11. 前記超音波イメージングシステムは異なるタイプの組織を表すいくつかのピクトグラフを格納するためのメモリを含む、請求項１に記載の超音波イメージングシステム。
12. 前記ニューラルネットワークは前記超音波データがいくつかの異なる組織タイプを表す可能性がどれほど高いかの表示を生成するように構成され、前記プロセッサは最も可能性の高い組織タイプに対応する一または二以上のピクトグラフを示すように構成される、請求項１に記載の超音波イメージングシステム。
13. 前記ニューラルネットワークは前記超音波データがいくつかの前記組織の異なる視野を表す可能性がどれほど高いかの表示を生成するように構成され、前記プロセッサは最も可能性の高い組織タイプおよび最も可能性の高い視野に対応する一または二以上のピクトグラフを表すように構成される、請求項１２に記載の超音波イメージングシステム。
14. 前記ニューラルネットワークは前記画像内の各区域が組織の特徴を表す可能性がどれほど高いかの表示を生成するように構成され、前記プロセッサは前記ニューラルネットワークからの前記表示に基づいて前記画像の前記エリア内の前記ピクトグラフを示すように構成される、請求項１２に記載の超音波イメージングシステム。
15. 超音波イメージングシステムであって、
    プロセッサにより実行可能ないくつかの命令を格納するためのメモリと、
    プロセッサであって、
    特定の検査タイプのために患者の記録に含まれることが必要とされる一または二以上の超音波画像の視野を決定するための前記命令を実行するように構成され、
    前記プロセッサは超音波画像データが必要とされる超音波画像の視野に対応する可能性がどれほど高いかの表示を生成するように構成された一または二以上の訓練されたニューラルネットワークに超音波画像データを提供するようにさらに構成される、
    プロセッサと、
    を備える、超音波イメージングシステム。
16. 前記プロセッサは
    必要とされる視野に対応する一または二以上の超音波画像に適したデータを識別し、
    前記識別された一または二以上の超音波画像をディスプレイスクリーン上でオペレータに示し、
    前記オペレータが示された超音波画像を選択したかどうかを決定し、
    前記選択された超音波画像を前記患者の記録に組み入れる
    ための命令を実行するように構成される、請求項１５に記載の超音波イメージングシステム。
17. 前記プロセッサは必要とされる視野に対応する可能性のある超音波画像を患者の報告に組み入れるための命令を実行するように構成される、請求項１５に記載の超音波イメージングシステム。
18. 前記プロセッサはユーザに超音波画像データが必要とされる画像の視野に対応する可能性があることを通知するように構成される、請求項１５に記載の超音波イメージングシステム。
19. 前記プロセッサは前記必要とされる視野に対応する画像が識別された場合にユーザに表示を提供するように構成される、請求項１５に記載の超音波イメージングシステム。
20. 超音波イメージングシステムであって、
    プロセッサにより実行可能ないくつかの命令を格納するためのメモリと、
    プロセッサであって、
    超音波画像に適したデータを画像を分類するように訓練された一または二以上のニューラルネットワークに提供し、
    前記一または二以上のニューラルネットワークによる前記超音波画像の前記分類に基づいて前記超音波イメージングシステム上の一または二以上のイメージングパラメータの設定を確認する
    ための前記命令を実行するように構成されたプロセッサと、
    を備える、超音波イメージングシステム。
21. 前記一または二以上のニューラルネットワークは組織のタイプに対応する超音波画像に適した前記データを分類するように訓練され、前記プロセッサは前記組織のタイプと前記超音波イメージングシステム上の一または二以上のイメージングパラメータの設定とを比較するための命令を実行するように構成される、請求項２０に記載の超音波イメージングシステム。

Images