JP2021522956A

JP2021522956A - 超音速画像のキャプチャを方向付けるシステムおよび方法

Info

Publication number: JP2021522956A
Application number: JP2020564470A
Authority: JP
Inventors: ケズラー，イタエ; エシェル，ヨラム; ルドミルスキー，アチアウ; リップマン，ヤロン
Original assignee: New York University NYU
Current assignee: New York University NYU
Priority date: 2018-05-15
Filing date: 2019-05-15
Publication date: 2021-09-02
Anticipated expiration: 2039-05-15
Also published as: EP3793447B1; IL278468B1; FI3793447T3; CN112399828A; IL278468B2; KR20210011005A; JP2024069213A; ES2938515T3; EP4218596A1; EP4218596A8; PL3793447T3; IL305425A; DK3793447T3; JP7445243B2; US11593638B2; IL278468A; CA3099568A1; EP3793447A4; EP3793447A1; AU2019268319A1

Abstract

超音波プローブを有する移動式超音波ユニットのためのダウンロード可能なナビゲータであって、モバイルコンピューティングデバイス上に実装されるナビゲータである。このナビゲータは、移動式超音波ユニットから身体部分の非標準画像を受信して、非標準画像に関連付けられた変換を生成するトレーニングされた方向付けニューラルネットワークであって、上記変換が、標準画像に関連付けられた位置および回転から非標準画像に関連付けられた位置および回転に変換する、トレーニングされた方向付けニューラルネットワークと、上記変換をプローブのユーザのための方向指示に変え、プローブの位置および回転を変更するために、ユーザに前記方向指示を提供および表示する結果コンバータとを含む。
【選択図】図２

Description

本発明は、概して移動式ハンドヘルド超音波装置に関し、特に、正しい使用のための方向付けに関するものである。

関連出願の相互参照
本出願は、２０１８年５月１５日に出願された米国仮特許出願第６２／６７１，６９２号の優先権を主張するものであり、この出願は引用により本明細書に援用されるものとする。

医療用超音波検査（診断超音波検査または超音波検査としても知られている）は、超音波の適用に基づく画像診断技術である。これは、腱、筋肉、関節、血管、内臓などの体内構造の画像を作成するために使用される。

効果的な検査および診断を行うために正確な画像を取得するには、図１に示すように、超音波トランスデューサを関連する臓器または身体部分と空間を介してある角度位置に配置する必要がある。図１は、トランスデューサ１４で撮影された関心のある臓器１２の超音波画像を示している。臓器１２の最適または「標準」画像を得るために必要な正確な角度位置にトランスデューサ１４をナビゲートする技術は、超音波検査を成功させるために極めて重要であることが理解されよう。このプロセスは、典型的には、訓練を受けた熟練した超音波検査者を必要とする。

例えば、心エコー検査を実行するために、超音波検査者は、四腔像や二腔像などの様々な標準方向から心臓の画像を撮影する必要がある。トランスデューサの正しい位置決めは、左心室の最適なビューを受信して、それにより心臓の機能情報を抽出するために非常に重要である。

移動式超音波装置またはデバイスは、当技術分野で知られており、例えばＰｈｉｌｉｐｓ社から市販されているＬｕｍｉｆｙが挙げられる。これらの移動式超音波装置は、スマートフォンやタブレットなどの任意のポータブルハンドヘルドデバイスにダウンロード可能なプログラムと通信するトランスデューサの形態で利用可能である。

このようなデバイスが利用できるということは、嵩張る高価な機器を必要とすることなく、超音波検査を、オフサイト（病院などから離れた場所）、例えば、救急車のトリアージツールとして、または戦場で、緊急治療施設、老人ホームなどで実行できることを意味している。

本発明の好ましい実施形態によれば、超音波プローブを有する移動式超音波ユニットのためのダウンロード可能なナビゲータであって、ポータブルコンピューティングデバイス上に実装されるナビゲータが提供される。このナビゲータは、前記移動式超音波ユニットから身体部分の非標準画像（non-canonical image）を受信して、前記非標準画像に関連付けられた変換（transformation）を生成するトレーニングされた方向付けニューラルネットワーク（orientation neural network）であって、前記変換が、標準画像（canonical image）に関連付けられた位置および回転から前記非標準画像に関連付けられた位置および回転に変換する、トレーニングされた方向付けニューラルネットワークと、前記変換を前記プローブのユーザのための方向指示（orientation instructions）に変え、前記プローブの位置および回転を変更するために、前記ユーザに前記方向指示を提供および表示する結果コンバータ（result converter）とを含む。

さらに、本発明の好ましい実施形態によれば、前記ナビゲータが、前記標準画像と、前記標準画像の周囲で撮影された非標準画像と、前記標準画像から前記非標準画像に関連付けられた空間内の位置および回転への変換とを用いて、前記方向付けニューラルネットワークをトレーニングするためのトレーナ（trainer）をさらに含む。

さらに、本発明の好ましい実施形態によれば、前記トレーナが、トレーニングプローブに取り付けられたＩＭＵ（慣性測定ユニット）からトレーニングセッション中にＩＭＵデータを受信するトレーニングコンバータを含み、前記ＩＭＵデータが、前記非標準画像および前記標準画像に関連付けられた位置および回転を提供し、それらの位置および回転を、前記標準画像に関連付けられた位置および回転から前記非標準画像に関連付けられた位置および回転への変換に変える。

さらに、本発明の好ましい実施形態によれば、前記トレーナが、トレーニングされていない方向付けニューラルネットワークと、前記トレーニングされていない方向付けニューラルネットワークをトレーニングするための損失関数（loss function）とを含み、前記損失関数が、前記トレーニングされていない方向付けニューラルネットワークによって生成された計算された変換と、各非標準画像のグラウンドトルース変換（ground truth transformation）との間の距離を減少させる。

さらに、本発明の好ましい実施形態によれば、前記損失関数が、前記計算された変換を複数の異なる標準方向のうちの１つに制約する確率（probability）をさらに含む。

さらに、本発明の好ましい実施形態によれば、前記標準画像が、複数の標準画像のうちの１つである。

さらに、本発明の好ましい実施形態によれば、前記ナビゲータが、前記標準画像を観察するときに、前記プローブによって生成された最終画像から診断を行う診断器（diagnoser）を含む。

さらに、本発明の好ましい実施形態によれば、前記ポータブルコンピューティングデバイスが、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータおよびスマートアプライアンスのうちの１つである。

さらに、本発明の好ましい実施形態によれば、前記ナビゲータが、前記プローブからの画像に応答して前記トレーニングされた方向付けニューラルネットワークから複数の変換を受信し、画像のセットおよびそれらに関連する変換を生成するセットクリエータ（set creator）と、十分なセットが生成されたときを判定する十分性チェッカ（sufficiency checker）と、身体部分の周期中に身体部分の変化を示す要約周期的標準画像（summary cyclical canonical images）のセットを生成するためのトレーニングされた周期的標準ビューニューラルネットワーク（cyclical canonical view neural network）とを含む。

さらに、本発明の好ましい実施形態によれば、前記ナビゲータが、身体の周期の各時点で、前記画像のセットと、それらに関連する変換と、それらに関連する要約周期的標準画像とを用いて、トレーニングされていない周期的標準ビューニューラルネットワークをトレーニングするための周期的標準ビュートレーナ（cyclical canonical view trainer）をさらに含む。

さらに、本発明の好ましい実施形態によれば、身体部分の周期が心周期である。

さらに、本発明の好ましい実施形態によれば、各セットが単一の要素を含む。

本発明の好ましい実施形態によれば、超音波プローブを有するポータブルコンピューティングデバイスに実装される移動式超音波ユニットのためのナビゲータが提供される。このナビゲータは、身体部分の周囲でキャプチャされた複数の超音波画像の方向情報を提供するためのトレーニングされた方向付けニューラルネットワークであって、前記方向情報が、前記身体部分の標準ビュー（canonical view）に対して前記画像を方向付けるためのものである、方向付けニューラルネットワークと、前記方向情報に従って前記画像を方向付けし、断層再構成を使用して方向付けされた画像から前記身体部分のボリューム表示（volume representation）を生成し、前記ボリューム表示から標準ビューの標準画像を生成するためのボリューム再構成器（volume reconstructer）とを含む。

さらに、本発明の好ましい実施形態によれば、前記ナビゲータが、前記プローブからの画像に応答して前記トレーニングされた方向付けニューラルネットワークから方向を受信して、十分な画像が受信されたときを判定するための十分性チェッカと、前記十分性チェッカに応答して前記トレーニングされた方向付けニューラルネットワークのために更なる画像を要求するための結果コンバータとを含む。

さらに、本発明の好ましい実施形態によれば、前記ナビゲータが、前記身体部分の前記ボリューム表示から診断を行う診断器を含む。

本発明の好ましい実施形態によれば、モバイルデバイス上に実装される、超音波プローブを有する移動式超音波ユニットのためのナビゲータが提供される。このナビゲータは、前記プローブから身体部分の非標準画像を受信し、前記非標準画像を表示可能なマップ上の非標準マップポイント（non-canonical map point）にマッピングし、前記非標準画像に関連付けられた複数の標準画像を前記表示可能なマップ上の標準マップポイント（canonical map points）にマッピングするためのトレーニングされたマッピングニューラルネットワーク（mapping neural network）と、前記標準マップポイントおよび非標準マップポイントでマークされたマップを表示するための結果コンバータとを含む。

さらに、本発明の好ましい実施形態によれば、前記トレーニングされたマッピングニューラルネットワークが、損失関数を含み、この損失関数は、前記プローブの動きの変化が前記表示可能なマップ上に小さな動きを生成し、前記画像間の距離がマップ上の位置間の距離に類似し、かつ、ある標準画像から別の標準画像への最適なパスが直線的な等速軌道であるようにする。

さらに、本発明の好ましい実施形態によれば、前記ナビゲータが、ユーザが前記プローブを前記標準マップポイントのうちの１つに移動させたときに、前記プローブによって生成された最終画像から診断を行う診断器も含む。

本発明の好ましい実施形態によれば、超音波プローブを有する移動式超音波ユニットのためのダウンロード可能なナビゲータであって、モバイルデバイス上に実装されるナビゲータが提供される。このナビゲータは、時間の経過とともに前記プローブから画像を受信し、画像のセットを生成するセットクリエータと、十分なセットが生成されたときを判定する十分性チェッカと、身体部分の周期中に前記身体部分の変化を示す要約周期的標準画像のセットを生成する周期的標準ビューニューラルネットワークとを含む。

さらに、本発明の好ましい実施形態によれば、前記ナビゲータが、前記周期的標準ビューニューラルネットワークによって生成された最終画像から診断を行う診断器も含む。

本発明の好ましい実施形態によれば、超音波プローブを有する移動式超音波ユニットのための方法であって、ポータブルコンピューティングデバイスに実装される方法が提供され、この方法が、トレーニングされた方向付けニューラルネットワークを使用して、前記移動式超音波ユニットから身体部分の非標準画像を受信して、前記非標準画像に関連付けられた変換を生成するステップであって、前記変換が、標準画像に関連付けられた位置および回転から前記非標準画像に関連付けられた位置および回転に変換する、ステップと、前記変換を前記プローブのユーザのための方向指示に変え、前記プローブの位置および回転を変更するために、前記ユーザに前記方向指示を提供および表示するステップとを含む。

さらに、本発明の好ましい実施形態によれば、前記方法が、前記標準画像と、前記標準画像の周囲でキャプチャされた非標準画像と、前記標準画像から前記非標準画像に関連付けられた空間内の位置および回転への変換とを用いて、前記方向付けニューラルネットワークをトレーニングするステップを含む。

さらに、本発明の好ましい実施形態によれば、トレーニングすることが、トレーニングプローブに取り付けられたＩＭＵ（慣性測定ユニット）からトレーニングセッション中にＩＭＵデータを受信することを含み、前記ＩＭＵデータが、前記非標準画像および前記標準画像に関連付けられた位置および回転を提供し、それらの位置および回転を、前記標準画像に関連付けられた位置および回転から前記非標準画像に関連付けられた位置および回転への変換に変える。

さらに、本発明の好ましい実施形態によれば、前記損失関数が、前記計算された変換を複数の異なる標準方向のうちの１つに制約する確率をさらに含む。

さらに、本発明の好ましい実施形態によれば、前記方法が、前記標準画像を観察するときに、前記プローブによって生成された最終画像から診断を行うステップを含む。

さらに、本発明の好ましい実施形態によれば、前記方法が、前記プローブからの画像に応答して前記トレーニングされた方向付けニューラルネットワークから複数の変換を受信し、画像のセットおよびそれらに関連する変換を生成するステップと、十分なセットが生成されたときを判定するステップと、トレーニングされた周期的標準ビューニューラルネットワークを使用して、身体部分の周期中に身体部分の変化を示す要約周期的標準画像のセットを生成するステップとをさらに含む。

さらに、本発明の好ましい実施形態によれば、前記方法が、身体の周期の各時点で、画像のセットと、それらに関連する変換と、それらに関連する要約周期的標準画像とを用いて、トレーニングされていない周期的標準ビューニューラルネットワークをトレーニングするステップをさらに含む。

さらに、本発明の好ましい実施形態によれば、前記身体部分の周期が、心周期である。

さらに、本発明の好ましい実施形態によれば、超音波プローブを有するポータブルコンピューティングデバイス上に実装される移動式超音波ユニットのための方法が提供され、この方法が、トレーニングされた方向付けニューラルネットワークを使用して、身体部分の周囲でキャプチャされた複数の超音波画像の方向情報を提供するステップであって、前記方向情報が、前記身体部分の標準ビューに対して前記画像を方向付けるためのものである、ステップと、前記方向情報に従って前記画像を方向付けし、断層再構成を使用して方向付けされた画像から前記身体部分のボリューム表示を生成し、前記ボリューム表示から標準ビューの標準画像を生成するステップとを含む。

さらに、本発明の好ましい実施形態によれば、前記方法が、前記プローブからの画像に応答して前記トレーニングされた方向付けニューラルネットワークから方向を受信して、十分な画像が受信されたときを判定するステップと、受信した方向に応答して前記トレーニングされた方向付けニューラルネットワークのために更なる画像を要求するステップとを含む。

さらに、本発明の好ましい実施形態によれば、前記方法が、前記身体部分の前記ボリューム表示から診断を行うステップをさらに含む。

さらに、本発明の好ましい実施形態によれば、モバイルデバイス上に実装される、超音波プローブを有する移動式超音波ユニットのための方法が提供される。この方法は、トレーニングされたマッピングニューラルネットワークを使用して、前記プローブから身体部分の非標準画像を受信し、前記非標準画像を表示可能なマップ上の非標準マップポイントにマッピングし、前記非標準画像に関連付けられた複数の標準画像を前記表示可能なマップ上の標準マップポイントにマッピングするステップと、前記標準マップポイントおよび非標準マップポイントでマークされたマップを表示するステップとを含む。

さらに、本発明の好ましい実施形態によれば、前記トレーニングされたマッピングニューラルネットワークが、損失関数を含み、この損失関数は、前記プローブの動きの変化が前記表示可能なマップ上に小さな動きを生成し、前記画像間の距離が直線的な等速軌道に類似するようにする。

さらに、本発明の好ましい実施形態によれば、前記方法が、ユーザが前記プローブを前記標準マップポイントのうちの１つに移動させたときに、前記プローブによって生成された最終画像から診断を行うステップをさらに含む。

さらに、本発明の好ましい実施形態によれば、モバイルデバイス上に実装される、超音波プローブを有する移動式超音波ユニットのための方法が提供される。この方法は、時間の経過とともに前記プローブから画像を受信し、画像のセットを生成するステップと、十分なセットが生成されたときを判定するステップと、周期的標準ビューニューラルネットワークにより、身体部分の周期中に前記身体部分の変化を示す要約周期的標準画像のセットを生成するステップとを含む。

さらに、本発明の好ましい実施形態によれば、前記方法が、前記周期的標準ビューニューラルネットワークによって生成された最終画像から診断を行うステップを含む。

本発明とみなされる主題は、明細書の結論部分で特に指摘され、明確に主張されている。しかしながら、本発明は、組織および操作方法の両方に関して、さらに対象物、画像および利点に関して、添付の図面とともに読むことにより、以下の詳細な説明を参照することで最もよく理解されよう。
図１は、身体部分の画像をキャプチャするために超音波トランスデューサがどのように配置されるのかを示す概略図である。図２は、本発明に従って構築されて動作可能である超音波ナビゲータの概略図である。図３Ａおよび図３Ｂは、本発明に従って構築されて動作可能な図２のナビゲータが、身体部分の適切な画像をキャプチャするために、非超音波検査者がプローブおよびトランスデューサを方向付けるのをどのように支援するのかを示す概略図である。図４は、本発明に従って構築されて動作可能な、ある臓器の非標準画像およびそれに関連する標準画像についてのトレーニングプローブの向きの変換の概略図である。図５は、本発明に従って構築されて動作可能な、方向付けニューラルネットワークのためのトレーニングプロセスの概略図である。図６は、本発明に従って構築されて動作可能な、図２のナビゲータの要素の概略図である。図７は、本発明に従って構築されて動作可能な、図２のナビゲータに対する代替的な実施形態の要素の概略図である。図８Ａ、図８Ｂおよび図８Ｃは、本発明に従って構築されて動作可能な、図２のナビゲータに対する代替的な実施形態の要素および機能の概略図である。図９Ａおよび図９Ｂは、本発明に従って構築されて動作可能な、トレーニング時および動作中の図２のナビゲータに対する代替的な実施形態の要素の概略図である。図１０Ａおよび図１０Ｂは、本発明に従って構築されて動作可能な、トレーニング時および動作中の図９Ａおよび図９Ｂのナビゲータに対する代替的な実施形態の要素の概略図である。例示の単純化および明確化のために、図面に示された要素は、必ずしも一定の縮尺で描かれていないことを理解されたい。例えば、いくつかの要素の寸法は、明確化のために、他の要素と比較して誇張されている場合がある。さらに、適切と考えられる場合には、対応する要素または類似する要素を示すために、符号が図面間で繰り返される場合がある。

以下の詳細な説明では、本発明の完全な理解を提供するために、多くの具体的な詳細が記載されている。しかしながら、本発明は、これらの具体的な詳細なしに実施され得ることが当業者によって理解されよう。他の実施例では、本発明を不明瞭にしないように、周知の方法、手順および構成要素は詳細には記載されていない。

出願人は、病院などの従来の場所から離れた場所で移動式超音波装置を使用できることは、訓練を受けていない超音波検査者または非超音波検査者がそれらの装置を利用する可能性があることを意味することを理解している。しかしながら、訓練を受けていない医師、救急隊員あるいは患者自身でさえも、それらの超音波検査を正しく行うための訓練や知識を持っていない。異なる臓器や身体部分には異なる訓練が必要であることが理解されよう。

２０１８年６月７日に公開された「ＧｕｉｄｅｄＮａｖｉｇａｔｉｏｎｏｆａｎＵｌｔｒａｓｏｕｎｄＰｒｏｂｅ」という名称の米国特許出願公開第２０１８／０１５３５０５号、並びに、２０１６年５月２６日に公開された「ＵｌｔｒａｓｏｕｎｄＡｃｑｕｉｓｉｔｉｏｎＦｅｅｄｂａｃｋＧｕｉｄａｎｃｅｔｏａＴａｒｇｅｔＶｉｅｗ」という名称の米国特許出願公開第２０１６／０１４３６２７号に記載されているような先行技術システムは、非超音波検査者が最適な画像をキャプチャする上で最適な方向にトランスデューサを誘導するのを支援するために、特定の身体部分の供給された画像と好ましい標準画像との間の偏差を判定する方法を教示している。

出願人は、これらの先行技術のシステムが、回転計算に関して完全な解決策を提供しないことを理解している。また、出願人は、これらの先行技術のシステムは、非超音波検査者のプローブの位置を判定するのを助けるための追加のハードウェア（例えば、磁力計、ジャイロスコープ、加速度計などの慣性測定ユニット）を必要とするため、特に有用ではないことに気付いている。出願人は、追加のハードウェアを必要とせずに、関連する移動式超音波装置の処理ソフトウェアと統合またはオーバーレイとして使用するために、ダウンロード等を介して、容易にアクセス可能なシステムの方が遙かに有用であることに気付いている。その結果、本発明は、超音波ユニットによって生成されたデジタル画像のみを用いて動作する。

図２を参照すると、本発明の第１の実施形態に係る超音波ナビゲータ１００が示されており、これは、ＡｐｐｌｅのＡｐｐｓｔｏｒｅやＧｏｏｇｌｅのＧｏｏｇｌｅＰｌａｙなどのモバイルアプリケーションストア１０から、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータ、スマートアプライアンスなどの任意のポータブルコンピューティングデバイスにダウンロードすることができる。

ナビゲータ１００は、（ダウンロードの一部として）トレーニングされた方向付けニューラルネットワーク１５を含むことができることが理解されよう。方向付けニューラルネットワーク１５は、以下に本明細書でより詳細に記載される。上述したように、ナビゲータ１００は、関連する移動式超音波装置の処理ソフトウェアと統合またはオーバーレイとして使用されるものであってもよい。

したがって、ユーザ５は、患者９に（移動式超音波ユニット８に関連する）トランスデューサまたはプローブ７を使用して、関連する身体部分の画像をナビゲータ１００に供給することができ、それに応じて、ナビゲータ１００は、プローブ７をどの方向に向けるのかに関しての方向指示を供給することができる。非超音波検査者またはユーザ５が、適切な画像を受信するために、プローブ７を正しい方向に向けるために複数回試みて、プロセスが反復的に行われ得ることが理解されよう。本発明の好ましい実施形態によれば、ナビゲータ１００が画像のみを受信する場合でも、「方向」指示は、位置（２次元または３次元空間内の位置）と回転情報（３Ｄ空間内の回転）の両方を含むことができる。

図３Ａおよび図３Ｂを参照すると、ナビゲータ１００が、特定の身体部分の良好な画像を捕捉するために、非超音波検査者５がプローブ７を方向付けるのをどのように支援するかが示されている。図３Ａは、７Ａとラベル付けされたプローブ７が間違った位置にあることを示し、すなわち、２０Ａとラベル付けされた結果の画像は、標準ではないことを示している。図３Ａは、プローブ７Ａの回転を変更するようにユーザ５に指示する矢印２１のセットをさらに含む。矢印２１Ａは、「ピッチアップ」のような回転を示している。図３Ｂは、新たにピッチされたＵＳ方向のプローブ７Ｂと、結果として得られる画像２０Ｂを示しており、それはまだ標準画像を提供していないが、より良好である。矢印２１Ｂは、新しい「ヨー」回転が有用である可能性があることを示している。

上述したように、ナビゲータ１００は、方向付けニューラルネットワーク１５を受信し、この方向付けニューラルネットワークは、関心のある特定の身体部分または臓器について熟練した超音波検査者によって撮影された専門家データでトレーニングされるようにしてもよい。受信したトレーニングデータは、特定の身体部分の標準画像、および関連する非標準画像を含むとともに、各々について、空間における超音波検査者のプローブの向き（すなわち、位置および回転）を含むことができる。この情報は、ＩＭＵ（磁力計、ジャイロスコープ、加速度計などを含む慣性測定ユニット）が関連付けられたプローブを使用して生成され得ることを理解されたい。ＩＭＵは、画像がキャプチャされたときにプローブの向きを測定することができる。

図４を参照すると、標準画像をキャプチャするために訓練された超音波検査者によって使用されるトレーニングプローブ４ｃの向きと、ある臓器の非標準画像をキャプチャするときのその向きとの間の変換が示されている。ｉ番目の非標準画像を見るときのトレーニングプローブ４ｉの向きは、空間における「基準フレーム」Ｆ_ｉとして定義することができ、ここで、基準フレームＦ_ｉは、ＩＭＵが測定することができる、軸の周りの３つの回転および軸に沿った３つの平行移動を有する３軸システム（Ｑ）に対応する６自由度（６ＤｏＦ）を有することができる。

基準フレームＦ_ｉは、原点Ｏでの基準フレームを参照することができ、本発明では、原点が臓器であってもよく、空間におけるその基準フレームは、Ｆ_０として定義することができる。基準フレームＦ_ｉの各々について、原点Ｏからの変換Ｒ_ｉがあってもよく、ここで、変換Ｒ_ｃは、以下のように、Ｆ_ｃとラベル付けされた、標準画像を見るための所望の向きへの変換であってもよい。
Ｒ_ｃ＝Ｆ_ｃＦ_０ ^−１
Ｒ_ｉ＝Ｆ_ｉＦ_０ ^−１（１）
ここで、Ｆ_０ ^−１は、Ｆ_０の逆変換である。よって、標準ポーズからｉ番目の非標準ポーズへの変換Ｔ_ｉは、Ｒ_ｉＲ_ｃ ^−１：
Ｔ_ｉ＝Ｒ_ｉＲ_ｃ ^−１＝Ｆ_ｉＦ_０ ^−１（Ｆ_０Ｆ_ｃ ^−１）＝Ｆ_ｉＦ_ｃ ^−１（２）

図５には、トレーナ３０を用いた方向付けニューラルネットワーク１５のためのトレーニングプロセスが示されている。患者３にトレーニングプローブ４を使用する熟練した超音波検査者２は、特定の身体部分について標準画像および関連する非標準画像の両方を提供することができる。トレーニングプローブ４は、画像が捕捉されたときにプローブの向きＦ_ｉを測定することができるＩＭＵ６（磁力計、ジャイロスコープ、加速度計などを含むことができる慣性測定ユニット）に関連付けられ得ることが理解されよう。

トレーニングコンバータ２２は、各画像についての方向データＦ_ｉを受信することができ、図４に関して上述したように、関連する標準位置から変換Ｔ_ｉ＝Ｒ_ｉＲ_ｃ ^−１を求めることができる。具体的には、トレーニングコンバータ２２は、トレーニングプローブ４から画像Ｘを取得し、それらを必要に応じて処理することができる。データベース２０は、非標準画像Ｘ_ｉを、それらの方向データＦ_ｉおよびそれらの変換データＴ_ｉとともに格納することができる。また、データベース２０は、標準画像Ｘ_ｃと、それらの関連する方向データＦ_ｃとを格納することができる。身体部分について複数の標準画像が存在し得ることが理解されよう。例えば、心臓は、四腔の標準画像、二腔の標準画像などを有しており、よって、トレーニングコンバータ２２は、関連する各標準画像に対する変換Ｔ_ｉを生成することができる。関連する標準画像は、手動で提供されるようにしても、あるいは任意の適切なアルゴリズムによって自動的に求められるようしてもよいことが理解されよう。

トレーナ３０への入力トレーニングデータは、画像Ｘ_ｉとその関連するグラウンドトゥルース変換Ｔ_ｉの組合せであってもよいことが理解されよう。各非標準画像について、トレーナ３０は、各観察標準画像から各観察非標準画像に変換するために、プローブ４の位置変換を学習することができる。入力データは、多くの異なる患者３からのデータを含むことができ、その結果、トレーナ３０は、非標準画像と標準画像との間の変換情報に影響を与える、患者３の性別、年齢、体重などおよび他の要因に起因する可能性のある画像Ｘ_ｉの変化を学習することができことが理解されよう。

トレーナ３０は、畳み込みニューラルネットワークトレーナのような任意の適切なニューラルネットワークトレーナであってもよく、それは、方向付けニューラルネットワーク１５によって生成された計算された変換Ｓ（Ｘ_ｉ）と、関連する標準画像からの画像Ｘ_ｉに対するグラウンドトゥルース変換Ｔ_ｉとの間の距離などの損失関数によって求められるエネルギー「損失」を最小化するようにネットワークを更新することによって、ネットワークをトレーニングできることがさらに理解されよう。変換Ｓ（Ｘ_ｉ）は、トレーニングされていないニューラルネットワークとして始まり、トレーニングされたニューラルネットワークとして終わることが理解されよう。

距離関数は、任意の適切な距離関数であってよい。関連する標準画像が複数ある場合、方向付けニューラルネットワーク１５は、各非標準画像に対するグラウンドトゥルース変換Ｔ_ｉを用いてトレーニングされるものであってもよい。損失関数「Ｌｏｓｓ」は、次のように計算することができる。
Ｌｏｓｓ＝ｌｏｓｓ（Ｓ（Ｘ_ｉ），Ｔ_ｉ）（３）

方向付けニューラルネットワーク１５は、トレーニングされると、各入力画像Ｘ_ｉに応答して、ユーザプローブ７のための変換Ｔを生成することができる。その後、この変換を、反転またはコンバートして、以下でより詳細に説明するように、非標準画像の方向から標準画像の方向へとユーザ５を導くことができる。

図６には、ナビゲータ１００の構成要素が示されている。ナビゲータ１００は、トレーニングされた方向付けニューラルネットワーク１５と、結果コンバータ４０と、診断器５０とを含むことができる。

上述したように、ユーザ５は、所望の身体部分に関連してユーザプローブ７をランダムに配置することができる。トレーニングされた方向付けニューラルネットワーク１５は、特定の身体部分の関連する標準画像から現在の非標準画像への変換Ｔを提供することができる。結果コンバータ４０は、生成された変換を反転させて、非標準画像を観察する現在の位置および回転から、関連する標準画像を観察する位置および回転へのプローブ７のための方向指示を提供することができる。結果コンバータ４０は、様々な方法で、それらの方向指示をユーザ５に提供および表示することができる。このプロセスは、ユーザ５がプローブ７を正しく（誤差の範囲内で）位置決めするまで反復され得ることが理解されよう。

結果コンバータ４０は、選択された標準画像について、トレーニングされた方向付けニューラルネットワーク１５によって生成された方向データＳ（Ｘ）を、ユーザ５に説明可能な方向にコンバートすることができる。任意の適切なディスプレイを利用することができる。例示的なディスプレイが、図３Ａおよび図３Ｂを参照して本明細書に示されている。結果コンバータ４０は、任意の適切なインターフェースを使用することができ、（例えば）色付きの回転マーキングを表示できることが理解されよう。さらに、結果コンバータ４０は、身体部分の複数の標準画像が存在する場合に、どの標準画像が現在関心あるものであるのかをユーザ５が示すことを可能にする要素を含むことができる。

診断器５０は、ユーザ５によって生成された最終的な標準画像を受信して、その中の異常を検出することができる。診断器５０は、任意の適切な診断器であってもよい。例えば、診断器５０は、２０１８年７月２６日に公開された国際公開第２０１８／１３６８０５号の診断方法を実行することができる。この国際公開は、本発明の共通の譲受人に譲渡されており、引用により本明細書に援用されるものとする。

出願人は、単一の身体部分に対する複数の標準画像が存在するという事実と、１つの標準画像から別の標準画像への標準的な既知の運動が存在するという事実を、トレーニングされた方向付けニューラルネットワーク１５の出力における誤差を減少させるために利用できることを認識している。

この改善された実施形態では、方向付けニューラルネットワーク１５が、複数の標準画像に対してトレーニングされるものであってもよい。このため、各画像Ｘ_ｉについて、複数の計算された変換が存在し得る。例えば、標準画像ｃとｃ’のペアの場合、同一の画像Ｘ_ｉについて計算された変換Ｓ_ｃ（Ｘ_ｉ）とＳ_ｃ’（Ｘ_ｉ）のペアが存在し、それらが、関連するグラウンドトゥルース変換Ｔ_ｃ，ｉおよびＴ_ｃ’，ｉを有することができる。

さらに、次のように定義される既知の動き変換Ｔ_ｋがある。
Ｔ_ｋ＝Ｒ_ｃＲ_ｃ’ ^−１（４）
ここで、Ｒ_ｃは標準画像ｃであり、Ｒ_Ｃ’は標準画像ｃ’である。これらの既知の動きは、異なる対象間でほぼ一定であり、よって、ある標準画像ｃから別の標準画像ｃ’への変換Ｔ_ｋは、計算された変換Ｓ_ｃ（Ｘ_ｉ）およびＳ_ｃ’（Ｘ_ｉ）を標準方向の一つに制約するために利用することができる。これを行うために、確率測度Ｐ_ｋは、以下のように、方向付けニューラルネットワーク１５をトレーニングするために使用される損失に加えるために、最尤損失項ｌｏｇＰ_ｋ（Ｓ_ｃ（Ｘ_ｉ）Ｓ_ｃ’（Ｘ_ｉ）^−１）を定義するために使用することができる。
Ｌｏｓｓ＝ｌｏｓｓ（Ｓ_ｃ（Ｘ_ｉ），Ｔ_ｃ，ｉ）＋ｌｏｓｓ（Ｓ_ｃ’（Ｘ_ｉ），Ｔｃ_’，ｉ）−δ^＊ｌｏｇＰ_ｋ（Ｓ_ｃ（Ｘ_ｉ）Ｓ_ｃ’（Ｘ_ｉ）^−１）（５）

確率測度Ｐ_ｋは、異なる対象間の標準ポーズｃとｃ’の間のグラウンドトゥルース変換Ｔ_ｋを測定することによって実験的に求めることができる。さらに、身体部分ごとに複数の確率測度が存在し、身体部分の標準画像のペアごとに１つずつ存在し、各確率測度Ｐ_ｋが、損失関数の別個の追加項を定義することができる。

代替的な実施形態では、１００’とラベル付けされたナビゲータが、図７に示すように、十分性チェッカ６０およびボリューム再構成器７０を含むことができる。

ボリューム再構成器７０は、トレーニングされた方向付けニューラルネットワーク１５の出力を利用することができ、プローブ７によって生成された画像Ｘ_ｉから、関心のある身体部分の３Ｄまたは４Ｄ関数、および／または３Ｄボリュームまたは３Ｄ時空間ボリュームを生成することができる。この実施形態では、画像Ｘ_ｉは、関心のある身体部分の断面と見なすことができる。

十分性チェッカ６０は、３Ｄ／４Ｄボリューム再構成を実行するために、トレーニングされた方向付けニューラルネットワーク１５を介して十分な断面が受信されたことをチェックし、それに応じて（結果コンバータ４０を介して）ユーザ５を誘導することができる。例えば、十分性チェッカ６０は、予め設定された最小数の画像が取得されたときを判定することができる。

十分性チェッカ６０からの指示に基づいて、ボリューム再構成器７０は、３Ｄ／４Ｄボリュームを生成し、その後、再構成器７０は、生成されたボリュームから関連する標準ビューを引き出して、それらを診断器５０に提供することができる。本実施形態における標準ビューは、生成されたボリュームから生成され、ボリュームを生成するために使用された画像の中にある場合とない場合があることが理解されよう。

ボリューム再構成器７０は、逆ラドン変換または他の手段に基づくものなどの断層再構成を利用して、画像から３Ｄ／４Ｄ関数および／またはボリュームを再構成することができる。ボリューム断層再構成を成功させるためには、３Ｄ空間または４Ｄ時空間における断面の位置を知ることが極めて重要であることが理解されよう。出願人は、トレーニングされた方向付けニューラルネットワーク１５が、撮影された各画像についてプローブ７に変換Ｓ（Ｘ）を提案することができ、また、固定された２Ｄ像面から、画像Ｘ_ｉを生成したときにプローブ４_ｉが位置していた空間内の３Ｄ方向Ｑに画像Ｘ_ｉのピクセルを回転させるために変換Ｓ（Ｘ）を使用できることを理解している。

ボリューム再構成器７０は、各画像Ｘ_ｉについてトレーニングされた方向付けニューラルネットワーク１５から変換Ｓ（Ｘ_ｉ）を受信し、この変換を適用して、画像を（プローブからの出力として）像面からプローブの変換によって規定される平面に移動させ、身体部分の回転断面ＣＳ_ｉを生成することができる。その後、ボリューム再構成器７０は、断層再構成を使用して、画像の断面ＣＳ（Ｘ_ｉ）から関心のある身体部分のボリュームを構築することができる。

変換Ｓ（Ｘ_ｉ）を適用するために、先ず、画像Ｘ_ｉは、２Ｄ像面内の２Ｄ位置（ｘ_ｊ，ｙ_ｊ）と強度Ｉ_ｊを有するピクセルのセットを含むことが理解されよう。ボリューム再構成器７０は、空間内の３Ｄピクセル位置（ｘ_ｊ，ｙ_ｊ，０）に変換Ｓ（Ｘ_ｉ）を適用して、画像Ｘ_ｉの３Ｄ方向Ｑの近似を生成し、その後、以下のように、演算子Ｈを適用して、方向付けられた画像Ｘ_ｉをセンタリングまたはスケーリングすることができる。

Ｑ＝Ｈ^＊Ｓ（Ｘ_ｉ）^＊［ｘ_ｊ，ｙ_ｊ，０］^Ｔ（６）

ボリューム再構成器７０は、生成された標準画像を診断器５０に提供し、その後、診断器は、前述したように、その標準画像から診断をもたらすようにしてもよい。

図８Ａ、図８Ｂおよび図８Ｃに図示されているさらに別の実施形態では、１００’’とラベル付けされているナビゲータが、画像マッピングニューラルネットワーク９０を含むことができる。マッピングニューラルネットワーク９０は、各画像Ｘ_ｉを２Ｄ平面９２にマッピングすることができる（図８Ｂ）。図８Ｂは、３つの例示的な画像Ｘ_Ａ、Ｘ_Ｂ、Ｘ_Ｄが平面９２上の３つの異なる位置Ａ、Ｂ、Ｄにマッピングされているところを示している。

４２とラベル付けされた結果コンバータは、ユーザ５に２Ｄ平面９２を表示することができ、彼の現在の位置を１つの色（例えば、グレイのドット（図８Ｃでは影付きのドットとして示されている）としてマーキングし、この身体部分の標準画像の位置を他の色のドット（図８Ｃでは番号付きの円１〜５として示されている）としてマーキングすることができる。また、図８Ｃには、取得した画像Ｘ_ｉとそのマップ９２が示されている。マップポイントＭ（Ｘ_ｉ）は、マップ９２上の非標準画像Ｘ_ｉを表すことができ、他の番号が付けられた円は、所望のまたは要求された標準ビューｃを表す標準マップポイントであってもよい。ユーザ５は、プローブ７の試行錯誤動作を使用して、マップポイントＭ（Ｘ_ｉ）を所望の円に向かって近付けることができ、マッパー９０は、プローブ７からの各新しい画像ｉについて２Ｄ平面９２を再生成することができる。

出願人は、プローブ７の動きの小さな変化が２Ｄ平面９２上に小さな動きを生成し、画像Ｘ_ｉ間の距離がマップ上の位置間の距離と同様でなければならないことに気付いている。さらに、出願人は、ある標準画像から別の画像への最適なパスは、直線的で一定速度の軌跡であるべきであることを認識している。

この実施形態では、マッピングニューラルネットワーク９０が、各画像Ｘ_ｉおよびその関連する標準ビューの画像Ｘ_ｃを含むことができる入力データを使用してトレーニングされ得ることが理解されよう。

マッピングニューラルネットワーク９０は、トレーニング中にニューラルネットワーク９０によって現在生成されている計算されたマップポイントＭ（Ｘ_ｉ）と、各標準ビューＣ_ｊについての関連するマップポイントＭ（Ｘ_ｃ）との間の距離を最小化する損失関数を組み込むことができる。
Ｌｏｓｓ＝ｌｏｓｓ（Ｍ（Ｘ_ｉ），Ｍ（Ｘ_ｃｊ））（７）

異なる標準ビューへの最適なパスを組み込むために、画像Ｘ_ｉがｊ番目の望ましい標準画像ｃへのパス上でどれだけ近いかを規定する確率ベクトルｐ_ｉｊを追加することができる。その後、損失関数を次のように更新することができる。
Ｌｏｓｓ＝ｌｏｓｓ（Ｍ（Ｘ_ｉ），Σｐ_ｉｊＭ（Ｘ_ｃｊ））（８）

距離を保存するために、損失関数を次のように更新することができる。

平面９２は、必要に応じて、２Ｄ平面または３Ｄボリュームの何れかであってもよいことが理解されよう。上述したマッピング操作は、同様に３Ｄボリュームへのマッピングのために機能する。

出願人は、適切な種類のトレーニングがあれば、ニューラルネットワークをトレーニングして、変換情報を生成するだけでなく、標準画像を生成することができることを認識している。これは、非超音波検査者からの入力がノイズが多いと予想される場合（彼らの手が十分に安定していないため）、および／または標準ビューで、身体部分が機能していることを確認したい場合に、特に有用である可能性がある。例えば、超音波検査者は、心機能分析のために、収縮期から拡張期、そして収縮期に戻るという完全な心周期に関する情報を定期的に提供する。

図９Ａおよび図９Ｂに示すさらに別の実施形態では、ナビゲータ１００が、周期的標準ビューニューラルネットワーク１１０を含み、これが、トレーニングされた方向付けニューラルネットワーク１５の出力からトレーニングされたニューラルネットワークであってもよい。標準ビューサイクラー１１０は、繰り返し画像を集約して、ノイズを低減するとともに、（例えば）心周期などの臓器周期のノイズの少ない要約を提供することができる。

図９Ａに示すように、周期的標準ビューニューラルネットワーク１１０をトレーニングするために必要な要素は、トレーニングされた方向付けニューラルネットワーク１５と、ネットワーク１１０への入力を生成するためのセットクリエータ１１２と、周期的標準ビュートレーナ１１５とを含むことができる。

この実施形態では、熟練した超音波検査者２が、時間をかけて撮影された複数の超音波画像ｍと、１つの標準ビューポーズｃで、時間をかけて撮影された複数の画像ｎとを提供することができる。セットクリエータ１１２は、トレーニングされた方向付けニューラルネットワーク１５から画像Ｘ_ｍを、その関連する変換情報Ｓ（Ｘ_ｍ）とともに受信し、それらを標準ビューで撮影されたそれらの関連する画像Ｘ_ｃ，ｎと組み合わせることができる。熟練した超音波検査者２は、そのような関連付けを提供することができる。

セットクリエータ１１２は、次に、トリプレット｛［Ｙ_ｍ，Ｚ_ｍ］，［Ｗ_ｎ］｝を生成することができ、ここで、［Ｙ_ｍ，Ｚ_ｍ］は、周期的標準ビュートレーナ１１５への入力であり、Ｗ_ｎは、関連する出力である。各Ｙ_ｍは、Ｙ_ｍ＝｛Ｘ_１，Ｘ_２，．．．．．Ｘ_ｇ｝であるｇ枚の画像のセットから構成することができ、Ｚ_ｍは、Ｚ_ｍ＝｛Ｓ（Ｘ_１），Ｓ（Ｘ_２）．．．．．Ｓ（Ｘ_ｇ）｝となるような画像Ｙ_ｍの変換情報Ｓ（Ｘ）から構成することができる。典型的には、ｇは、１０〜１００枚の画像であってもよい。

各ペア［Ｙ_ｍ，Ｚ_ｍ］は、０〜ｎの時刻で標準ビューｃで撮影された関連する標準画像Ｘ_ｃのセットＷ_ｎを有することができる。時刻ｎは心周期内の時間を示すことができる。上述したように、熟練した超音波検査者２は、心周期情報を示すことができ、セットＷ_ｎに含まれるであろう関連する標準画像Ｘ_ｃを提供することができる。

このシナリオでは、周期的標準ビュートレーナ１１５が、入力として、一般フレームＹ_ｍと、方向付けニューラルネットワーク１５によって生成されたそれらの近似変換Ｚ_ｍと、それらの関連する心周期タイミングｎとを受信し、所望のタイミングｎで標準ビューの要約画像Ｗｎのセットを生成するようにトレーニングされるようにしてもよい。最適化は次のようになる。
Ｌｏｓｓ＝ｌｏｓｓ（ＣＣ_ｎ，Ｗ_ｎ）（１０）
ここで、ＣＣ_ｎは、トレーニング中の周期的標準ビューニューラルネットワーク１１０の出力である。

周期的標準ビュートレーナ１１５は、完全畳み込みネットワーク、エンコーダ／デコーダタイプのネットワークまたは敵対的生成ネットワークなどの任意の適切なニューラルネットワークを使用して、ナビゲータ１００のためにトレーニングされた周期的標準ビューニューラルネットワーク１１０を生成することができる。

図９Ｂに示すように、ナビゲータ１００’’’は、トレーニングされた方向付けニューラルネットワーク１５、操作のためのセットクリエータ１１２’、十分性チェッカ６０’、結果コンバータ４０’、トレーニングされた周期的標準ビューニューラルネットワーク１１０および診断器５０を含むことができる。

操作中、非超音波検査者５は、所望の身体部分の周期（例えば、心周期）をカバーするのに少なくとも十分な長さの期間にわたって、関心のある身体部分の近くでプローブ７を操作することができる。プローブ７からの画像は、トレーニングされた方向付けニューラルネットワーク１５に提供されて、それらに関連する変換Ｓ（Ｘ）が生成されるとともに、セットクリエータ１１２’に提供されて、適切なセットＹ_ｍおよびＺ_ｍが生成される。十分性チェッカ６０’は、セットＹ_ｍおよびＺ_ｍが十分に大きいことを確認することができ、結果コンバータ４０’に、プローブ７を所望の方向に向けるか、または現在の向きで観察し続けるように、ユーザ５に対して指示させるようにしてもよい。この実施形態では、非超音波検査者５は、正確に標準ビューでプローブ７を保持する必要がなく、よって、結果コンバータ４０’が提供する指示は、より粗くなってもよいことが理解されよう。周期的標準ビューニューラルネットワーク１１０は、セットクリエータ１１２’の出力から、要約周期的標準ビューＣＣ_ｎを生成することができる。

本実施形態は、非周期的な身体部分にも有用であり、特にユーザ５がプローブ７を不安定に保持する可能性がある場合に有用であることが理解されよう。この実施形態では、各セットが、その中に１または２の画像のみを有するようにしてもよい。

出願人はさらに、トレーニングされた方向付けニューラルネットワーク１５によって生成される変換情報なしでも、ニューラルネットワークをトレーニングできることにも気付いている。これは、図９Ａおよび図９Ｂと同様のシステムを示す図１０Ａおよび図１０Ｂに示されているが、トレーニングされた方向付けニューラルネットワーク１５を含まない。その結果、トレーニング（図１０Ａ）のために、セットクリエータ１１３は、画像Ｘ_ｉからＹ_ｍを作成し、時刻ｎで標準画像Ｘ_ｃからＷ_ｎを作成することができる。周期的標準ビュートレーナ１１５は、式（１０）を使用して周期的標準ビューニューラルネットワーク１１０を生成することができる。

実行時（図１０Ｂ）に、セットクリエータ１１３’は、画像Ｘ_ｉからＹ_ｍを作成し、周期的標準ビューニューラルネットワーク１１０は、要約ビューＣＣ_ｎを生成することができる。

本発明は、トレーニングなしで、超音波プローブ以外の追加のハードウェアを使用せずに、非超音波検査者が移動式超音波装置を操作するためのナビゲータを提供できることが理解されよう。このため、本発明のナビゲータは、その唯一の入力として超音波画像を受信する。これにより、救急車、戦場、緊急治療施設、介護施設などの多くの非従来型のシナリオで、非超音波検査者が超音波スキャンを実行することを可能になることがさらに理解されよう。

さらに、本発明は、病院または診療所の環境で使用される従来の装置の一部など、より多くの従来のシナリオで実施することもでき、それは、カート上でも実施することができる。

特に明記しない限り、上述した議論から明らかなように、本明細書全体を通して、「処理」、「コンピューティング」、「計算」、「決定」などの用語を使用する議論は、任意のタイプの汎用コンピュータの動作および／またはプロセスを指し、そのようなコンピュータには、クライアント／サーバシステム、モバイルコンピューティングデバイス、スマートアプライアンスまたは類似の電子コンピューティングデバイスであって、コンピューティングシステムのレジスタおよび／またはメモリ内の物理的な量、例えば電子的な量として表されるデータを、コンピューティングシステムのメモリ、レジスタまたは他の情報ストレージ、送信または表示デバイス内の物理的な量として表される他のデータに操作および／または変換するコンピューティングシステムが含まれることを理解されたい。

本発明の実施形態は、本明細書に記載の操作を実行するための装置を含むことができる。この装置は、所望の目的のために特別に構成されていてもよく、またはコンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構成される、汎用コンピュータまたはクライアント／サーバ構成を含むことができる。ソフトウェアによって実行されたときに得られる装置は、汎用コンピュータを本明細書で記載されるような本発明の要素に変えることができる。実行可能な命令は、所望のコンピュータプラットフォームで動作する本発明のデバイスを規定することができる。そのようなコンピュータプログラムは、コンピュータアクセス可能な記憶媒体に格納することができ、そのような記憶媒体は、非一時的な媒体であってもよく、例えば、光学ディスク、磁気光学ディスク、リードオンリーメモリ（ＲＯＭ）、揮発性メモリおよび不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、電気的にプログラム可能なリードオンリーメモリ（ＥＰＲＯＭ）、電気的に消去可能でプログラム可能なリードオンリーメモリ（ＥＥＰＲＯＭ）、磁気カードまたは光学カード、フラッシュメモリ、ディスクオンキー、または電子命令を格納するのに適しており、かつコンピュータシステムバスに結合し得る他の任意のタイプの媒体を含むが、これらに限定されるものではない。

本明細書に提示されたプロセスおよび表示は、本質的に、任意の特定のコンピュータまたは他の装置に関連するものではない。様々な汎用システムが、本明細書の教示に従ってプログラムとともに使用されるものであってもよく、あるいは所望の方法を実行するために、より特別な装置を構築することが便利であると証明する場合もある。これらの様々なシステムの所望の構造は、以下の記述から明らかになるであろう。さらに、本発明の実施形態は、特定のプログラミング言語を参照して説明されていない。本明細書に記載されているような本発明の教示を実行するために、様々なプログラミング言語を使用できることが理解されよう。

本発明の特定の特徴を本明細書に例示および記載してきたが、多くの修正、置換、変更および均等物が、当技術分野の当業者には思い浮かぶであろう。したがって、添付の特許請求の範囲は、本発明の真の趣旨の範囲内にあるすべてのそのような修正および変更を包含することを意図していることを理解されたい。

Claims

超音波プローブを有する移動式超音波ユニットのためのダウンロード可能なナビゲータであって、ポータブルコンピューティングデバイス上に実装されるナビゲータにおいて、
前記移動式超音波ユニットから身体部分の非標準画像を受信して、前記非標準画像に関連付けられた変換を生成するトレーニングされた方向付けニューラルネットワークであって、前記変換が、標準画像に関連付けられた位置および回転から前記非標準画像に関連付けられた位置および回転に変換する、トレーニングされた方向付けニューラルネットワークと、
前記変換を前記プローブのユーザのための方向指示に変え、前記プローブの位置および回転を変更するために、前記ユーザに前記方向指示を提供および表示する結果コンバータとを備えることを特徴とするナビゲータ。
請求項１に記載のナビゲータにおいて、
前記標準画像と、前記標準画像の周囲で撮影された非標準画像と、前記標準画像から前記非標準画像に関連付けられた空間内の位置および回転への変換とを用いて、前記方向付けニューラルネットワークをトレーニングするためのトレーナを含むことを特徴とするナビゲータ。
請求項２に記載のナビゲータにおいて、
前記トレーナが、トレーニングプローブに取り付けられたＩＭＵ（慣性測定ユニット）からトレーニングセッション中にＩＭＵデータを受信するトレーニングコンバータを含み、前記ＩＭＵデータが、前記非標準画像および前記標準画像に関連付けられた位置および回転を提供し、それらの位置および回転を、前記標準画像に関連付けられた位置および回転から前記非標準画像に関連付けられた位置および回転への変換に変えることを特徴とするナビゲータ。
請求項２に記載のナビゲータにおいて、
前記トレーナが、トレーニングされていない方向付けニューラルネットワークと、前記トレーニングされていない方向付けニューラルネットワークをトレーニングするための損失関数とを含み、前記損失関数が、前記トレーニングされていない方向付けニューラルネットワークによって生成された計算された変換と、各非標準画像のグラウンドトルース変換との間の距離を減少させることを特徴とするナビゲータ。
請求項４に記載のナビゲータにおいて、
前記損失関数が、前記計算された変換を複数の異なる標準方向のうちの１つに制約する確率をさらに含むことを特徴とするナビゲータ。
請求項１に記載のナビゲータにおいて、
前記標準画像が、複数の標準画像のうちの１つであることを特徴とするナビゲータ。
請求項１に記載のナビゲータにおいて、
前記標準画像を観察するときに、前記プローブによって生成された最終画像から診断を行う診断器も含むことを特徴とするナビゲータ。
請求項１に記載のナビゲータにおいて、
前記ポータブルコンピューティングデバイスが、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータおよびスマートアプライアンスのうちの１つであることを特徴とするナビゲータ。
請求項１に記載のナビゲータにおいて、
前記プローブからの画像に応答して前記トレーニングされた方向付けニューラルネットワークから複数の変換を受信し、画像のセットおよびそれらに関連する変換を生成するセットクリエータと、
十分なセットが生成されたときを判定する十分性チェッカと、
身体部分の周期中に身体部分の変化を示す要約周期的標準画像のセットを生成するためのトレーニングされた周期的標準ビューニューラルネットワークとをさらに含むことを特徴とするナビゲータ。
請求項９に記載のナビゲータにおいて、
身体の周期の各時点で、前記画像のセットと、それらに関連する変換と、それらに関連する要約周期的標準画像とを用いて、トレーニングされていない周期的標準ビューニューラルネットワークをトレーニングするための周期的標準ビュートレーナをさらに含むことを特徴とするナビゲータ。
請求項９に記載のナビゲータにおいて、
前記身体部分の周期が、心周期であることを特徴とするナビゲータ。
請求項９に記載のナビゲータにおいて、
各セットが単一の要素を含むことを特徴とするナビゲータ。
超音波プローブを有するポータブルコンピューティングデバイスに実装される移動式超音波ユニットのためのナビゲータであって、
身体部分の周囲でキャプチャされた複数の超音波画像の方向情報を提供するためのトレーニングされた方向付けニューラルネットワークであって、前記方向情報が、前記身体部分の標準ビューに対して前記画像を方向付けるためのものである、方向付けニューラルネットワークと、
前記方向情報に従って前記画像を方向付けし、断層再構成を使用して方向付けされた画像から前記身体部分のボリューム表示を生成し、前記ボリューム表示から標準ビューの標準画像を生成するためのボリューム再構成器とを備えることを特徴とするナビゲータ。
請求項１３に記載のナビゲータにおいて、
前記プローブからの画像に応答して前記トレーニングされた方向付けニューラルネットワークから方向を受信して、十分な画像が受信されたときを判定するための十分性チェッカと、
前記十分性チェッカに応答して前記トレーニングされた方向付けニューラルネットワークのために更なる画像を要求するための結果コンバータとをさらに備えることを特徴とするナビゲータ。
請求項１３に記載のナビゲータにおいて、
前記身体部分の前記ボリューム表示から診断を行う診断器をさらに含むことを特徴とするナビゲータ。
モバイルデバイス上に実装される、超音波プローブを有する移動式超音波ユニットのためのナビゲータであって、
前記プローブから身体部分の非標準画像を受信し、前記非標準画像を表示可能なマップ上の非標準マップポイントにマッピングし、前記非標準画像に関連付けられた複数の標準画像を前記表示可能なマップ上の標準マップポイントにマッピングするためのトレーニングされたマッピングニューラルネットワークと、
前記標準マップポイントおよび非標準マップポイントでマークされたマップを表示するための結果コンバータとを備えることを特徴とするナビゲータ。
請求項１６に記載のナビゲータにおいて、
前記トレーニングされたマッピングニューラルネットワークが、損失関数を含み、この損失関数は、前記プローブの動きの変化が前記表示可能なマップ上に小さな動きを生成し、前記画像間の距離がマップ上の位置間の距離に類似し、かつ、ある標準画像から別の標準画像への最適なパスが直線的な等速軌道であるようにすることを特徴とするナビゲータ。
請求項１６に記載のナビゲータにおいて、
ユーザが前記プローブを前記標準マップポイントのうちの１つに移動させたときに、前記プローブによって生成された最終画像から診断を行う診断器をさらに含むことを特徴とするナビゲータ。
超音波プローブを有する移動式超音波ユニットのためのダウンロード可能なナビゲータであって、モバイルデバイス上に実装されるナビゲータにおいて、
時間の経過とともに前記プローブから画像を受信し、画像のセットを生成するセットクリエータと、
十分なセットが生成されたときを判定する十分性チェッカと、
身体部分の周期中に前記身体部分の変化を示す要約周期的標準画像のセットを生成する周期的標準ビューニューラルネットワークとを備えることを特徴とするナビゲータ。
請求項１９に記載のナビゲータにおいて、
前記周期的標準ビューニューラルネットワークによって生成された最終画像から診断を行う診断器をさらに含むことを特徴とするナビゲータ。
超音波プローブを有する移動式超音波ユニットのための方法であって、ポータブルコンピューティングデバイスに実装される方法において、
トレーニングされた方向付けニューラルネットワークを使用して、前記移動式超音波ユニットから身体部分の非標準画像を受信して、前記非標準画像に関連付けられた変換を生成するステップであって、前記変換が、標準画像に関連付けられた位置および回転から前記非標準画像に関連付けられた位置および回転に変換する、ステップと、
前記変換を前記プローブのユーザのための方向指示に変え、前記プローブの位置および回転を変更するために、前記ユーザに前記方向指示を提供および表示するステップとを備えることを特徴とする方法。
請求項２１に記載の方法において、
前記標準画像と、前記標準画像の周囲でキャプチャされた非標準画像と、前記標準画像から前記非標準画像に関連付けられた空間内の位置および回転への変換とを用いて、前記方向付けニューラルネットワークをトレーニングするステップを含むことを特徴とする方法。
請求項２２に記載の方法において、
トレーニングすることが、トレーニングプローブに取り付けられたＩＭＵ（慣性測定ユニット）からトレーニングセッション中にＩＭＵデータを受信することを含み、前記ＩＭＵデータが、前記非標準画像および前記標準画像に関連付けられた位置および回転を提供し、それらの位置および回転を、前記標準画像に関連付けられた位置および回転から前記非標準画像に関連付けられた位置および回転への変換に変えることを特徴とする方法。
請求項２２に記載の方法において、
前記トレーニングされたマッピングニューラルネットワークが、損失関数を含み、この損失関数は、前記プローブの動きの変化が前記表示可能なマップ上に小さな動きを生成し、前記画像間の距離がマップ上の位置間の距離に類似し、かつ、ある標準画像から別の標準画像への最適なパスが直線的な等速軌道であるようにすることを特徴とする方法。
請求項２４に記載の方法において、
前記損失関数が、前記計算された変換を複数の異なる標準方向のうちの１つに制約する確率をさらに含むことを特徴とする方法。
請求項２１に記載の方法において、
前記標準画像が、複数の標準画像のうちの１つであることを特徴とする方法。
請求項２１に記載の方法において、
前記標準画像を観察するときに、前記プローブによって生成された最終画像から診断を行うステップをさらに含むことを特徴とする方法。
請求項２１に記載の方法において、
前記ポータブルコンピューティングデバイスが、スマートフォン、タブレット、ラップトップ、パーソナルコンピュータおよびスマートアプライアンスのうちの１つであることを特徴とする方法。
請求項２１に記載の方法において、
前記プローブからの画像に応答して前記トレーニングされた方向付けニューラルネットワークから複数の変換を受信し、画像のセットおよびそれらに関連する変換を生成するステップと、
十分なセットが生成されたときを判定するステップと、
トレーニングされた周期的標準ビューニューラルネットワークを使用して、身体部分の周期中に身体部分の変化を示す要約周期的標準画像のセットを生成するステップとをさらに含むことを特徴とする方法。
請求項２９に記載の方法において、
身体の周期の各時点で、前記画像のセットと、それらに関連する変換と、それらに関連する要約周期的標準画像とを用いて、トレーニングされていない周期的標準ビューニューラルネットワークをトレーニングするステップをさらに含むことを特徴とする方法。
請求項２９に記載の方法において、
前記身体部分の周期が、心周期であることを特徴とする方法。
請求項２９に記載の方法において、
各セットが単一の要素を含むことを特徴とする方法。
超音波プローブを有するポータブルコンピューティングデバイス上に実装される移動式超音波ユニットのための方法であって、
トレーニングされた方向付けニューラルネットワークを使用して、身体部分の周囲でキャプチャされた複数の超音波画像の方向情報を提供するステップであって、前記方向情報が、前記身体部分の標準ビューに対して前記画像を方向付けるためのものである、ステップと、
前記方向情報に従って前記画像を方向付けし、断層再構成を使用して方向付けされた画像から前記身体部分のボリューム表示を生成し、前記ボリューム表示から標準ビューの標準画像を生成するステップとを含むことを特徴とする方法。
請求項３３に記載の方法において、
前記プローブからの画像に応答して前記トレーニングされた方向付けニューラルネットワークから方向を受信して、十分な画像が受信されたときを判定するステップと、
受信した方向に応答して前記トレーニングされた方向付けニューラルネットワークのために更なる画像を要求するステップとをさらに含むことを特徴とする方法。
請求項３３に記載の方法において、
前記身体部分の前記ボリューム表示から診断を行うステップをさらに含むことを特徴とする方法。
モバイルデバイス上に実装される、超音波プローブを有する移動式超音波ユニットのための方法であって、
トレーニングされたマッピングニューラルネットワークを使用して、前記プローブから身体部分の非標準画像を受信し、前記非標準画像を表示可能なマップ上の非標準マップポイントにマッピングし、前記非標準画像に関連付けられた複数の標準画像を前記表示可能なマップ上の標準マップポイントにマッピングするステップと、
前記標準マップポイントおよび非標準マップポイントでマークされたマップを表示するステップとを備えることを特徴とする方法。
請求項３６に記載の方法において、
前記トレーニングされたマッピングニューラルネットワークが、損失関数を含み、この損失関数は、前記プローブの動きの変化が前記表示可能なマップ上に小さな動きを生成し、前記画像間の距離が直線的な等速軌道に類似するようにすることを特徴とする方法。
請求項３６に記載の方法において、
ユーザが前記プローブを前記標準マップポイントのうちの１つに移動させたときに、前記プローブによって生成された最終画像から診断を行うステップをさらに含むことを特徴とする方法。
モバイルデバイス上に実装される、超音波プローブを有する移動式超音波ユニットのための方法であって、
時間の経過とともに前記プローブから画像を受信し、画像のセットを生成するステップと、
十分なセットが生成されたときを判定するステップと、
周期的標準ビューニューラルネットワークにより、身体部分の周期中に前記身体部分の変化を示す要約周期的標準画像のセットを生成するステップとを備えることを特徴とする方法。
請求項３９に記載の方法において、
前記周期的標準ビューニューラルネットワークによって生成された最終画像から診断を行うステップをさらに含むことを特徴とする方法。