JP2023502449A - 超音波撮像並びに関連する装置、システム、及び方法のためのインテリジェントな測定支援 - Google Patents

Abstract

超音波画像装置、システム、及び方法が提供される。超音波撮像システムは、超音波トランスデューサアレイと通信するプロセッサ回路を備え、プロセッサ回路は、超音波トランスデューサアレイから、患者の解剖学的特徴を含む解剖学的構造の３次元（３Ｄ）ボリュームの画像のセットを受け取り、画像のセットの第１の画像における解剖学的特徴の第１の測定データを取得し、第１の画像からの第１の測定データを１つ又は複数の画像へと伝搬させることにより、画像のセットの１つ又は複数の画像における解剖学的特徴に関する第２の測定データを生成して、解剖学的特徴に関する第２の測定データを、プロセッサ回路と通信するディスプレイに出力するように構成されている。

Description

[0001] 本開示は一般に超音波撮像に関し、詳細には超音波画像から解剖学的特徴の自動測定を提供することに関する。

[0002] 超音波撮像システムは、医用撮像用に広く使用されている。例えば、超音波治療システムは、処理システムに結合された超音波トランスデューサプローブと、１つ又は複数の表示装置とを含む。超音波トランスデューサプローブが含む超音波トランスデューサ素子の配列は、患者の体内に音波を送信し、患者の体内の組織、血管、及び臓器を含む解剖学的構造から反射された音波を記録する。音波の送信及び／又は反射された音波若しくはエコー応答の受信は、超音波トランスデューサ素子の同一のセット又は超音波トランスデューサ素子の別々のセットによって実行され得る。処理システムは、受け取ったエコー応答に、ビーム形成、信号処理、及び／又は撮像処理を適用して、患者の内部の解剖学的構造の画像を生成することができる。画像は、各ピクセルがエコーの強度に対応する輝度レベル又は強度レベルによって表される輝度モード（Ｂモード）画像の形式で臨床医に提示される。

[0003] 超音波撮像は、診断診察、介入、及び／又は治療のために使用され得る。加えて、超音波撮像は、解剖学的特徴の測定のための定量化ツールとして使用され得る。例えば、産科の診察中に、妊婦の胎児の画像を取り込むために超音波撮像が使用され得、臨床医は、超音波画像から、胎児の頭又は他の部分の測定値を基に胎児の成長を評価する。或いは、心臓検査中に、患者の心臓の画像を取り込むために超音波撮像が使用され得、臨床医は超音波画像から量的な心臓測定を実行する。

[0004] 超音波画像から測定を実行するために、臨床医は画像の内部の関心領域に測定ポイント（例えばカリパス）を置く。処理システムは、測定ポイントに基づいて関心領域に関する測定を決定することができるソフトウェアを装備している。測定ポイントは測定の終点として働く。今日の超音波トランスデューサ用には、トランスデューサ表面に対する画像の中のポイントの深度、関心領域（ＲＯＩ）における２つのポイントの間の距離、ＲＯＩの周囲に置かれたポイントに基づく円の直径、ＲＯＩの周囲に置かれたポイントに基づく楕円面の長軸測定及び／又は短軸測定などの様々な超音波測定ツールが使用可能である。しかしながら、これらの測定は、すべて、２Ｄ画像から測定された３次元（３Ｄ）の解剖学的構造の１次元（１Ｄ）又は２次元（２Ｄ）の表現である。そのため、測定自体も、測定が導出された画像も、実際の解剖学的構造のより低い次元の表現からのものである。音波検査者はこの制限に気付いており、したがって、撮像面が、測定される３Ｄ解剖学的構造の代表的な断面であることを保証するために、画像において追加機能を使用する。したがって、音波検査者によって測定がばらつき、しかも最適な測定面を見つけるプロセスに時間がかかってしまう。

[0005] 効率的で正確な超音波画像に基づく解剖学的特徴の測定値を提供するための改善されたシステム及び技術に対する臨床的な必要性が残っている。本開示の実施形態は、超音波画像から解剖学的特徴を自動測定するための技術を提供するものである。開示される実施形態では、超音波撮像システムは、追跡される超音波プローブを利用して、関心のある解剖学的特徴（例えば胎児頭又は心室）のまわりの画像フレームのセットを取得する。超音波プローブには、画像収集中に超音波プローブの位置情報及び／又は運動情報を供給することができる慣性測定トラッカ（例えば加速度計、ジャイロスコープ、及び／又はセンサを含む）が取り付けられる。加えて、超音波プローブは、外部の電磁（ＥＭ）追跡システム及び／又は光追跡システムによって追跡され得るマーカを含む。取得された画像と、プローブの追跡された位置情報及び／又は運動情報とを基に、関心のある解剖学的特徴を囲む３次元（３Ｄ）ボリュームが再構成される。３Ｄボリュームは、関心のある解剖学的特徴を測定するための最適な測定面を囲む。臨床医は、対象物測定（例えば胎児頭の最大の長さ若しくは直径又は心室幅）のために、各画像の第１の画像に測定マーカ（例えばカリパス）を置く。システムは、予測ネットワーク（例えば深層学習ネットワーク）を利用することにより、再構成された３Ｄボリュームを基に、測定マーカを第１の画像から他の取得された画像へと伝搬させて、臨床医に測定支援を提供する。加えて、予測ネットワークは、再構成された３Ｄボリュームから多断面の再構成（ＭＰＲ）を生成して、測定マーカを、第１の画像からすべてのＭＰＲへ伝搬させるように訓練される。したがって、予測ネットワークは、関心のある特徴に関する最適な測定値を得るための断面（例えばＭＰＲ）を供給する。さらに、予測ネットワークは、画像から、関心のある解剖学的特徴をセグメント化して、セグメント化された特徴を基に測定を実行するように訓練される。予測ネットワークは、すべての画像から得られた測定値、測定値の統計、及び／又は測定値の信頼度を基に、最終的な測定値を出力する。

[0006] 一実施形態では、超音波撮像システムは、超音波トランスデューサアレイと通信するプロセッサ回路を含み、プロセッサ回路は、超音波トランスデューサアレイから、患者の、解剖学的特徴を含む解剖学的構造の３次元（３Ｄ）ボリュームの画像のセットを受け取り、画像のセットの第１の画像における解剖学的特徴の第１の測定データを取得し、第１の画像からの第１の測定データを１つ又は複数の画像へと伝搬させることにより、画像のセットの１つ又は複数の画像における解剖学的特徴に関する第２の測定データを生成して、解剖学的特徴に関する第２の測定データを、プロセッサ回路と通信するディスプレイに出力するように構成されている。

[0007] いくつかの態様では、システムは、プロセッサ回路と通信するユーザインターフェースから第１の測定データを受け取るように構成されたプロセッサ回路をも含み、第１の測定データは、第１の画像における解剖学的特徴にわたる少なくとも２つの測定マーカを含む。いくつかの態様では、システムは、患者の、解剖学的特徴を含む解剖学的構造の３Ｄボリュームにわたる複数の撮像面に関連した画像のセットをも含む。いくつかの態様では、システムは、第２の測定データを生成するように構成されたプロセッサ回路をも含み、プロセッサ回路は、複数の撮像面に対する超音波トランスデューサアレイの位置データを基に、第１の画像からの第１の測定データを１つ又は複数の画像へと伝搬させるように構成されている。いくつかの態様では、システムは、第２の測定データを生成するように構成されたプロセッサ回路をも含み、プロセッサ回路は、超音波トランスデューサアレイの位置データを基に、第１の画像及び１つ又は複数の画像に関する３Ｄ空間データを決定して、３Ｄ空間データを基に、第１の画像からの第１の測定データを１つ又は複数の画像へと伝搬させるように構成されている。いくつかの態様では、システムは、超音波トランスデューサアレイ及び慣性測定トラッカを含むプローブをも含み、プロセッサ回路は、慣性測定トラッカから、超音波トランスデューサアレイ及び複数の撮像面に関連した慣性測定データを受け取って、３Ｄ空間データを決定し、慣性測定データと、慣性測定から画像への変換とを基に、複数の撮像面に対する超音波トランスデューサアレイの位置データを決定するように構成されている。いくつかの態様では、システムはプロセッサ回路をも含み、プロセッサ回路は、第１の測定データ及び第２の測定データを基に、解剖学的特徴に関する第３の測定データを生成し、第３の測定データを、複数の撮像面の第１の撮像面又は複数の撮像面とは別の３Ｄボリュームの内部の第２の撮像面のうちの少なくとも１つと関連づけて、第３の測定データを、ディスプレイに出力するように構成されている。いくつかの態様では、システムは、第１の撮像面と交差する第２の撮像面をも含む。いくつかの態様では、システムは第３の測定データをも含み、第３の測定データは、第２の測定データ、解剖学的特徴にわたる２つの測定マーカの間の距離、第１の測定データの信頼度メトリック、第２の測定データの信頼度メトリック、第１の測定データと第２の測定データとの平均値、第１の測定データと第２の測定データとの分散、又は第１の測定データと第２の測定データとの標準偏差うちの少なくとも１つを含む。いくつかの態様では、システムはプロセッサ回路と通信するユーザインターフェースをも含み、ユーザインターフェースは第３の測定データに関連した選択を提供するように構成されている。いくつかの態様では、システムは、１つ又は複数の画像における解剖学的特徴に関する第２の測定データを生成するように構成されたプロセッサ回路をも含み、プロセッサ回路は、画像セグメント化を基に、第１の画像からの第１の測定データを１つ又は複数の画像へと伝搬させるように構成されている。いくつかの態様では、システムは、１つ又は複数の画像における解剖学的特徴に関する第２の測定データを生成するように構成されたプロセッサ回路をも含み、プロセッサ回路は、画像セグメント化又は特徴測定のうちの少なくとも１つに向けて訓練された予測ネットワークを使用して、第１の画像からの第１の測定データを１つ又は複数の画像へと伝搬させるように構成されている。いくつかの態様では、システムは、特徴測定用の画像－測定値対のセットに対して訓練された予測ネットワークをも含み、画像－測定値対のセットのうちの各画像－測定値対は、３Ｄ解剖学的ボリュームの一連の画像における画像と、この画像に関する３Ｄ解剖学的ボリュームの特徴の測定値とを含む。いくつかの態様では、システムは、画像セグメント化のために画像－セグメント対のセットに対して訓練された予測ネットワークをも含み、画像－セグメント対のセットのうちの各画像－セグメント対は、３Ｄ解剖学的ボリュームの一連の画像における画像と、この画像に関する３Ｄ解剖学的ボリュームの特徴のセグメントとを含む。いくつかの態様では、システムは、胎児頭を含む解剖学的特徴をも含み、第１の測定データ及び第２の測定データは、胎児頭の周囲又は胎児頭の長さのうちの少なくとも１つに関連するものである。いくつかの態様では、システムは、左心室を含む解剖学的特徴をも含み、第１の測定データ及び第２の測定データは、左心室の幅、高さ、領域、又は容積うちの少なくとも１つに関連するものである。

[0008] 一実施形態では、超音波撮像の方法は、超音波トランスデューサアレイと通信するプロセッサ回路において、患者の解剖学的特徴を含む解剖学的構造の３次元（３Ｄ）ボリュームの画像のセットを受け取るステップと、画像のセットの第１の画像における解剖学的特徴の第１の測定データを得るステップと、プロセッサ回路において、第１の画像からの第１の測定データを１つ又は複数の画像へと伝搬させることにより、画像のセットの１つ又は複数の画像における解剖学的特徴に関する第２の測定データを生成するステップと、解剖学的特徴に関する第２の測定データを、プロセッサ回路と通信するディスプレイに出力するステップとを含む。

[0009] いくつかの態様では、この方法は、第１の測定データを得るステップに、プロセッサ回路と通信するユーザインターフェースから、解剖学的特徴にわたる少なくとも２つの測定マーカを含む第１の測定データを受け取るステップをも含む。いくつかの態様では、この方法は、画像のセットを、患者の、解剖学的特徴を含む解剖学的構造の３Ｄボリュームにわたる複数の撮像面に関連づけるステップをも含み、第２の測定データを生成するステップは、複数の撮像面に対する超音波トランスデューサアレイの位置データを基に、第１の画像及び１つ又は複数の画像に関する３Ｄ空間データを決定するステップと、３Ｄ空間データを基に、第１の画像からの第１の測定データを１つ又は複数の画像へと伝搬させるステップとを含む。いくつかの態様では、この方法はまた、プロセッサ回路と通信する慣性測定トラッカから、超音波トランスデューサアレイに関連した慣性測定データを受け取るステップと、慣性測定データと慣性測定から画像への変換とを基に、第１の画像及び１つ又は複数の画像に対する超音波トランスデューサアレイの位置データを決定するステップとを含む。

[0010] 本開示のさらなる態様、特徴、及び利点が、以下の発明を実施するための形態から明らかになる。

[0011] 本開示の例示的実施形態が添付図面を参照しながら説明される。

[0012] 本開示の態様による超音波撮像システムの概略図である。 [0013] 本開示の態様による超音波画像ベース自動測定方式の概略図である。 [0014] 本開示の態様による超音波画像ベース自動測定方式の概略図である。 [0015] 本開示の態様による超音波画像ベース自動測定方式の概略図である。 [0016] 本開示の態様による、深層学習の、超音波画像ベース自動測定方式の概略図である。 [0017] 本開示の態様による、超音波画像ベース測定のための、深層学習ネットワーク構成の概略図である。 [0018] 本開示の態様による、超音波画像ベース測定の、深層学習ネットワーク訓練方式の概略図である。 [0019] 本開示の態様による、深層学習の、超音波画像ベース自動測定方式の概略図である。 [0020] 本開示の態様による超音波画像ベース自動測定システムのユーザインターフェースの概略図である。 [0021] 本開示の実施形態によるプロセッサ回路の概略図である。 [0022] 本開示の態様による、深層学習の、超音波画像ベース測定方法の流れ図である。

[0023] 本開示の原理の理解を促進するために、次に、図面に示された実施形態が参照され、これらを説明するために特定言語が使用される。しかしながら、本開示の範囲を制限する意図はないことが理解される。説明される装置、システム、及び方法に対するあらゆる改変形態及びさらなる修正形態、並びに本開示の原理のあらゆるさらなる用途が、本開示に関連する当業者なら気付くように十分に企図されており、本開示の範囲内に含まれる。詳細には、一実施形態に関して説明された特徴、構成要素、及び／又はステップを、本開示の他の実施形態に関して説明された特徴、構成要素、及び／又はステップと組み合わせることが、十分に企図される。しかしながら、簡潔さのために、これらの組合せの多くの繰返しを別個に説明することはない。

[0024] 図１は、本開示の態様による超音波撮像システム１００の概略図である。システム１００は、患者の身体の領域又はボリュームを走査するために使用される。システム１００は、通信インターフェース又はリンク１２０を通じてホスト１３０と通信する超音波撮像プローブ１１０を含む。プローブ１１０は、トランスデューサアレイ１１２、ビーム形成器１１４、プロセッサ回路１１６、及び通信インターフェース１１８を含む。ホスト１３０は、ディスプレイ１３２、プロセッサ回路１３４、及び通信インターフェース１３６を含む。

[0025] 例示的実施形態では、プローブ１１０は、ユーザによる手持ち作業用に構成されたハウジングを含む外部超音波撮像装置である。トランスデューサアレイ１１２は、ユーザが、トランスデューサアレイ１１２を患者の皮膚に隣接させるように、且つ／又は接触させるように、プローブ１１０のハウジングを握っている間は、超音波データを得るように構成され得る。プローブ１１０は、患者の身体の外部に配置されている間に、患者の身体内部の解剖学的構造の超音波データを得るように構成されている。いくつかの実施形態では、プローブ１１０は、胎児の診察に適する外部の超音波プローブであり得る。いくつかの他の実施形態では、プローブ１１０は、心臓検査に適する、経胸的（ＴＴＥ）プローブ又は経食道的（ＴＥＥ）超音波プローブであり得る。

[0026] トランスデューサアレイ１１２は、患者の解剖学的目的物１０５に向けて超音波信号を放射し、目的物１０５から反射されてトランスデューサアレイ１１２に戻るエコー信号を受け取る。超音波トランスデューサアレイ１１２は、１つ又は複数の音響素子並びに／或いは複数の音響素子を含めて、任意の適切な数の音響素子を含むことができる。いくつかの事例では、トランスデューサアレイ１１２は１つの音響素子を含む。いくつかの事例では、トランスデューサアレイ１１２は、任意数の音響素子の配列を任意の適切な構成で含む。例えば、トランスデューサアレイ１１２が含み得る音響素子の数は、２、４、３６、６４、１２８、５００、８１２、１０００、３０００、８０００、及び／又は他のより多い数やより少ない数などを含めて１～１００００である。いくつかの事例では、トランスデューサアレイ１１２は、任意数の音響素子の配列を、線形配列、平面配列、曲面配列、曲線配列、円周配列、環状配列、位相配列、マトリクス配列、１次元（１Ｄ）配列、１．ｘ次元配列（例えば１．５Ｄ配列）、又は２次元（２Ｄ）配列などの任意の適切な構成で含む。音響素子の配列（例えば１つ又は複数の行、１つ又は複数の列、並びに／或いは１つ又は複数の配向）は、均一に、又は別個に、制御されて活性化される。トランスデューサアレイ１１２は、患者の解剖学的構造の、１次元、２次元、及び／又は３次元の画像を得るように構成され得る。いくつかの実施形態では、トランスデューサアレイ１１２は、圧電型の微細加工超音波トランスデューサ（ＰＭＵＴ）、容量性の微細機械加工超音波トランスデューサ（ＣＭＵＴ）、単結晶、ジルコン酸チタン酸鉛（ＰＺＴ）、ＰＺＴ化合物、他の適切なトランスデューサタイプ、及び／又はその組合せを含む。

[0027] 目的物１０５は、血管、神経繊維、気道、僧帽弁尖、心臓構造物、腹部の組織構造、腎臓、患者の肝臓、及び／又は超音波撮像診察に適する妊婦の胎児などの任意の解剖学的構造を含む。いくつかの実施形態では、目的物１０５は、患者の心臓、肺、及び／又は皮膚の少なくとも一部を含み得る。本開示は、肝臓、心臓、腎臓、胆嚢、膵臓、肺、脈管、腸、脳を含む神経系構造、硬膜嚢、脊髄及び末梢神経、尿路、並びに血管、血液内の弁、心臓の心室又は他の部分、妊婦の子宮、及び／又は他の身体組織を含んでいる器官を含むがこれに限定されない任意数の解剖学的な位置及び組織タイプの状況で実施され得る。いくつかの実施形態では、目的物１０５は、人の解剖学的構造の何らかの部分の内部の腫瘍、嚢腫、病変、出血、又は血液プールなどの悪性腫瘍を含む。解剖学的構造は、心臓の血管系、周辺の血管系、神経の血管系、腎血管系、及び／又は身体内部の任意の他の適切な管腔を含む、患者の血管系の動脈又は静脈としての血管である。本開示は、生来の組織体に加えて、限定することなく、心臓弁、ステント、シャント、フィルタ、インプラント及び他の装置などの人工構造物の状況で実施され得る。

[0028] トランスデューサアレイ１１２にはビーム形成器１１４が結合されている。ビーム形成器１１４は、トランスデューサアレイ１１２を、例えば超音波信号の送信及び超音波エコー信号の受信のために制御する。ビーム形成器１１４は、受け取った超音波エコー信号の応答に基づいて、プロセッサ回路１１６に画像信号を供給する。ビーム形成器１１４は、ビーム形成の複数のステージを含む。ビーム形成は、プロセッサ回路１１６に結合するための信号線の数を減少させることができる。いくつかの実施形態では、ビーム形成器１１４と組み合わせたトランスデューサアレイ１１２は超音波撮像構成要素と称される。

[0029] ビーム形成器１１４にはプロセッサ回路１１６が結合されている。プロセッサ回路１１６は、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、別のハードウェア装置、ファームウェア装置、又は本明細書で説明した動作を行うように構成された、これらの任意の組合せを含む。プロセッサ回路１３４は、例えばＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと協力する１つ又は複数のマイクロプロセッサ、他のそのような構成といった、コンピュータデバイスの組合せとしても実施される。プロセッサ回路１１６は、ビーム形成された画像信号を処理するように構成されている。例えば、プロセッサ回路１１６は、フィルタリング及び／又は直角位相復調を実行して画像信号を調節する。プロセッサ回路１１６及び／又は１３４は、配列１１２を制御して、目的物１０５に関連した超音波データを得るように構成され得る。

[0030] プロセッサ回路１１６には通信インターフェース１１８が結合されている。通信インターフェース１１８は、１つ又は複数の送信器、１つ又は複数の受信器、１つ又は複数のトランシーバ、並びに／或いは通信信号の送信及び／又は受信のための回路を含み得る。通信インターフェース１１８は、通信リンク１２０を通じてホスト１３０に信号を搬送するのに適する特定の通信プロトコルを実施するハードウェアコンポーネント及び／又はソフトウェアコンポーネントを含むことができる。通信インターフェース１１８は、通信装置又は通信インターフェースモジュールと称され得る。

[0031] 通信リンク１２０は任意の適切な通信リンクである。例えば、通信リンク１２０は、ユニバーサルシリアルバス（ＵＳＢ）リンク又はイーサネットリンクなどの有線リンクである。或いは、通信リンク１２０は、超広帯域（ＵＷＢ）リンク、電気電子技術者協会（ＩＥＥＥ）８０２．１１のＷｉ－Ｆｉ（登録商標）リンク、又はブルートゥース（登録商標）リンクなどの無線リンクである。

[0032] ホスト１３０において、通信インターフェース１３６は画像信号を受け取る。通信インターフェース１３６は、通信インターフェース１１８と実質的に類似である。ホスト１３０は、ワークステーション、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、タブレット型コンピュータ、又は携帯電話などの任意の適切な計算及び表示の装置である。

[0033] 通信インターフェース１３６にはプロセッサ回路１３４が結合されている。プロセッサ回路１３４は、ソフトウェアコンポーネントとハードウェアコンポーネントとの組合せとして実施される。プロセッサ回路１３４は、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、ＦＰＧＡ装置、別のハードウェア装置、ファームウェア装置、又は本明細書で説明した動作を行うように構成された、これらの任意の組合せを含む。プロセッサ回路１３４は、例えばＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと協力する１つ又は複数のマイクロプロセッサ、他のそのような構成といった、コンピュータデバイスの組合せとしても実施される。プロセッサ回路１３４は、プローブ１１０から受け取った画像信号から画像データを生成するように構成され得る。プロセッサ回路１３４は、画像信号に対して、高度な信号処理技術及び／又は画像処理技術を適用することができる。いくつかの実施形態では、プロセッサ回路１３４は、画像データから３次元（３Ｄ）ボリューム画像を形成することができる。いくつかの実施形態では、プロセッサ回路１３４は、画像データに対するリアルタイム処理を実行して、目的物１０５の超音波画像のストリームビデオを供給することができる。

[0034] プロセッサ回路１３４にはディスプレイ１３２が結合されている。ディスプレイ１３２はモニタ又は任意の適切なディスプレイである。ディスプレイ１３２は、超音波画像、画像ビデオ、並びに／或いは目的物１０５及び／又は医療機器１０８の任意の撮像情報を表示するように構成されている。

[0035] 音波検査者が、取得された超音波画像から測定を実行するのを支援するために、システム１００が使用される。いくつかの態様では、システム１００は、目的物１０５の一連の超音波画像を取り込むことができる。臨床医の関心は、目的物１０５の、ある特定の解剖学的特徴の測定を決定することにある。一例では、音波検査者は、患者の心臓構造物を含む目的物１０５の、２Ｄの経胸的な心臓の超音波走査を実行して、心臓構造物の、定量的で、構造的及び／又は機能的な測定を実行する。例えば、音波検査者は、走査中に、心収縮中及び心拡張中の直線的測定及び／又はディスクのバイプレーン法などの技術を使用するＬＶ容量測定を実行して関数パラメータ（例えば駆出率（ＥＦ））を推定する。同様に、音波検査者は、走査中に右心室（ＲＶ）の構造測定を実行してＲＶ機能を評価する。例えば、右室流出路（ＲＶＯＴ）が、近位方向及び遠位方向において測定される。加えて、超音波心臓検診の走査中に、右心房対左心房の相対サイズを表す心室の均等性、大動脈起始部直径、下大静脈直径などの構造的なサイズが測定され得る。正確な測定のために、フォアショートニングを防止することが重要である。フォアショートニングは、２Ｄ超音波面が心臓構造物の心尖を通らない状況を指す。フォアショートニングは誤った測定値をもたらす。別の例では、音波検査者は、胎児の撮像を実行して、胎児の成長を表す重要な測定値である胎児頭周囲の測定値を得る。したがって、胎児頭周囲の正確且つ精密な測定が重要である。胎児頭周囲の正確且つ精密な測定値を得るために、測定は、胎児の頭を、足と頭とを結ぶ軸に対して垂直に通る面である、軸方向の断面で実行されるべきである。加えて、測定は、測定値を最大化するレベルにおいて実行されるべきである。胎児頭周囲を便宜的な撮像面で測定すると誤解を招く恐れがある。音波検査者は、正確な、又は最適な測定撮像面の取込みを保証するために、正確な撮像面を指示する、画像における頭蓋の特徴の存在を捜し求める。音波検査者が、正確な測定面において測定されることを保証するために追加の解剖学的特徴を捜し求めても、走査時間が長くなってしまい、もたらされる測定値がユーザに左右される。

[0036] 本開示の実施形態によれば、システム１００は、追跡される超音波プローブを使用して、最適な測定面において、及び／又は最適な測定面のまわりで、超音波画像（例えば２Ｄ超音波画像）を取得し、追跡情報を使用して、測定面を囲む３Ｄボリュームを生成する、超音波画像に基づく自動測定を提供するようにさらに構成されている。いくつかの態様では、プローブ１１０は慣性測定トラッカ１１７を含む。慣性測定トラッカ１１７は、加速度計、ジャイロスコープ、及び／又は目的物１０５が走査されている間にプローブ１１０の動きを取得したり追跡したりするセンサを含む。システム１００は、電磁（ＥＭ）追跡及び／又は光学追跡に基づく外部の追跡システムをさらに含み、プローブ１１０は、プローブ１１０の情報及び／又はその位置情報を供給するために、外部の追跡システムによって追跡され得るマーカを含む。プロセッサ回路１３４は、追跡情報及び取得された画像を基に、目的物１０５の３Ｄボリューム、又は３Ｄ空間において目的物１０５を画定する３Ｄ空間データのセットを生成する。３Ｄ空間情報により、人工知能（ＡＩ）又は深層学習ベースエージェントの支援によって、より正確な測定が可能になる。

[0037] いくつかの態様では、プロセッサ回路１３４は、測定するための超音波画像上の関心領域を識別し、ユーザが識別した測定位置を１つの画像から近隣の画像へと伝搬させ、断面測定のための多断面の再構成（ＭＰＲ）を生成し、且つ／又は画像から自動測定するために、関心のある解剖学的構造をセグメント化するように訓練された１つ又は複数の深層学習に基づく予測ネットワークを実施する。超音波画像から自動測定を提供するための機構は、本明細書でより詳細に説明される。

[0038] いくつかの態様では、システム１００は、深層学習ネットワークを訓練するための訓練データセットを形成するために、超音波画像を収集するように使用され得る。例えば、ホスト１３０は記憶装置１３８を含み得、これは、キャッシュメモリ（例えばプロセッサ回路１３４のキャッシュメモリ）、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラム可能読取り専用メモリ（ＰＲＯＭ）、消去可能プログラム可能読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、固体メモリデバイス、ハードディスクドライブ、ソリッドステートドライブ、揮発性メモリ及び不揮発性メモリの他の形態、又は異なるタイプのメモリの組合せなどの任意の適切な記録装置である。記憶装置１３８は、超音波画像ベースの自動測定を提供するために、一連の予測ネットワーク又は深層学習ネットワークを訓練するための画像データセット１４０記憶するように構成され得る。予測ネットワーク又は深層学習ネットワークを訓練するための機構が、本明細書でより詳細に説明される。

[0039] 図２～図６は、超音波画像から自動測定するための機構を総体として示すものである。図２は、本開示の態様による超音波画像ベース自動測定方式２００の概略図である。図３は、本開示の態様による超音波画像ベース自動測定方式３００の概略図である。図４は、本開示の態様による超音波画像ベース自動測定方式４００の概略図である。図５は、本開示の態様による、深層学習の、超音波画像ベース自動測定方式５００の概略図である。図６は、本開示の態様による、超音波画像ベース測定のための、深層学習ネットワーク構成６００の概略図である。方式２００、３００、４００、及び５００はシステム１００によって実施され得る。

[0040] 図２を参照して、方式２００は、慣性測定トラッカ２２０、画像フレーム収集コンポーネント２３０、ボリューム再構成コンポーネント２４０、測定マーカ配置コンポーネント２５０、測定マーカ伝搬コンポーネント２６０、及び測定決定コンポーネント２７０を含む。慣性測定トラッカ２２０、画像フレーム収集コンポーネント２３０、ボリューム再構成コンポーネント２４０、測定マーカ配置コンポーネント２５０、測定マーカ伝搬コンポーネント２６０、及び測定決定コンポーネント２７０は、ハードウェア（例えば、処理回路、論理、及び／又はゲートを含む）及び／又はソフトウェアの組合せによって実施される。いくつかの事例では、ボリューム再構成コンポーネント２４０、測定マーカ配置コンポーネント２５０、測定マーカ伝搬コンポーネント２６０、及び／又は測定決定コンポーネント２７０は、プロセッサ回路１３４によって実施され得る。

[0041] 方式２００は、高レベルにおいて、プローブ１１０に類似の追跡される超音波プローブ２１０を使用して、患者の解剖学的構造の内部の関心のある特徴が測定され得る測定面のまわりで、患者の解剖学的構造（例えば目的物１０５）の画像２０２のセットを取得する。この点に関して、音波検査者又はユーザは、測定される関心領域のまわりでプローブ２１０を掃引する。プローブ２１０が破線の矢印２０１によって示されるように掃引されるとき、画像フレーム収集コンポーネント２３０が画像２０２を取得する。画像２０２はｆ（０）、ｆ（１）、．．．、ｆ（Ｎ－２）、及びｆ（Ｎ－１）として示されている。いくつかの事例では、プローブ２１０は、２Ｄ超音波画像２０２を取得するように構成された１Ｄ超音波プローブであり、掃引することは、患者の解剖学的構造の３Ｄボリュームの中の関心領域のまわりでプローブ２１０を物理的に掃引することを含む。いくつかの他の事例では、プローブ２１０は３Ｄ撮像を実行することができる２Ｄ超音波プローブであり、掃引することは、超音波ビームを電子的に操縦して、３Ｄボリュームの内部の様々な２Ｄ撮像面において２Ｄ画像２０２を取得することを含む。画像フレーム収集コンポーネント２３０は、ある特定のフレーム率で画像２０２を取得するように構成されている。画像フレーム収集コンポーネント２３０は、ボリューム再構成コンポーネント２４０に画像２０２のセットを供給する。

[0042] 慣性測定トラッカ２２０は慣性測定トラッカ１１７に類似であって、例えば加速度計、ジャイロスコープ、及び／又はセンサを含み、プローブ２１０の内部に配置される。慣性測定トラッカ２２０は、画像２０２のセットが取得されている間、プローブ２１０の動きを追跡するように構成されている。慣性測定トラッカ２２０は、後続の処理のために各画像２０２の撮像面の位置又は座標が分かるように、画像２０２が取得されている間、プローブ２１０の位置情報２２２を記録するように構成されている。例えば、時刻Ｔ１において、プローブ２１０は、第１の撮像面における画像２０２のｆ（０）を取得する。次の時刻Ｔ２において、プローブ２１０は、第２の撮像面における画像２０２のｆ（１）を取得する。位置情報２２２には、プローブ２１０が第２の撮像面に到着するように時刻Ｔ１と時刻Ｔ２との間にプローブ２１０又はビーム操縦に適用される並進及び／又は回転が含まれる。位置情報２２２は、ボリューム再構成のために、ボリューム再構成コンポーネント２４０に供給される。

[0043] いくつかの態様では、慣性測定トラッカ２２０は、空間において、３軸加速度及び３軸回転速度を伴う６自由度（６ＤＯＦ）をもたらすことができる。３軸加速度及び３軸ジャイロスコープの情報は、基準座標系に対する超音波プローブ２１０の動きを決定するために十分なものであるが、電磁（ＥＭ）場読み取り値、及び／又は光場読み取り値など、他の慣性測定の追跡システムによって供給される付加情報が全体的な測定精度を改善することができる。この点に関して、超音波プローブ２１０には、ＥＭベースの追跡及び／又は光学追跡によって追跡され得るマーカが取り付けられ得る。

[0044] 慣性測定トラッカ２２０は、慣性測定トラッカ２２０のローカル座標フレームにおける（慣性測定トラッカ２２０の軸に対する）加速度測定、並進測定、及び／又は回転測定をもたらす。しかしながら、これらの測定にはノイズが多く、ある特定の測定バイアスがある。より正確な位置情報をもたらすために、グローバル座標フレーム（例えばある特定の座標系）においてプローブ２１０の姿勢情報を計算するのに、様々な技術が適用され得る。この点に関して、プローブ２１０にセンサが取り付けられ、このセンサの情報が加速度測定データ、並進測定データ、及び／又は回転測定データと統合されて、より正確な位置情報をもたらす。例えば、本明細書において以下でより詳細に説明されるように、このセンサからの読み取り値は、３Ｄ空間における画像座標系に対して慣性測定トラッカ２２０のローカル座標系を較正するために使用され得る。いくつかの他の事例では、方式２００は、測定の精度を改善するために、位置情報に対してある特定のフィルタリング演算及び／又は融合アルゴリズムを適用して、ノイズ及び／又はバイアスを低減することができる。いくつかの事例では、慣性測定トラッカ２２０に加えて、プローブ２１０の位置及び／又は動き（例えば並進及び／又は回転）を推定するために画像ベースの追跡が使用される。例えば、画像ベースの追跡は、抽出された解剖学的特徴を基に６ＤＯＦ姿勢を回帰推定する深層学習ベースのアルゴリズムを含む。或いは、画像ベースの追跡は、位置合わせベースのアルゴリズム及び／又はスペックル追跡アルゴリズムなどの従来の画像処理アルゴリズムを含む。一般に、方式２００は、任意の他の適切な追跡システムによって測定された位置情報と共に慣性測定トラッカ２２０から取得された位置情報２２２を採用して、グローバル座標フレームに対するプローブ２１０の位置を決定する。

[0045] システムは、収集中に、ユーザが収集を止めるか又は停止するまで、記憶装置（例えば記憶装置１３８）の中に画像２０２を連続的にバッファリングする。ボリューム再構成コンポーネント２４０は、３Ｄ空間における各画像２０２の３Ｄ姿勢情報を決定するように構成されている。言い換えれば、ボリューム再構成コンポーネント２４０は、取得された２つの画像２０２の間の相対位置を決定する。この点に関して、ボリューム再構成コンポーネント２４０は、センサ又は慣性測定トラッカ２２０の姿勢に対して次式の変換マトリクスを掛けることによって３Ｄ画像の姿勢を決定する。
Ｉ（ｘ，ｙ，ｚ，ｔ）＝Ｍ_Ｔ×Ｓ（ｘ，ｙ，ｚ，ｔ） （１）
ここで、Ｉ（ｘ，ｙ，ｚ，ｔ）は画像２０２の３Ｄ姿勢を表し、Ｓ（ｘ，ｙ，ｚ，ｔ）はセンサ又は慣性測定トラッカ２２０の３Ｄ姿勢を表し、Ｍ_Ｔは変換マトリクスを表し、（ｘ，ｙ，ｚ）は、３Ｄ空間における、ある特定の座標系に対する変換の回転成分の単位ベクトルであり、ｔは並進を表す。ボリューム再構成コンポーネント２４０は、位置情報２２２を基に、例えば融合アルゴリズムを使用して、センサ又は慣性測定トラッカ２２０の姿勢を計算する。変換マトリクスＭ_Ｔは較正手順によって取得され得、センサの位置／配向及び画像の配向は、実測及び／又はコンピュータ支援設計（ＣＡＤ）画像によって互いに対して測定される。

[0046] いくつかの態様では、較正は、各プローブ２１０について、撮像に先立つセットアップ段階中、又は製造段階中に実行され得る。変換マトリクスＭ_Ｔは、プローブ２１０上のトランスデューサ（例えばトランスデューサアレイ１１２）の座標系を、（慣性測定トラッカ２２０によって定義された）画像２０２の座標系に変換する。例えば、画像の配向はトランスデューサの配向から測定され得る。較正は、変換マトリクスＭ_Ｔに関する並進及び／又は回転を決定し、その結果、変換マトリクスＭ_Ｔを適用すると、慣性測定トラッカ２２０の姿勢を画像の姿勢に変換する。各画像２０２に関する３Ｄ画像の姿勢を得た後には、他の画像２０２に対する画像２０２の中のすべてのポイント（例えばピクセル）の座標が分かり、画像２０２のセットにおけるすべてのポイントの３Ｄ配置が分かる。

[0047] 一例として、各画像２０２は、それぞれが（ｘ，ｙ）の一様座標によって定義されたポイントにおける強度値によって表される２５６のピクセルを含み、これが、第１の変換マトリクスを使用してトランスデューサ空間へと変換される。第１の変換マトリクスは、（マトリクスのエントリ（１，１）、（１，２）、（２，１）、（２，２）における）２×２の回転及び（マトリクスの最後の列における）２つの並進を含む３×３マトリクスである。２×２の回転は、画像の面内回転成分（すなわちｚ軸のまわりの、画像に対して垂直な成分）に対応する。画像２０２におけるあらゆるベクトルが、第１の変換マトリクスと、プローブ先端２１０にある、画像が始まる基準点とを使用して記述され得る。画像基準点とセンサ座標系とはまた、既知の（又は測定可能な）第２の変換マトリクス（例えばＭ_Ｔ）によって互いに関連づけられる。画像基準点及びセンサ座標系は３次元の空間の中にあるので、第２の変換マトリクスは、３×３の回転及び３つの並進を伴う４×４のマトリクスである。プローブ２１０が１つの撮像面（例えば時刻Ｔ１におけるｆ（０）の撮像面）から次の撮像面（例えば時刻Ｔ２におけるｆ（１）の撮像面）に移動するとき、動きは、センサ（又は慣性測定トラッカ２２０）の移動量及びセンサの移動方向に対応するセンサ読み取り値（例えば位置情報２２２）からの第３の変換マトリクス（例えば４×４のマトリクス）によって表される。この動きの間に画像基準点（プローブ先端）が移動した動きの量を得るために、第３の変換マトリクスに第２の変換マトリクスが掛けられ得る。続いて、ある特定のピクセル位置の動きを得るために、第２の変換マトリクスと第３の変換マトリクスの積に対して第１の変換マトリクスが掛けられ得る。同様に、第１の画像２０２（例えばｆ（０））におけるポイントｐ１と第２の画像２０２（例えばｆ（１））におけるポイントｐ２とが、変換マトリクスの同一のセットを使用して互いに関連づけられ得る。したがって、ボリューム再構成コンポーネント２４０は、各画像２０２における各ピクセルについて、３Ｄ空間におけるｘ－ｙ－ｚ座標及び対応する強度値を含む３Ｄボリューム又は３Ｄ空間データセット２４２を生成する。

[0048] いくつかの他の事例では、ボリューム再構成コンポーネント２４０は、ネットワークが訓練される特定の解剖学的構造のローカル座標系に対する画像の姿勢を回帰推定する深層学習ネットワーク（例えばＣＮＮ）を使用して、３Ｄボリューム（例えば３Ｄ空間データセット２４２）を構築する。さらにいくつかの他の事例では、２つの画像２０２の間の相対距離（例えばＺ座標値）は、スペックル統計及びスペックル非相関を基に、画像収集フレーム率とビームの合焦／操縦の構成とを使用して、追跡測定及び／又は変換なしで決定され得る。この方法は、画像ベースの追跡のために、トランスデューサ製造業者による、スペックル較正曲線などのいくつかの初期の較正を必要とする。

[0049] 画像フレーム収集コンポーネント２３０は、測定マーカ配置コンポーネント２５０に対して、画像２０２をさらに供給する。測定マーカ配置コンポーネント２５０は、画像２０２（例えば画像ｆ（０））上に測定マーカ又はカリパス（図３に３１０ａ及び３１０ｂとして示されている）を置き、ここで測定が行われる。画像２０２のｆ（０）は２０２＿ｆ（０）として示されている。測定マーカ配置コンポーネント２５０は、画像２０２＿ｆ（０）を含む第１の測定データ２５２及び測定マーカに関連した情報を出力する。いくつかの事例では、マーカの配置はユーザ入力によって受け取られ得る。言い換えれば、走査を実行する音波検査者が、測定のためにマーカを置く位置を決定する。いくつかの他の事例では、マーカの配置は、測定ポイントを識別するように訓練された深層学習ネットワークによって生成され得る。

[0050] 一例として、胎児の診察中に、母体の子宮内部の胎児頭の図を含む画像２０２が取得される。以下で図３において論じられるような胎児頭測定のために、画像上に測定マーカが置かれ得る。

[0051] 図３を参照して、測定マーカ配置コンポーネント２５０は画像２０２のｆ（０）上で動作する。画像２０２は、マーカ３１０ａと３１０ｂとの間の距離３２２が胎児頭３２０の直径を表すように、胎児頭３２０と、胎児頭３２０の周囲に置かれたマーカ３１０ａ及び３１０ｂとの図を含む。測定マーカ３１０ａ及び３１０ｂは、示されるように測定ポイントの形態である。いくつかの他の事例では、測定マーカ３１０ａ及び３１０ｂは、ライン、十字形の形態、並びに／或いは任意の他の適切な形態、シンボル、及び／又は形状である。上記で論じられたように、マーカ３１０ａ及び３１０ｂは音波検査者によって配置され得、したがって、測定マーカ配置コンポーネントは、単に音波検査者からマーカ３１０ａ及び３１０ｂの位置を受け取るのみである。

[0052] 図２に戻って、測定マーカ伝搬コンポーネント２６０は、画像２０２＿ｆ（０）上に測定マーカ３１０ａ及び３１０ｂを置いた後に、測定マーカ３１０ａ及び３１０ｂを、画像２０２＿ｆ（０）から、バッファメモリに記憶された他の近隣の画像２０２へと伝搬させるように構成されている。

[0053] 図３を参照して、測定マーカ伝搬コンポーネント２６０は、画像２０２＿ｆ（０）に関して選択された測定マーカ３１０ａ及び３１０ｂを、セットの中の他の画像２０２（例えばｆ（１）、ｆ（２）、．．．、ｆ（Ｎ－１））へと伝搬させる。この点に関して、測定マーカ伝搬コンポーネント２６０は、最初に、マーカが置かれている画像２０２＿ｆ（０）に、近隣の画像２０２（例えば画像ｆ（１））を登録し、続けて、近隣の画像２０２＿ｆ（１）に測定マーカ３１０ａ及び３１０ｂを伝達する。画像位置合わせは、以下で図４及び図５においてより詳細に論じられるように、１つの画像の別の画像に対する空間的位置合わせを指す。測定マーカ３１０ａ及び３１０ｂの伝搬が継続され、画像２０２＿（ｆ１）に対して伝搬された測定が元の測定として働き、次の画像２０２（例えばセットの中の画像ｆ（２））に伝搬される。画像２０２のセットにおいて、伝搬は、マーカ３１０ａ及び３１０ｂがセットの中のすべての画像２０２に伝達されるまで順次に実行され得る。画像２０２＿ｆ（１）に伝搬された測定マーカは、３１２ａ及び３１２ｂとして示されている。

[0054] いくつかの事例では、伝搬は、セットの中の１つ又は複数の画像２０２をスキップする。一般に、伝搬は、測定マーカを、画像２０２のｆ（ｉ）からセットの中の近隣の画像２０２のｆ（ｉ＋Ｌ）に伝搬させるために実行され得、Ｌは１、２、３、又は４である。伝搬は、Ｌを変化させることによってセットの中の１つ又は複数の画像２０２をスキップするように構成されているが、２つの画像２０２＿ｆ（ｉ）と２０２のｆ（ｉ＋Ｌ）とは、Ｌが増加するとともに、より相違するようになり、したがって位置合わせの正確さが低下する。したがって、互いに接近した近辺の画像２０２の間で位置合わせを実行するのが好ましい。

[0055] 図４を参照して、方式４００は測定マーカ伝搬コンポーネント２６０によって実施され得る。図４は、位置合わせプロセスのより詳細な図を提供するものである。方式４００は位置合わせ及び伝搬のコンポーネント４１０を含み、これは、ハードウェア及び／又はソフトウェアを含み、画像位置合わせ及び測定マーカ伝搬を実行するように構成されている。いくつかの態様では、位置合わせ及び伝搬のコンポーネント４１０は、モデルベース、相互情報ベース、類似性ベースの位置合わせ技術を使用して、画像２０２＿ｆ（０）と画像２０２＿ｆ（１）とを互いに位置合わせする。いくつかの例示の類似性測定は、差分二乗和（ＳＳＤ）又は差分絶対値和（ＳＡＤ）測定を含む。位置合わせ及び伝搬のコンポーネント４１０は、画像２０２＿ｆ（０）の画像特徴に対して画像２０２＿ｆ（１）の画像特徴を整列させる。画像２０２＿ｆ（１）と画像２０２＿ｆ（０）とは互いに平行であるが、画像２０２＿ｆ（１）と画像２０２＿ｆ（０）は互いに対して整列しない可能性がある。したがって、画像２０２＿ｆ（１）に伝搬されたマーカ３１２ａは、画像２０２＿ｆ（０）上のマーカ３１０ａと同一のピクセル位置（例えばピクセル（ｘ，ｙ）座標）にない可能性がある。位置合わせ及び伝搬のコンポーネント４１０は、位置合わせの後に、測定マーカ３１０ａ及び３１０ｂを、画像２０２＿ｆ（０）から画像２０２＿ｆ（１）に伝搬させる。

[0056] いくつかの態様では、位置合わせ及び伝搬のコンポーネント４１０は、測定マーカ３１０ａ及び３１０ｂを画像２０２＿ｆ（０）から画像２０２＿ｆ（１）に伝搬させるために、画像２０２＿ｆ（０）から画像２０２＿ｆ（１）に測定ポイント（例えば測定マーカ３１０ａ及び３１０ｂの位置）をコピーする。位置合わせ及び伝搬のコンポーネント４１０は、コピーされたマーカ位置を最適場所へとさらに調節する。例えば、画像２０２＿ｆ（０）上の測定マーカ３１０ａ及び３１０ｂの初期の配置は、ある特定のコスト関数を局所的に最大化するか又は最小化することに基づく。いくつかの事例では、コスト関数は画像輝度に基づき得る。したがって、画像２０２＿ｆ（１）にコピーされた測定ポイント又はマーカ位置は、例えばコスト関数を最適化するために、コピーされた測定ポイント又はマーカ位置の近辺において再評価する必要がある。コピーされた測定ポイント又はマーカ位置の再評価又は最適化は、画像２０２＿ｆ（１）上の測定ポイントのうち最も可能性の高い位置を決定するための学習タスクとして処理され得、これは、図５に示されるように深層学習技術によって実施される。

[0057] 図示の簡単さのために、図４は、画像２０２＿ｆ（０）から画像２０２＿ｆ（１）（マーカ３１２ａとして示されている）へのマーカ３１０ａの伝搬のみを、破線のボックスの中に示す。しかしながら、マーカ３１０ｂについても類似の伝搬が示される。画像２０２＿ｆ（０）が、位置合わせなしで画像２０２＿ｆ（１）上に直接置かれる場合には、観察されるように、マーカ３１０ａは、画像２０２＿ｆ（１）上のマーカ３１２ａからオフセットされる。出力４０２は位置合わせ後の画像２０２＿ｆ（０）及び画像２０２＿ｆ（１）を示し、測定マーカ３１０ａと３１２ａとは、空間的に整列し、４０６ａとして示されている。

[0058] 図５を参照して、方式５００は測定マーカ伝搬コンポーネント２６０によって実施され得る。方式５００は、画像位置合わせ及び測定マーカ伝搬を実行するように訓練された深層学習ネットワーク５１０を含む。示されるように、測定マーカ３１０ａ及び３１０ｂと共に、画像２０２＿ｆ（１）及び画像２０２＿ｆ（０）に対して、深層学習ネットワーク５１０が適用される。深層学習ネットワーク５１０が、画像２０２＿ｆ（１）を含む出力５０２を生成し、画像２０２＿ｆ（０）上のマーカ３１０ａ及び３１０ｂからマーカが伝搬されている。図示の簡単さのために、図５は伝搬されたマーカ３１２ａのみを示す。しかしながら、マーカ３１０ｂについても類似の伝搬が示される。

[0059] いくつかの事例では、深層学習ネットワーク５１０は、位置合わせのための第１のＣＮＮ ５１２及び測定マーカ伝搬のための第２のＣＮＮ ５１４の、２つのＣＮＮを含み得る。第１のＣＮＮは、固定画像（例えば画像２０２＿ｆ（０））及び移動画像（例えば画像２０２＿ｆ（１））を所与として、位置合わせプロセスの並進成分及び回転成分を回帰推定するように訓練される。第２のＣＮＮは、入力された超音波画像を所与として、測定ポイントの座標を回帰推定するように訓練される。いくつかの他の事例では、深層学習ネットワーク５１０は、位置合わせＣＮＮなしの測定ＣＮＮを含む。位置合わせは、深層学習ネットワーク５１０を適用する前に、画像２０２＿ｆ（０）と２０２＿ｆ（１）との間で実行される。さらなるいくつかの他の事例では、深層学習ネットワーク５１０は、画像位置合わせ及び測定マーカ伝搬を実行するように訓練された１つのＣＮＮを含む。深層学習ネットワーク５１０の構成及び訓練は、それぞれ図６及び図７において、以下でより詳細に説明される。

[0060] 図６を参照して、構成６００は深層学習ネットワーク５１０によって実施され得る。構成６００に含まれる深層学習ネットワーク６１０は、１つ又は複数のＣＮＮ ６１２を含む。図示及び議論の簡単さのために、図６は１つのＣＮＮ ６１２を示す。しかしながら、この実施形態は、任意の適切な数（例えば約２、又は３以上）のＣＮＮ ６１２を含むようにスケーリングされ得る。構成６００は、測定マーカ伝搬のコンテキストにおいて説明される。しかしながら、構成６００は、以下でより詳細に説明されるように、深層学習ネットワーク６１０を測定マーカ配置及び／又は画像位置合わせ用に訓練することによって、測定マーカ配置及び／又は画像位置合わせに適用され得る。

[0061] ＣＮＮ ６１２は、Ｎの重畳層６２０のセットと、それに続くＫの完全接続層６３０のセットとを含み、Ｎ及びＫは任意の正整数である。重畳層６２０は６２０_（１）～６２０_（Ｎ）として示されている。完全接続層６３０は６３０_（１）～６３０_（Ｋ）として示されている。各重畳層６２０は、画像２０２＿ｆ（Ｌ）及び画像２０２＿ｆ（ｉ）を含む入力６０２から特徴を抽出するように構成されたフィルタ６２２のセットを含む。画像２０２＿ｆ（Ｌ）は、測定マーカと共に、関心のある解剖学的特徴の図を含む。例えば、画像２０２＿ｆ（Ｌ）は画像２０２＿ｆ（０）に対応し、胎児頭直径測定のために、ユーザによって胎児頭３２０の周囲に測定マーカ３１０ａ及び３１０ｂが置かれている。画像２０２＿ｆ（ｉ）は、画像２０２＿ｆ（Ｌ）以外のセットの画像２０２に対応する。値Ｎ及びＫ並びにフィルタ６２２のサイズは、実施形態に依拠して変わる。いくつかの事例では、重畳層６２０_（１）～６２０_（Ｎ）及び完全接続層６３０_（１）～６３０_{（ｋ－１）}は、漏洩整流非線形（ＲｅＬＵ）活性化関数及び／又はバッチ正規化を利用する。完全接続層６３０は非線形であり、高次元の出力を予測結果６０４の次元まで徐々に縮小させる。

[0062] 入力画像２０２＿ｆ（Ｌ）及び２０２＿ｆ（ｉ）は、特徴抽出、解析、及び／又は分類のために、各層６２０、６３０を相次いで通過する。各層６２０、６３０が、入力画像２０２＿ｆ（Ｌ）及び２０２＿ｆ（ｉ）、又は前の層６２０若しくは６３０の出力に適用される重みづけ（例えば重畳層６２０におけるフィルタ６２２用のフィルタ係数及び完全接続層６３０用の非線形重みづけ）を含み得る。いくつかの事例では、入力画像２０２＿ｆ（Ｌ）及び２０２＿ｆ（ｉ）は画像ごとに深層学習ネットワーク６１０に入力される。いくつかの他の事例では、画像２０２＿ｆ（Ｌ）及び２０２＿ｆ（ｉ）は３Ｄボリュームデータセットとして深層学習ネットワーク６１０に入力される。

[0063] ＣＮＮ ６１２は、入力画像２０２＿ｆ（Ｌ）及び２０２＿ｆ（ｉ）に基づいて予測結果６０４を出力する。予測結果６０４は、本明細書において以下でより詳細に論じられるように、深層学習ネットワーク６１０の訓練に依拠して様々なタイプのデータを含む。いくつかの事例では、予測結果６０４は画像２０２＿ｆ（ｉ）を含み、画像２０２＿ｆ（ｉ）のそれぞれが、画像２０２＿ｆ（Ｌ）上の測定マーカから伝搬された測定マーカ（例えばマーカ３１２ａ及び３１２ｂ）を有する。加えて、又はその代わりに、測定は、伝搬された対応するマーカを基に画像２０２＿ｆ（ｉ）において行われ、及び／又は画像２０２＿ｆ（Ｌ）においてユーザが置いた測定マーカを基に行われ、予測結果６０４は、平均値、中央値、分散、又は標準偏差などの測定値の統計指標を含む。加えて、又はその代わりに、予測結果６０４は、測定値の分散を基に計算された信頼度メトリック又は信頼度スコアを含む。一般に、深層学習ネットワーク６１０は、画像２０２と、伝搬された測定値マーカ、統計メトリック、及び／又は予測結果６０４における信頼度メトリックとの、任意の適切な組合せを出力するように訓練される。

[0064] 図２に戻って、測定値決定コンポーネント２７０は、測定マーカ３１０ａ及び３１０ｂを、画像２０２のセットにおける残りの画像２０２（例えばｆ（１）～ｆ（Ｎ－１））に伝搬させた後に、測定マーカ伝搬コンポーネント２６０によって供給された出力２６２（例えば伝搬された測定マーカを伴う画像２０２）を基に、最終的な測定値２７２を決定するように構成されている。

[0065] 図３に戻って、測定値決定コンポーネント２７０は、測定マーカを伴って伝搬された画像２０２を基に、胎児頭３２０の直径の測定値２７２を決定する。図３は、測定値決定のための複数の画像２０２の側面図を提供するものである。画像２０２は破線として示されており、測定マーカは、胎児頭３２０の周囲における実線の円として示されている。最初に選択された測定マーカ３１０ａ及び３１０ｂは、画像２０２のｆ（０）に示されている。伝搬された測定マーカ３１２及び３１２ｂも、画像２０２のｆ（１）に示されている。測定値決定コンポーネント２７０は、胎児頭３２０の直径又は最大長を測定するために、すべての画像２０２における測定マーカを基に、最適な測定面を決定する。

[0066] いくつかの事例では、最適な測定面は画像２０２のうちの１つの撮像面（例えば画像２０２のｆ（１））にある。いくつかの他の事例では、画像２０２を取得するために使用された撮像面には最適な測定面がない。例えば、最適な測定面は、取得された撮像面のうちの２つ（例えば画像２０２のｆ（０）の撮像面と画像２０２のｆ（１）の撮像面）の間にある。或いは、測定値決定コンポーネント２７０は、胎児頭３２０の直径に関して最適な測定値を得るための断面３４０を決定する。断面３４０は、取得された撮像面の１つ又は複数と交差する。示されるように、断面３４０は、画像２０２のｆ（２）の撮像面と交差する。最終的な測定値２７２は、断面３４０の中の胎児頭３２０の周囲における２つのポイントの間の距離に相当する。

[0067] いくつかの態様では、深層学習ネットワーク５１０又は６１０は、本明細書において以下でより詳細に論じられるように、３Ｄボリューム（例えば３Ｄ空間データ２４２）から多断面の再構成（ＭＰＲ）を生成して、初期画像２０２のｆ（０）から、測定マーカを、すべてのＭＰＲに伝搬させるように訓練される。これによって、深層学習ネットワーク５１０又は６１０は、画像２０２の画像面ではない面（例えば断面３４０）において最適な測定値（例えば最終的な測定値２７２）を得ることが可能になる。ユーザは、そのような測定値２７２は、（点線によって指示された）撮像面上にないので見落としてしまうはずである。いくつかの事例では、深層学習ネットワーク５１０又は６１０は２Ｄ重畳層（例えば重畳層６２０）を含み、図６に示されるように２Ｄ画像２０２に適用される。いくつかの他の事例では、深層学習ネットワーク５１０又は６１０は３Ｄ重畳層（例えば重畳層６２０）を含み、３Ｄボリュームに適用される。

[0068] 図７は、本開示の態様による、超音波画像ベース測定の、深層学習ネットワーク訓練方式７００の概略図である。方式７００はシステム１００によって実施され得る。超音波画像ベース測定用に深層学習ネットワーク６１０を訓練するために、訓練データセット（例えば画像データセット１４０）が生成され得る。訓練データセットは画像－測定値対を含み得る。訓練データセットは、それぞれの画像－測定値対について、ある特定の測定値（例えば胎児頭３２０の直径）のためにエキスパートによって超音波画像上に置かれた測定マーカを含むグラウンドトルースに、解剖学的構造（例えば胎児頭３２０）の超音波画像７０２を関連づけるものである。超音波画像７０２は、プローブ１１０又は２１０などのプローブによって取得された、模型、実際の患者、及び／又は死体の画像である。深層学習ネットワーク６１０は、データセットにおける各画像７０２に対して、例えば順方向伝搬を使用して入力画像に対する出力又はスコアを得るように適用され得る。重畳層６２０におけるフィルタ６２２の係数及び完全接続層６３０における重みづけは、例えば逆方向伝搬を使用することによって、予測誤差（例えば予測結果７０４とグラウンドトルースとの間の差）を最小化するように調節され得る。予測結果７０４は、画像７０２上の測定マーカ７１０ａ及び７１０ｂの予測された配置を含む。いくつかの事例では、重畳層６２０におけるフィルタ６２２の係数及び完全接続層６３０における重みづけは、入力の画像－測定値対ごとに調節され得る。いくつかの他の事例では、重畳層６２０におけるフィルタ６２２の係数及び完全接続層６３０における重みづけを調節するために、バッチ訓練プロセスが使用され得る。例えば、重畳層６２０におけるフィルタ６２２の係数及び完全接続層６３０における重みづけを調節する前に、画像－測定値対のサブセットについて予測誤差が累積される。

[0069] いくつかの態様では、訓練データセットは大きな母集団を対象として含む。例えば、胎児の撮像については、深層学習ネットワーク６１０が、様々な状態の胎児に関する胎児頭３２０測定値の予測を学習することができるように、訓練データセットは、種々の妊娠月数、種々の大きさ、種々の体重、及び／又は稀な異常の胎児の超音波画像を含む。

[0070] いくつかの態様では、関心領域（ＲＯＩ）は、画像７０２から、エキスパートが置いた測定マーカを基に識別され、深層学習ネットワーク６１０は、ＲＯＩを含む画像パッチに対して訓練される。例えば、胎児頭３２０を含む画像７０２の一部７０３（例えばＲＯＩ）が、訓練のために、深層学習ネットワーク６１０に対する入力として使用される。

[0071] いくつかの態様では、深層学習ネットワーク６１０は測定マーカ位置における確率分布マップをもたらすことができ、ユーザ測定（例えばユーザが選択したマーカ位置）が確率分布として伝搬される。確率分布はガウス分布であり得、確率分布のピークは登録された測定ポイント（例えば伝搬された測定マーカ）に対応する。予測された測定マーカの確率分布は、ユーザが選択した測定マーカ位置の確率分布を基に再修正され得る。再修正された確率分布のピークは、より正確なマーカ位置を与える可能性がある。この点に関して、予測は、ベイズの推論問題として次式のように公式化され、
ｐ（ｘ｜ｙ）＝ｐ（ｙ｜ｘ）ｐ（ｘ） （２）
ここで、ｐ（ｘ｜ｙ）は、新規の画像ｙを所与として、測定マーカ位置ｘの条件つき確率分布を表し、ｐ（ｙ｜ｘ）は、深層学習ネットワーク６１０によって、観察画像ｙを基に予測された、画像ｙとマーカ位置ｘとの間の条件つき確率を表し、ｐ（ｘ）は、ｘの事前分布（すなわち、ユーザが置いた測定ポイントが新規の画像面に伝搬されたものであり、それらのまわりには、位置合わせ精度及びユーザの不確実性ために、ある特定の分散がある）を表す。確率分布ｐ（ｙ｜ｘ）とｐ（ｘ）とが、式（２）に示されるように掛け算されると、分布ｐ（ｘ｜ｙ）のピーク位置は、画像ｙ上の測定マーカの最適位置をもたらす。この確率関数は、ガウス関数などの２Ｄ関数であり、したがって、マーカ位置は、最終的な確率関数（例えばｐ（ｙ））の最大値のｘ、ｙ位置を基に決定される。

[0072] いくつかの態様では、深層学習ネットワーク６１０は、種々の初期条件及び／又は種々の収束条件を使用して訓練される。種々の訓練インスタンスは種々の予測結果７０４をもたらす。方式７００は、種々の訓練インスタンスから予測結果７０４の統計指標（例えば平均値、中央値、分散、標準偏差）を計算する。種々の訓練インスタンスからの予測結果７０４はガウス確率分布に類似の確率分布を有する。方式７００は、最適のマーカ位置を与えるために、確率分布のピークを基に測定マーカ位置を更新する。

[0073] いくつかの態様では、深層学習ネットワーク６１０は、ユーザが選択した測定マーカ位置及び／又は予測された、若しくは伝搬された測定マーカに、統計メトリック及び／又は信頼度メトリックを与えるように訓練される。この点に関して、深層学習ネットワーク６１０は、画像－メトリック対を含む訓練データセット（例えば訓練データセット１４０）を使用して訓練され、これらの対は、それぞれが、超音波画像（例えば画像２０２）と、エキスパートが置いた測定マーカを指示するグラウンドトルース及び対応する統計メトリック又は信頼度メトリックとを含む。深層学習ネットワーク６１０は、類似のフレームごとに更新する訓練又は上記で論じられたバッチ訓練を使用して訓練される。

[0074] いくつかの態様では、深層学習ネットワーク６１０は、最終的な測定値（例えば図３に示される断面３４０上の測定値２７２）をもたらすように訓練される。この点に関して、深層学習ネットワーク６１０は、画像－測定値対を含む訓練データセット（例えば訓練データセット１４０）を使用して訓練され、これらの対は、それぞれが、３Ｄボリュームにおける超音波画像（例えば画像２０２）と、エキスパートが決定した、３Ｄボリュームにおける最適な測定面（例えば断面３４０）及びその測定面における対応する測定値（例えば測定値２７２）を指示するグラウンドトルースとのセットを含む。深層学習ネットワーク６１０は、類似のフレームごとに更新する訓練又は上記で論じられたバッチ訓練を使用して訓練される。

[0075] 方式２００～６００は胎児の撮像の状況で説明されているが、類似の機構が、心臓測定のための心臓の撮像において使用され得る。心臓測定のいくつかの例は、心腔（例えば左心室、右心室、左心房、右心房、大動脈、下大静脈）の長さ、幅、サイズ、及び／又は容積を含む。深層学習ネットワーク５１０又は６１０は、心臓測定のために測定マーカ（例えばマーカ３１０ａ、３１０ｂ、３１２ａ、及び／又は３１２ｂ）を伝搬させるように使用されるときには、それぞれが心臓構造物の超音波画像及び対応する測定値を含んでいる画像－測定値対を含む訓練データセットを使用して訓練される。一般に、深層学習ネットワークは、画像から抽出された周囲の解剖学的特徴を使用して顕著な測定ポイントを予測するものであり、訓練データセットが大きな母集団（例えば種々の年齢、体重、背格好、及び／又は病状）を対象として含むので、各深層学習ネットワークは、特定のタイプの解剖学的構造（例えば胎児頭周囲、心腔直径、大腿骨長さ、腹囲）の測定値に対して訓練される。深層学習ネットワークは、例えば、長さ、幅、面積、容積、サイズ、半径、直径、円周、及び／又は任意の適切なタイプの幾何学的測定値を含む、任意の適切な形式の測定値をもたらすように訓練される。

[0076] 加えて、方式５００～６００は、深層学習ネットワーク５１０及び／又は６１０に対する入力が画像である、画像ベースの学習及び解剖学的構造の測定値の予測の状況で説明されているが、深層学習ネットワーク５１０及び／又は６１０は、その代わりに、３Ｄ空間データセットに対して動作するように訓練され得る。図６に示された例を参照して、深層学習ネットワーク６１０は、各画像２０２のｆ（Ｌ）及びｆ（ｉ）上の各ピクセルに関する３Ｄ空間におけるデータポイントを含む、入力の３Ｄ空間データセットを受け取る。Ｄとして表された各データポイントは、３Ｄ空間におけるｘ－ｙ－ｚ座標及び関連する強度値によって定義され、Ｄ（ｘ，ｙ，ｚ，強度レベル）で表される。加えて、３Ｄ空間データセットは、画像２０２＿ｆ（Ｌ）について最初に選択された測定マーカ（例えばマーカ３１０ａ及び３１０ｂ）の（ｘ，ｙ，ｚ）座標を含む。

[0077] 図８は、本開示の態様による、深層学習の、超音波画像ベース自動測定方式８００の概略図である。方式８００はシステム１００によって実施され得る。方式２０は、測定マーカ配置コンポーネント２５０、測定マーカ伝搬コンポーネント２６０及び／又は測定値決定コンポーネント２７０の代わりに、測定マーカ配置、測定マーカ伝搬、及び／又は測定値決定のための方式８００を利用する。

[0078] 方式８００は、画像セグメント化８１２及び測定８１４を実行するように訓練された深層学習ネットワーク８１０を適用する。示されるように、画像２０２のセットに対して深層学習ネットワーク８１０が適用される。深層学習ネットワーク８１０は、所与の入力画像から特定の解剖学的特徴をセグメント化し、次いで、セグメント化された特徴の測定値を決定するように訓練される。図８に示される例では、入力画像２０２は胎児頭３２０の図を含む。深層学習ネットワーク８１０は、画像２０２から胎児頭（８３０として示されている）をセグメント化して、セグメント化された胎児頭８３０の直径を決定するように訓練される。示されるように、深層学習ネットワーク８１０が予測した出力８０４は、各画像２０２（破線で示されている）上のセグメント化された胎児頭８３０及び胎児頭８３０の直径（測定値８４２として示されている）を測定するための断面８４０を含む。断面８４０は、画像２０２のｆ（２）の撮像面と交差する。

[0079] いくつかの事例では、深層学習ネットワーク８１０は、セグメント化８１２用に訓練された１つのＣＮＮ（例えばＣＮＮ ６１２）、及び測定８１４用に訓練された別のＣＮＮを含む。いくつかの事例では、深層学習ネットワーク８１０は、セグメント化８１２及び測定８１４用に訓練された１つのＣＮＮを含む。深層学習ネットワーク８１０は方式７００を使用して訓練される。訓練データセットは画像－セグメント対（例えば超音波画像及び対応するセグメント化された特徴）及び／又は画像－測定値対（例えば超音波画像及び対応する測定値）を含む。同様に、各深層学習ネットワーク８１０は、ある特定のタイプの解剖学的構造に対して、セグメント化及び測定用に訓練される。図８は深層学習ネットワークを使用するセグメント化及び測定を示しているが、いくつかの他の事例では、セグメント化８１２は画像処理及び／又は特徴検知ベースのアルゴリズムを使用して実行され得、測定８１４はＣＮＮを使用して実行され得る。

[0080] 図９は、本開示の態様による超音波画像ベース自動測定システムのユーザインターフェース９００の概略図である。ユーザインターフェース９００はシステム１００によって実施され、ディスプレイ１３２上に表示される。

[0081] いくつかの態様では、ユーザインターフェース９００はマーカ選択９０５及び測定タイプ選択９１０を含む。マーカ選択９０５により、ユーザは、画像（例えば画像２０２）を選択し、選択された画像に、例えばポップアップウィンドウによって、測定マーカ（例えば測定マーカ３１０ａ及び３１０ｂ）を置くことができる。測定タイプ選択９１０は、プルダウンメニュー又は他のユーザインターフェースの形式であって、ユーザは、測定のタイプ（例えば胎児頭周囲、胎児頭の最大長の測定、心腔の長さ、幅、サイズ、及び／又は容積）を選択する。基礎をなすシステム１００が実施する様々な深層学習ネットワーク（例えば深層学習ネットワーク５１０、６１０、及び８１０）は、種々の解剖学的構造の測定、特定のタイプの解剖学的構造に対する種々のタイプの測定、及び／又は種々のタイプの解剖学的構造のセグメント化に向けて訓練される。いくつかの事例では、深層学習ネットワークは、測定タイプ選択９１０を基に、入力画像の中の関連する解剖学的構造を検知してセグメント化するようにも訓練される。

[0082] いくつかの態様では、ユーザインターフェース９００は測定面表示パネル９２０を含み、ユーザに対して、深層学習ネットワークによって選択された撮像面９２２と、撮像面９２２上の、深層学習ネットワークによる測定値９２４とが表示される。いくつかの事例では、測定面表示パネル９２０は、伝搬された測定マーカを伴う画像のうちの１つ又は複数、並びに／或いはユーザが測定マーカを置く初期画像を表示する。

[0083] いくつかの態様では、ユーザインターフェース９００は、深層学習ネットワークによる測定に関して、ユーザに様々な選択肢を提供する。この点に関して、ユーザインターフェース９００は、測定値受入れ選択９３０、測定値補正選択９４０、新規測定値選択９５０、及び／又は撮像面選択９６０を含む。ユーザは、測定値受入れ選択９３０を選択して、深層学習ネットワークによる測定値９２４を受け入れる。ユーザは、測定値補正選択９４０を選択して、深層学習ネットワークによる測定値９２４を補正する。ユーザは、新規測定値選択９５０を選択して、深層学習ネットワークに別の測定値を要求する。ユーザは、撮像面選択９６０を選択して、測定用の特定の撮像面を選択する。いくつかの態様では、ユーザの選択は、深層学習ネットワークの訓練を増補するように使用され得る。

[0084] いくつかの態様では、ユーザインターフェース９００は、深層学習ネットワークによって決定された信頼度メトリック９７０及び／又は統計メトリック９８０を表示する。上記で論じられたように、ユーザが、取得された画像（例えば画像２０２のｆ（０））に測定マーカを置き、深層学習ネットワークが近隣の画像に測定マーカを伝搬させる。信頼度メトリック９７０及び／又は統計メトリック９８０は、それぞれ、ユーザが選択した測定マーカ配置に関する信頼度の指標又は統計の指標を与える。統計メトリック９８０は、ユーザが配置したマーカの位置及び伝搬されたマーカの位置の平均値、中央値、分散、標準偏差を含む。いくつかの事例では、信頼度メトリック９７０は、測定値９２４の表示をカラーコード化するように使用される。例えば、測定値９２４は、低信頼度、中信頼度、又は高信頼度を表すために、それぞれ赤色、黄色、又は緑色で表示される。

[0085] 図１０は、本開示の実施形態によるプロセッサ回路１０００の概略図である。プロセッサ回路１０００は、図１のプローブ１１０及び／又はホスト１３０に実装される。一例では、プロセッサ回路１０００はプローブ１１０の中のトランスデューサアレイ１１２と通信する。示されるように、プロセッサ回路１０００は、プロセッサ１０６０、記憶装置１０６４、及び通信モジュール１０６８を含む。これらの要素は、例えば１つ又は複数のバスを介して、互いに直接的又は間接的に通信する。

[0086] プロセッサ１０６０は、ＣＰＵ、ＧＰＵ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、ＦＰＧＡ、別のハードウェア装置、ファームウェア装置、又は例えば図２～図１０及び図１２の態様といった、本明細書で説明した動作を実行するように構成された、その任意の組合せを含む。プロセッサ１０６０は、例えばＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと協力する１つ又は複数のマイクロプロセッサ、他のそのような構成といった、コンピュータデバイスの組合せとしても実施される。

[0087] 記憶装置１０６４は、キャッシュメモリ（例えばプロセッサ１０６０のキャッシュメモリ）、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラム可能読取り専用メモリ（ＰＲＯＭ）、消去可能プログラム可能読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、固体メモリデバイス、ハードディスクドライブ、揮発性メモリ及び不揮発性メモリの他の形態、又は異なるタイプのメモリの組合せを含む。一実施形態では、記憶装置１０６４は非一時的コンピュータ可読媒体を含む。記憶装置１０６４は命令１０６６を記憶する。プロセッサ１０６０は、命令１０６６に含まれる命令を実行することにより、例えば、プローブ１１０及び／又はホスト１３０（図１）を参照しながら本明細書で説明した、図２～図９及び図１１の態様といった動作を実行する。命令１０６６はコードとも称される。「命令」及び「コード」という用語は、任意のタイプのコンピュータ可読ステートメント（複数可）を含むように広く解釈されるべきである。例えば、「命令」及び「コード」という用語は、１つ又は複数のプログラム、ルーチン、サブルーチン、関数、プロシージャなどを参照する。「命令」及び「コード」は、１つのコンピュータ可読ステートメント又は多くのコンピュータ可読ステートメントを含む。

[0088] 通信モジュール１０６８は、プロセッサ回路１０００、プローブ１１０、及び／又はディスプレイ１３２の間のデータの直接的又は間接的な通信を促進するための任意の電子回路及び／又は論理回路を含むことができる。その点では、通信モジュール１０６８は入出力（Ｉ／Ｏ）デバイスであり得る。いくつかの事例では、通信モジュール１０６８は、プロセッサ回路１０００の様々な要素及び／又はプローブ１１０（図１）、プローブ２１０（図２）及び／又はホスト１３０（図１）の間の直接的又は間接的な通信を促進する。

[0089] 図１１は、本開示の態様による、深層学習の、超音波画像ベース測定方法１１００の流れ図である。方法１１００は、例えばプロセッサ回路１０００などのプロセッサ回路、並びに／或いはプローブ１１０若しくは２１０、プロセッサ回路１１６、ホスト１３０、及び／又はプロセッサ回路１３４などの他の適切な構成要素により、システム１００によって実施される。いくつかの例では、システム１００は、プログラムコードを記録されたコンピュータ可読媒体を含み得、プログラムコードは、システム１００に方法１１００のステップを実行させるためのコードを含む。方法１１００は、それぞれ図２、図３、図４、図５、図７、及び／又は図８に関して上記で説明された、方式２００、３００、４００、５００、７００、及び／又は８００におけるものと類似の機構、図６に関して上記で説明された構成６００、並びに図９に関して上記で説明されたユーザインターフェース９００を採用する。図示のように、方法１１００は複数の列挙されたステップを含むが、方法１１００の実施形態は、列挙されたステップの前、中間、後に、追加のステップを含み得る。いくつかの実施形態では、列挙されたステップのうちの１つ又は複数が、省略されるか又は別の順序で実行され得る。

[0090] 方法１１００は、超音波トランスデューサアレイ（例えば配列１１２）と通信するプロセッサ回路（例えばプロセッサ回路１３４及び１０００）において、解剖学的特徴（例えば胎児、心腔）を含む患者の解剖学的構造の３Ｄボリュームの画像（例えば画像２０２）のセットを受け取るステップ１１１０を含む。

[0091] 方法１１００は、画像のセットの第１の画像における解剖学的特徴の第１の測定データを得るステップ１１２０を含む。

[0092] 方法１１００は、プロセッサ回路において、第１の画像からの第１の測定データを１つ又は複数の画像へと伝搬させることにより、画像のセットの１つ又は複数の画像における解剖学的特徴に関する第２の測定データを生成するステップ１１３０を含む。

[0093] 方法１１００は、プロセッサ回路と通信するディスプレイ（例えばディスプレイ１３２）に解剖学的特徴の第２の測定データを出力するステップ１１４０を含む。

[0094] いくつかの事例では、ステップ１１２０は、プロセッサ回路と通信するユーザインターフェース（例えばユーザインターフェース９００）から、解剖学的特徴にわたる少なくとも２つの測定マーカ（例えば測定マーカ３１０ａ及び３１０ｂ）を含む第１の測定データを受け取る。

[0095] いくつかの事例では、画像のセットは、患者の、解剖学的特徴を含む解剖学的構造の３Ｄボリュームにわたる複数の撮像面に関連づけられる。ステップ１１３０は、複数の撮像面に対する超音波トランスデューサアレイの位置データを基に、第１の画像及び１つ又は複数の画像に関する３Ｄ空間データ（例えば３Ｄ空間データセット２４２）を決定して、３Ｄ空間データを基に、第１の画像からの第１の測定データを１つ又は複数の画像へと伝搬させる。

[0096] いくつかの事例では、方法１１００は、プロセッサ回路と通信する慣性測定トラッカ（例えば慣性測定トラッカ１１７及び２２０）から、超音波トランスデューサアレイに関連した慣性測定データ（例えば位置情報２２２）を受け取るステップをさらに含む。方法１１００は、慣性測定データ及び慣性測定から画像への変換（例えば式（１）の変換マトリクスＭ_Ｔ）を基に、第１の画像及び１つ又は複数の画像に対する超音波トランスデューサアレイの位置データを決定するステップをさらに含む。

[0097] いくつかの事例では、第２の測定データは、第１の画像上に置かれた測定マーカから１つ又は複数の画像に伝搬された測定マーカ（例えば測定マーカ３１２ａ及び３１２ｂ）を含む。

[0098]いくつかの事例では、方法１１００は、第１の測定データ及び第２の測定データを基に、解剖学的特徴に関する第３の測定データを生成して、第３の測定データを、複数の撮像面の第１の撮像面又は複数の撮像面とは別の３Ｄボリュームの内部の第２の撮像面のうちの少なくとも１つに関連づけるステップを含む。方法１１００は、ディスプレイへ第３の測定データを出力するステップをさらに含む。いくつかの事例では、第２の撮像面は第１の撮像面と交差する。例えば、第１の撮像面（例えば測定面）は断面（例えば断面３４０及び８４０）である。いくつかの事例では、第３の測定データは、第２の測定データ、解剖学的特徴にわたる２つの測定マーカの間の距離、第１の測定データの信頼度メトリック、第２の測定データの信頼度メトリック、第１の測定データと第２の測定データとの平均値、第１の測定データと第２の測定データとの分散、又は第１の測定データと第２の測定データとの標準偏差のうちの少なくとも１つを含む。

[0099] いくつかの事例では、方法１１００は、ユーザインターフェース（例えばユーザインターフェース９００）を介して、第３の測定値（例えば測定値２７２及び９２４）に関連した選択（例えば選択９３０、９４０、９５０及び９６０）をユーザに提供するステップをさらに含む。

[00100] いくつかの事例では、ステップ１１３０は、画像セグメント化に基づいて、第１の画像からの第１の測定データを１つ又は複数の画像へと伝搬させる。いくつかの事例では、ステップ１１３０は、画像セグメント化又は特徴測定のうちの少なくとも１つに向けて訓練された予測ネットワーク（例えば深層学習ネットワーク５１０、６１０、及び及び／又は８１０）を使用して、第１の画像からの第１の測定データを１つ又は複数の画像へと伝搬させる。

[00101] いくつかの事例では、予測ネットワークは、特徴測定用の画像－測定値対のセットに対して訓練され、画像－測定値対のセットのうちの各画像－測定値対は、３Ｄ解剖学的ボリュームの一連の画像における画像と、この画像に関する３Ｄ解剖学的ボリュームの特徴の測定値とを含む。いくつかの事例では、予測ネットワークは、画像セグメント化用の画像－セグメント対のセットに対して訓練され、画像－セグメント対のセットのうちの各画像－セグメント対は、３Ｄ解剖学的ボリュームの一連の画像における画像と、この画像に関する３Ｄ解剖学的ボリュームの特徴のセグメントとを含む。

[00102] いくつかの事例では、解剖学的特徴が胎児頭を含み、第１の測定データ及び第２の測定データは、胎児頭の周囲又は胎児頭の長さのうちの少なくとも１つに関連づけられる。

[00103] いくつかの事例では、解剖学的特徴が胎児頭を含み、第１の測定データ及び第２の測定データは、胎児頭の周囲又は胎児頭の長さのうちの少なくとも１つに関連づけられる。

[00104] 本開示の態様はいくつかの利益を提供することができる。例えば、深層学習ベースの構成を解剖学的特徴の自動測定に使用すると、臨床医に測定支援を提供することができ、超音波検査時間及び／又はユーザ依存性を低減する。したがって、開示された実施形態は、ユーザに左右される従来の測定と比較して、より一貫した正確な測定をもたらす。加えて、取得された画像から３Ｄボリュームを再構成すると、より正確な測定を可能にすることができる解剖学的特徴の３Ｄ情報をもたらす。その上、ＭＰＲを生成してＭＰＲに基づく測定を実行するように訓練された深層学習ネットワークを使用すると、測定精度をさらに改善することができ、測定は、収集中に取得された撮像面に限定されない。

[00105] 当業者なら、上記で説明された装置、システム、及び方法は様々なやり方で変更され得ることを認識する。したがって、当業者なら、本開示によって包含される実施形態は、前述の特定の例示的実施形態に限定されないことを理解する。その点に関して、実例となる実施形態が示され、説明されてきたが、前述の開示には、広範な修正形態、変更形態、代替形態が企図される。前述のものに対して、本開示の範囲から逸脱することなく、そのような変形形態が作製されることが理解される。したがって、添付の特許請求の範囲は、本開示と矛盾しないやり方で広く解釈されることが適切である。

Claims (20)

1. 超音波トランスデューサアレイと通信するプロセッサ回路を備える超音波撮像システムであって、
   前記プロセッサ回路が、
   前記超音波トランスデューサアレイから、患者の解剖学的特徴を含む解剖学的構造の３次元（３Ｄ）ボリュームの画像のセットを受け取り、
   前記画像のセットの第１の画像における解剖学的特徴の第１の測定データを取得し、
   前記第１の画像からの前記第１の測定データを１つ又は複数の画像へと伝搬させることにより、前記画像のセットの１つ又は複数の画像における前記解剖学的特徴に関する第２の測定データを生成し、
   前記解剖学的特徴に関する前記第２の測定データを、前記プロセッサ回路と通信するディスプレイに出力する、
   超音波撮像システム。
2. 前記第１の測定データを得る前記プロセッサ回路が、
   前記プロセッサ回路と通信するユーザインターフェースから、前記第１の画像における前記解剖学的特徴にわたる少なくとも２つの測定マーカを含む前記第１の測定データを受け取る、請求項１に記載の超音波撮像システム。
3. 前記画像のセットが、前記患者の前記解剖学的特徴を含む解剖学的構造の前記３Ｄボリュームにわたる複数の撮像面に関連づけられる、請求項１に記載の超音波撮像システム。
4. 前記第２の測定データを生成する前記プロセッサ回路が、
   前記複数の撮像面に対する超音波トランスデューサアレイの位置データを基に、前記第１の画像からの前記第１の測定データを前記１つ又は複数の画像へと伝搬させる、請求項３に記載の超音波撮像システム。
5. 前記第２の測定データを生成する前記プロセッサ回路が、
   前記超音波トランスデューサアレイの前記位置データを基に、前記第１の画像及び前記１つ又は複数の画像に関する３Ｄ空間データを決定し、
   前記３Ｄ空間データを基に、前記第１の画像からの前記第１の測定データを前記１つ又は複数の画像へと伝搬させる、請求項４に記載の超音波撮像システム。
6. 前記超音波トランスデューサアレイ及び慣性測定トラッカを含むプローブをさらに備えるシステムであって、
   前記プロセッサ回路が、
   前記慣性測定トラッカから、前記超音波トランスデューサアレイ及び前記複数の撮像面に関連した慣性測定データを受け取り、
   前記３Ｄ空間データを決定し、
   前記慣性測定データ及び慣性測定から画像への変換を基に、前記複数の撮像面に対する前記超音波トランスデューサアレイの位置データを決定する、請求項５に記載の超音波撮像システム。
7. 前記プロセッサ回路が、
   前記第１の測定データ及び前記第２の測定データを基に、前記解剖学的特徴に関する第３の測定データを生成し、
   前記第３の測定データを、前記複数の撮像面の第１の撮像面又は前記複数の撮像面とは別の前記３Ｄボリュームの内部の第２の撮像面のうちの少なくとも１つと関連づけて、
   前記第３の測定データを、前記ディスプレイに出力する、請求項３に記載の超音波撮像システム。
8. 前記第２の撮像面が前記第１の撮像面と交差する、請求項７に記載の超音波撮像システム。
9. 前記第３の測定データが、前記第２の測定データ、前記解剖学的特徴にわたる２つの測定マーカの間の距離、前記第１の測定データの信頼度メトリック、前記第２の測定データの信頼度メトリック、前記第１の測定データと前記第２の測定データとの平均値、前記第１の測定データと前記第２の測定データとの分散、又は前記第１の測定データと前記第２の測定データとの標準偏差のうちの少なくとも１つを含む、請求項８に記載の超音波撮像システム。
10. 前記プロセッサ回路と通信し前記第３の測定データに関連した選択を提供するユーザインターフェースをさらに備える、請求項９に記載の超音波撮像システム。
11. 前記プロセッサ回路が、前記１つ又は複数の画像における前記解剖学的特徴に関する第２の測定データを生成し、
    画像セグメント化に基づいて、前記第１の画像からの前記第１の測定データを前記１つ又は複数の画像へと伝搬させる、請求項１に記載の超音波撮像システム。
12. 前記プロセッサ回路が、前記１つ又は複数の画像における前記解剖学的特徴に関する第２の測定データを生成し、
    画像セグメント化又は特徴測定のうちの少なくとも１つに向けて訓練された予測ネットワークを使用して、前記第１の画像からの前記第１の測定データを前記１つ又は複数の画像へと伝搬させる、請求項１に記載の超音波撮像システム。
13. 前記予測ネットワークが、前記特徴測定用の画像－測定値対のセットに対して訓練され、前記画像－測定値対のセットのうちの各画像－測定値対が、３Ｄ解剖学的ボリュームの一連の画像における画像と、前記画像に関する前記３Ｄ解剖学的ボリュームの特徴の測定値とを含む、請求項１２に記載の超音波撮像システム。
14. 前記予測ネットワークが、前記画像セグメント化用の画像－セグメント対のセットに対して訓練され、前記画像－セグメント対のセットのうちの各画像－セグメント対が、３Ｄ解剖学的ボリュームの一連の画像における画像と、前記画像に関する前記３Ｄ解剖学的ボリュームの特徴のセグメントとを含む、請求項１２に記載の超音波撮像システム。
15. 前記解剖学的特徴が胎児頭を含み、前記第１の測定データ及び前記第２の測定データが、前記胎児頭の周囲又は前記胎児頭の長さのうちの少なくとも１つに関連するものである、請求項１に記載の超音波撮像システム。
16. 前記解剖学的特徴が左心室を含み、前記第１の測定データ及び前記第２の測定データが、前記左心室の幅、高さ、領域、又は容積うちの少なくとも１つに関連するものである、請求項１に記載の超音波撮像システム。
17. 超音波トランスデューサアレイと通信するプロセッサ回路が、患者の解剖学的特徴を含む解剖学的構造の３次元（３Ｄ）ボリュームの画像のセットを受け取るステップと、
    前記プロセッサ回路が、前記画像のセットの第１の画像における前記解剖学的特徴の第１の測定データを得るステップと、
    前記プロセッサ回路が、前記第１の画像からの前記第１の測定データを前記１つ又は複数の画像へと伝搬させることにより、前記画像のセットの１つ又は複数の画像における前記解剖学的特徴に関する第２の測定データを生成するステップと、
    前記解剖学的特徴に関する前記第２の測定データを、前記プロセッサ回路と通信するディスプレイに出力するステップと
    を含む、超音波撮像の方法。
18. 前記第１の測定データを得るステップが、
    前記プロセッサ回路と通信するユーザインターフェースから、前記解剖学的特徴にわたる少なくとも２つの測定マーカを含む前記第１の測定データを受け取るステップを含む、請求項１７に記載の超音波撮像の方法。
19. 前記画像のセットが、前記患者の前記解剖学的特徴を含む解剖学的構造の前記３Ｄボリュームにわたる複数の撮像面に関連づけられ、
    前記第２の測定データを生成するステップが、
    前記複数の撮像面に対する前記超音波トランスデューサアレイの位置を基に、前記第１の画像及び前記１つ又は複数の画像に関する３Ｄ空間データを決定するステップと、
    前記３Ｄ空間データを基に、画像セグメント化又は特徴測定のうちの少なくとも１つに向けて訓練された予測ネットワークを使用して、前記第１の画像からの前記第１の測定データを前記１つ又は複数の画像へと伝搬させるステップとを含む、
    請求項１７に記載の超音波撮像の方法。
20. 前記プロセッサ回路と通信する慣性測定トラッカから、前記超音波トランスデューサアレイに関連した慣性測定データを受け取るステップと、
    前記慣性測定データ及び慣性測定から画像への変換を基に、前記第１の画像及び前記１つ又は複数の画像に対する前記超音波トランスデューサアレイの前記位置データを決定するステップと
    をさらに含む、請求項１９に記載の超音波撮像の方法。

Images