JP2021530334A - 超音波画像の取得をガイドするためのシステム及び方法 - Google Patents

超音波画像の取得をガイドするためのシステム及び方法 Download PDF

Info

Publication number
JP2021530334A
JP2021530334A JP2021520377A JP2021520377A JP2021530334A JP 2021530334 A JP2021530334 A JP 2021530334A JP 2021520377 A JP2021520377 A JP 2021520377A JP 2021520377 A JP2021520377 A JP 2021520377A JP 2021530334 A JP2021530334 A JP 2021530334A
Authority
JP
Japan
Prior art keywords
image
target imaging
imaging surface
ultrasound image
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021520377A
Other languages
English (en)
Other versions
JP7061232B2 (ja
JP7061232B6 (ja
Inventor
ローランス ルエ
シベール シオフォロ−ヴェット
テリー ルフェーブル
キャロリン デニス フランソワーズ レイノード
クリスティアン ロレンツ
トビアス クリンダー
ニコル シュワデワルト
アレクサンダー シュミット−リッチバーグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2021530334A publication Critical patent/JP2021530334A/ja
Publication of JP7061232B2 publication Critical patent/JP7061232B2/ja
Application granted granted Critical
Publication of JP7061232B6 publication Critical patent/JP7061232B6/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本発明は、超音波画像の取得を誘導する方法を提供する。3D超音波画像は、第1の位置で超音波プローブによって取得され、解剖学的構造が3D超音波画像内で識別される。識別される解剖学的構造に基づいて標的撮像面が推定され、標的撮像面が3D超音波画像内に存在するかが決定される。標的撮像面が存在する場合、3D超音波画像の中心面と標的面との間の変位が決定される。変位が所定の閾値を下回る場合、標的撮像面が抽出され、変位が所定の閾値を上回る場合、変位に基づいて、第1の位置とは異なる第2の位置で超音波プローブで3D超音波画像を取得する命令が生成される。本発明はさらに、標的撮像面を推定する方法を提供する。3D超音波画像の中心面が得られ、中心面は解剖学的構造の少なくとも部分を含み、境界ボックスが解剖学的構造の周りに生成される。

Description

本発明は超音波撮像の分野に関し、より具体的には、誘導超音波撮像の分野に関する。
超音波画像診断は、胎児の解剖学的構造を十分に詳細にすることができると同時に、既知の有害作用がなく費用対効果が高いため、他の多くの非侵襲的医学的検査と同様に、胎児スクリーニングのために選択されるモダリティである。胎児スクリーニングは様々な胎児発育測定を対象とするが、胎児異常の検出も対象とする。検査の大部分は、特定の推奨標準測定値を用いて在胎18乃至22週齢(GA)で開始する。
典型的には、胎児スクリーニング検査は2D超音波画像を用いて行われる。正しいビューを得るには、高度な訓練が必要であり、主に専門家のユーザによって実行される。特に遠隔地では専門家のリソースが不足しているため、超音波による胎児スクリーニングを提供することは必ずしも可能でない。訓練を受けていない超音波検査技師にとって、胎児の成長評価に必要な手動又は自動の生体計測測定を行うために使用される、標準的な臨床面及び関心構造を獲得することは困難なことがある。
典型的には、胎児の頭部、胸部及び腹部の解剖学的に定義される平面のセットを取得し、検査する。3D US画像の場合、標準的なバイオメトリ測定のための2D平面の自動選択は、主要な課題である。例えば、腹囲(AC)は、胎児の大きさ及び成長を推定するための標準的な測定値である。詳細なスクリーニングガイドラインは、有効なバイオメトリ測定値を可能にするためにスキャン面が満たさなければならない基準を定義する。例えば、胃及び臍静脈は見えるようにしなければならないが心臓又は腎臓は見えないようにし、スキャン面は頭趾軸に直交するようにすべきであり、腹部の形状はできるだけ丸くすべきである。
文献US 2016／361045 A1は、超音波撮像装置及びその制御方法に関する。超音波撮像装置は、被検体のボリュームデータを取得する取得部と、予め記憶されるランドマーク情報を用いて、ボリュームデータの取得位置が許容範囲内であるかを決定する処理とを含み、ボリュームデータの取得位置が許容範囲内である場合に、ボリュームデータから複数の基準面を取得するように構成される。
更に、米国特許2017／007208 A1では被検体の関心体積内の所望の撮像面の撮像品質を改善するための技術が開示されており、複数のスキャン面の超音波エコーデータの補間によって所望の撮像面の画像を再構成するのではなく、2Dマトリクス超音波トランスデューサの性能及び／又は超音波プローブの位置／方向の柔軟性を利用することによって、所望の撮像面を直接スキャンすることが可能である。
したがって、かなりの追加のハードウェアを必要とせずに、必要とされる標準的な臨床面の取得を単純化又は自動化する超音波撮像方法が必要とされている。
本発明は、請求項によって規定される。
本発明の一態様による例によれば、超音波画像の取得を誘導する方法であって、前記方法は、
第1の位置の超音波プローブを制御することによって3D超音波画像を取得するステップと、
前記3D超音波画像内の解剖学的構造を識別するステップと、
前記識別される解剖学的構造に基づいて標的撮像面を推定するステップと、
標的撮像面が前記3D超音波画像内に存在するかを決定するステップと
を有し、
前記標的撮像面が存在する場合、前記3D超音波画像の中心面と前記標的面との間の変位を決定するステップ、
前記変位が所定の閾値を下回る場合、前記3D超音波画像から前記標的撮像面を抽出するステップ、又は
前記変位が所定の閾値を超える場合、前記変位に基づいて、前記第1の位置とは異なる第2の位置で前記超音波プローブを用いて3D超音波画像を取得する命令を生成するステップ
を有する、方法が提供される。
この方法は、標的撮像面の単純化される取得を提供する。
この方法は、標的撮像領域の近傍における3Dボリュームの取得から始まる。解剖学的構造が画像内で識別され、関連する標的画像面が、識別される構造に基づいて決定される。
標的面が3Dボリューム内にある場合、標的面は、ユーザからの追加の入力なしに自動的に取得されてもよい。
標的面が3Dボリューム内にない場合、標的面を含む3Dボリュームを取得するようにプローブをどのように移動させるかについての命令がユーザに提供される。
このようにして、ユーザは臨床プロセスに必要な正確な標的撮像面を取得するために、超音波プローブを標的領域の近傍に移動させるだけでよい。これは、必要な画像を得るために、ユーザがプローブの複雑な操作を実行する必要性を低減又は排除する。
上記の方法は、標的撮像面の推定を含む。本発明の一態様による例によれば、標的撮像面を推定する方法であって、前記方法は、
前記3D超音波画像の中心面を取得するステップであって、前記中心面は、前記解剖学的構造の少なくとも部分を含む、ステップと、
前記中心面内の前記解剖学的構造の周りに境界ボックスを生成するステップと、
複数の格子点を有する格子に前記境界ボックスを分割するステップと、
前記複数の格子点の各格子点に対して、前記中心面と前記標的撮像面との間のオフセットを推定するステップと、
前記境界ボックスの各格子点に対する前記オフセットに基づいて前記標的撮像面の座標を推定するステップと
を有する、方法が提供される。
標的撮像面を推定するこの方法は、超音波画像の取得をガイドするコンテクストにおいて使用されてもよいが、標的撮像面の推定を必要とする任意の他の撮像コンテクストにおいて使用されてもよい。
この方法は、3D超音波ボリューム内の標的撮像面を取得するための改良される方法を提供する。
典型的な画像面取得は必要な撮像面に到達するようにボリュームをナビゲートするために、特定のバイオメトリックデータを必要とする。この方法は3Dボリューム内の全ての関連構造の探索を必要とせずに、撮像面を直接取得することを可能にする。
むしろ、標的画像面は、ボリュームの中心画像面からのオフセット値のセットを使用して直接探索される。
一実施形態では、オフセットの推定が多重解像度ニューラルネットワークを中心面に適用するステップを有する。
さらなる実施形態では、多重解像度ニューラルネットワークを適用するステップは、
前記中心面から第1の画像パッチを生成するステップであって、前記第1の画像パッチは第1の解像度を有する、ステップと、
前記中心面から第2の画像パッチを生成するステップであって、前記第2の画像パッチは、前記第1の解像度よりも低い第2の解像度を有する、ステップと、
前記第1の画像パッチから第1の特徴マップを抽出し、前記第2の画像パッチから第2の特徴マップを抽出するステップと、
前記第1の特徴マップを前記第2の特徴マップと結合するステップと、
前記結合されるマップに基づいて出力層を生成するステップであって、前記出力層は、各格子点に対する前記オフセットを有する、ステップと
を有する。
このようにして、一連の畳み込み層を使用して、中心面から標的面に到達するために必要なオフセットを保持する出力層を生成することができる。
オフセット格子は、元のイメージよりもはるかに低い解像度を有する。典型的な方法は、各連続層間のアップサンプリングを必要とする。しかしながら、この場合、ネットワークの各層は、境界ボックス格子の解像度が達成されるまで、以前の層からダウンサンプリングされる。
一構成では、解剖配置構造の識別が解剖配置構造をセグメント化するステップを有する。
このようにして、画像内の構造を正確に識別することが可能である。
一構成では、前記変位は、
並進、及び
回転
の一つ又はそれより多くを有する。
このように、ユーザは、明確かつ単純な方法で特定の標的面を捕捉するように命令されてもよい。
一実施形態では、命令は、
視覚的命令、及び
可聴命令
の一つ又はそれより多くを有する。
このようにして、ユーザは、その好みに応じた方法で命令を受信することができる。
一実施形態では、視覚的命令は、
概略ベースの命令、及び
3Dボリュームベースの命令
一構成では、本方法は、前記取得される前記標的撮像面上でバイオメトリック分析を実行するステップをさらに有する。
このようにして、バイオメトリック分析はユーザからのさらなる介入を必要とせずに、取得される標的面に対して自動的に実行され得る。したがって、本方法を実行するためにユーザが必要とするスキルのレベルをさらに低減することができる。
本発明の一態様による例によれば、コンピュータプログラムであって、前記コンピュータプログラムが超音波撮像システム上で実行されるとき、上述の方法を実施するように適合されるコンピュータプログラムコード手段を有する、コンピュータプログラムが提供される。
本発明の一態様による例によれば、超音波撮像システムであって、前記システムは、
第1の位置に配置されるとき、3D超音波画像を取得するように適合される超音波プローブと、
プロセッサであって、前記プロセッサは、
前記3D超音波画像内の前記解剖学的構造を識別し、
前記識別される前記解剖学的構造に基づいて標的撮像面を推定し、
前記標的撮像面が前記3D超音波画像内に存在するかを決定する
ように適合され、
前記標的撮像面が存在する場合、前記3D超音波画像の中心面と前記標的面との間の変位を決定し、
前記変位が所定の閾値を下回る場合、前記3D超音波画像から前記標的撮像面を抽出し、又は
前記変位が前記所定の閾値を上回る場合、前記変位に基づいて、前記第1の位置とは異なる第2の位置で前記超音波プローブを用いて3D超音波画像を取得する命令を生成する
ように適合される、プロセッサと
を有する、システムが提供される。
構成において、前記プロセッサは、
前記3D超音波画像の中心面を取得し、前記中心面は、前記解剖学的構造の少なくとも部分を含み、
前記中心面内の前記解剖学的構造の周りに境界ボックスを生成し、
複数の格子点を有する格子に前記境界ボックスを分割し、
前記複数の格子点の各格子点に対して、前記中心面と前記標的撮像面との間のオフセットを推定し、
前記境界ボックスの各格子点に対する前記オフセットに基づいて前記標的撮像面の座標を推定する
ように更に適合される。
更なる構成において、前記プロセッサは、前記中心面に多重解像度ニューラルネットワークを適用するようにさらに適合され、前記プロセッサは、
前記中心面から第1の画像パッチを生成し、前記第1の画像パッチは第1の解像度を有し、
前記中心面から第2の画像パッチを生成し、前記第2の画像パッチは、前記第1の解像度よりも低い第2の解像度を有し、
前記第1の画像パッチから第1の特徴マップを抽出し、前記第2の画像パッチから第2の特徴マップを抽出し、
前記第1の特徴マップを前記第2の特徴マップと結合し、
前記結合されるマップに基づいて出力層を生成する
ように更に適合される。
一実施形態では、前記システムは、ユーザに第2の位置で前記3D超音波画像を取得させる前記命令を表示するように適合されるディスプレイを有し、前記命令は視覚的命令を有する。
一実施形態では、前記システムは、ユーザに第2の位置で3D超音波画像を取得させる前記命令を出力するように適合されるオーディオ出力装置を有し、前記命令は可聴命令を有する。
本発明のこれら及び他の態様は以下に記載される実施形態から明らかになり、それを参照して説明される。
本発明をより良く理解し、本発明をどのように実施することができるかをより明確に示すために、単なる例として、添付の図面を参照する。
超音波診断システムの動作を説明するための図である。 本発明の方法を示す。 本発明のさらなる方法を示す。 自動的に抽出される撮像面と、専門的に注釈される撮像面との間の比較を示す。 自動的に抽出される撮像面と、専門的に注釈される撮像面との間の他の比較を示す。 解剖学的構造を識別するためのセグメンテーション結果を示す。 概略ベースの命令の例を示す。 標的撮像面を推定する可視化を示す。 図8は、多重解像度畳み込み回帰ネットワークの概略図を示す。 図8に示すネットワークのレベルの入力パッチの例を示す。 図8 に示すネットワークのレベルの入力パッチのさらなる例を示す。
本発明は、図面を参照して説明される。
詳細な説明及び特定の例は装置、システム、及び方法の例示的な実施形態を示しているが、例示のみを目的としたものであり、本発明の範囲を限定することを意図したものではないことが理解される。本発明の装置、システム、及び方法のこれら及び他の特徴、態様、及び利点は、以下の説明、添付の特許請求の範囲、及び添付の図面からより良く理解されるのであろう。図面は単に概略的なものであり、一定の縮尺で描かれていないことが理解される。また、同じ参照番号は同じ又は類似の部分を示すために、図面全体にわたって使用されることが理解される。
本発明は、超音波画像の取得を誘導する方法を提供する。3D超音波画像は、第1の位置で超音波プローブによって取得され、解剖学的構造が3D超音波画像内で識別される。識別される解剖学的構造に基づいて標的撮像面が推定され、標的撮像面が3D超音波画像内に存在するかが決定される。標的撮像面が存在する場合、3D超音波画像の中心面と標的面との間の変位が決定される。変位が所定の閾値を下回る場合、標的撮像面が抽出され、変位が所定の閾値を上回る場合、変位に基づいて、第1の位置とは異なる第2の位置で超音波プローブで3D超音波画像を取得する命令が生成される。
本発明はさらに、標的撮像面を推定する方法を提供する。3D超音波画像の中心面が得られ、中心面は解剖学的構造の少なくとも部分を含み、境界ボックスが解剖学的構造の周りに生成される。境界ボックスは、複数の格子点を有する格子に分割され、各格子点に対して中心面と標的撮像面との間のオフセットが推定される。最後に、標的撮像面の座標は、境界ボックスの各格子点に対するオフセットに基づいて推定される。
上述の方法が超音波画像システムにおいて採用され得るように、例示的な超音波システムの一般的な動作はまず、図1を参照して説明され、本発明はトランスデューサアレイによって測定される信号の処理に関するので、システムの信号処理機能に重点を置いて説明される。
このシステムは超音波を送信し、エコー情報を受信するためのトランスデューサアレイ6を有するアレイトランスデューサプローブ4を備える。トランスデューサアレイ6は、CMUTトランスデューサ、PZT又はPVDFなどの材料で形成される圧電トランスデューサ、又は任意の他の適切なトランスデューサ技術を備えることができる。この例では、トランスデューサアレイ6が2D平面又は関心領域の3次元ボリュームの何れかをスキャンすることができるトランスデューサ8の2次元アレイである。別の例では、トランスデューサアレイが1Dアレイであってもよい。
トランスデューサアレイ6は、トランスデューサ素子による信号の受信を制御するマイクロビームフォーマ12に結合されている。マイクロビームフォーマは米国特許第5，997，479号(Savordら)、第6，013，032号(Savord)、及び第6，623，432号(Powersら)に記載されているように、トランスデューサの、一般に「グループ」又は「パッチ」と呼ばれるサブアレイによって受信される信号の少なくとも部分的なビームフォーミングが可能である。
マイクロビームフォーマは、完全に任意選択であることに注意する必要がある。さらに、システムは、マイクロビームフォーマ12が結合されることができ、送信モードと受信モードとの間でアレイをスイッチし、マイクロビームフォーマが使用されず、トランスデューサアレイがメインシステムビームフォーマによって直接操作される場合、メインビームフォーマ20を高エネルギー送信信号から保護する、送信／受信(T／R)スイッチ16を含む。トランスデューサアレイ6からの超音波ビームの送信は、T／Rスイッチ16及びメイン送信ビームフォーマ(図示せず)によってマイクロビームフォーマに結合されるトランスデューサコントローラ18によって方向付けられ、メイン送信ビームフォーマは、ユーザインターフェース又は制御パネル38のユーザ操作から入力を受け取ることができる。コントローラ18は、送信モード中にアレイ6のトランスデューサ素子を(直接又はマイクロビームフォーマを介して)駆動するように構成される送信回路を有することができる。
典型的なライン毎の撮像シーケンスでは、プローブ内のビーム形成システムが以下のように動作してもよい。送信中、ビームフォーマ(実現に依存して、マイクロビームフォーマ又はメインシステムビームフォーマであってもよい)は、トランスデューサアレイ、又はトランスデューサアレイのサブアパーチャを活性化する。サブアパーチャはトランスデューサの一次元ラインであってもよいし、より大きなアレイ内のトランスデューサの二次元パッチであってもよい。送信モードでは、アレイによって生成される超音波ビームのフォーカッシング及びステアリング、又はアレイのサブアパーチャは以下に説明するように制御される。被検体から後方散乱エコー信号を受信するとき、受信信号は、受信信号を位置合わせするために(以下に説明するように)受信ビームフォーミングを受け、サブアパーチャが使用されている場合、サブアパーチャが例えば1つのトランスデューサ素子だけシフトされる。その後、シフトされるサブアパーチャが活性化され、このプロセスは、トランスデューサアレイのトランスデューサ素子の全てが活性化されるまで繰り返される。
各ライン(又はサブアパーチャ)について、最終的な超音波画像の関連するラインを形成するために使用される全受信信号は、受信期間中に所与のサブアパーチャのトランスデューサ素子によって測定される電圧信号の合計である。以下のビーム成形プロセスに続いて得られるライン信号は、通常、無線周波数データと呼ばれる。それから、種々のサブアパーチャによって生成される各ライン信号(RFデータセット)は最終的な超音波画像のラインを生成するために、付加的な処理を受ける。時間に伴うライン信号の振幅の変化は深度に伴う超音波画像の輝度の変化に寄与し、高振幅ピークは、最終画像における明るい画素(又は画素の集合)に対応する。ライン信号の開始付近に現れるピークは浅い構造からのエコーを表し、一方、ライン信号において次第に遅く現れるピークは、被検体内の深さが増大する構造からのエコーを表す。
トランスデューサ制御装置18によって制御される関数の1つは、ビームがステアリングされ、フォーカスされる方向である。ビームはトランスデューサアレイから真っ直ぐ(直交して)前方に、又はより広い視野のために異なる角度でステアリングされてもよい。送信ビームのステアリング及びフォーカシングは、トランスデューサ素子作動時間の関数として制御することができる。
一般的な超音波データ収集では、平面波撮像と「ビームステアリング」撮像の2つの方法が区別されるが、これら2つの方法は送信モード(「ビームステアリング」撮像)及び／又は受信モード(平面波撮像及び「ビームステアリング」撮像)におけるビーム形成の存在によって区別される。
最初にフォーカシング機能を見ると、全てのトランスデューサ素子を同時に作動させることによって、トランスデューサアレイは、被検体を通過するにつれて発散する平面波を生成する。この場合、超音波のビームは未集束のままである。トランスデューサの活性化に位置依存時間遅延を導入することによって、焦点ゾーンと呼ばれる所望の点でビームの波面を収束させることが可能である。焦点ゾーンは、横方向ビーム幅が送信ビーム幅の半分未満である点として定義される。このようにして、最終的な超音波画像の横方向の解像度が改善される。
例えば、時間遅延によって、トランスデューサ素子が、最も外側の素子において開始され、トランスデューサアレイの中心素子において終了されるように、直列に活性化される場合、焦点ゾーンは中心素子と一直線上で、プローブから離れた所与の距離で形成されるのであろう。プローブからの焦点ゾーンの距離は、後続トランスデューサ素子活性化の各ラウンド間の時間遅延に応じて変化する。ビームが焦点ゾーンを通過した後、発散し始め、遠視野撮像領域を形成する。トランスデューサアレイに近接して位置する焦点ゾーンについては、超音波ビームが最終的な画像においてビーム幅のアーチファクトをもたらす遠視野において迅速に発散することに留意される。典型的には、トランスデューサアレイと焦点ゾーンとの間に位置する近接場が超音波ビームにおける大きな重複のために、ほとんど詳細を示さない。したがって、焦点ゾーンの位置を変化させることは、最終画像の品質に著しい変化をもたらす可能性がある。
送信モードでは、超音波画像が複数の焦点ゾーン(それぞれが異なる送信焦点を有し得る)に分割されない限り、1つの焦点のみが定義され得ることに留意される。
さらに、被検体内からのエコー信号を受信すると、受信フォーカスを行うために上述した処理の逆を行うことができる。換言すれば、入ってくる信号は、トランスデューサ素子によって受信され、信号処理のためにシステムに渡される前に電子的な時間遅延を受けることができる。この最も単純な例は、遅延和ビームフォーミングと呼ばれる。
時間の関数としてトランスデューサアレイの受信フォーカシングを動的に調整することが可能である。ここで、ビームステアリングの機能を見ると、トランスデューサ素子に時間遅延を正しく適用することによって、トランスデューサアレイを離れるときに、超音波ビームに所望の角度を付与することが可能である。例えば、トランスデューサアレイの第1の側面上のトランスデューサを活性化させ、続いて、残りのトランスデューサを、アレイの反対側で終了するシーケンスで活性化させることによって、ビームの波面は、第2の側面に向かって角度が付けられることになる。トランスデューサアレイの法線に対するステアリング角度の大きさは、後続するトランスデューサ素子の活性化間の時間遅延の大きさに依存する。
さらに、ステアリングビームをフォーカスすることが可能であり、ここで、各トランスデューサ素子に適用される総時間遅延は、焦点時間遅延とステアリング時間遅延の両方の和である。この場合、トランスデューサアレイは、フェーズドアレイと呼ばれる。
それらの活性化のためにDCバイアス電圧を必要とするCMUTトランスデューサの場合、トランスデューサコントローラ18は、トランスデューサアレイのためのDCバイアス制御部45を制御するために結合することができる。DCバイアス制御部45は、CMUTトランスデューサ素子に印加されるDCバイアス電圧を設定する。
トランスデューサアレイの各トランスデューサ素子に対して、典型的にはチャネルデータと呼ばれるアナログ超音波信号が、受信チャネルを介してシステムに入る。受信チャネルでは、部分的にビーム形成される信号がマイクロビームフォーマ12によってチャネルデータから生成され、それから、メイン受信ビームフォーマ20に渡され、そこで、トランスデューサの個々のパッチからの部分的にビーム形成される信号が無線周波数データと呼ばれる完全にビーム形成される信号に結合される。各ステージで実行されるビームフォーミングは、上述のように実行されてもよく、又は追加の機能を含んでもよい。例えば、メインビームフォーマ20は128のチャネルを有してもよく、その各チャネルは十数個又は数百個のトランスデューサ素子のパッチから部分的にビーム形成される信号を受信する。このようにして、トランスデューサアレイの数千のトランスデューサによって受信される信号は、単一のビーム形成信号に効率的に寄与することができる。
ビーム形成される受信信号は、信号プロセッサ22に結合される。信号プロセッサ22は受信したエコー信号を、帯域通過フィルタリング、デシメーション、I及びQ成分分離、及び高調波信号分離のような様々な方法で処理することができ、これらの信号は組織及びマイクロバブルから返される非線形(基本周波数の高次高調波)エコー信号の識別を可能にするように、線形及び非線形信号を分離するように作用する。また、信号プロセッサは、スペックル低減、信号合成、及びノイズ除去などの追加の信号強化を行ってもよい。信号プロセッサ内のバンドパスフィルタは追跡フィルタとすることができ、その通過帯域は、エコー信号が、増加する深度から受信されるにつれて、より高い周波数帯域からより低い周波数帯域へとスライドし、それによって、典型的に解剖学的情報を欠く、より大きな深度からより高い周波数におけるノイズを排除する。
送信及び受信のためのビームフォーマは、異なるハードウェアで実施され、異なる機能を有することができる。もちろん、受信器ビームフォーマは、送信ビームフォーマの特性を考慮に入れて設計される。図1では、単純化のために、受信器ビームフォーマ12、20のみが示されている。完全なシステムでは、送信マイクロビームフォーマを備えた送信チェーン、及び主送信ビームフォーマも存在するのであろう。
マイクロビームフォーマ12の機能は、アナログ信号経路の数を減少させるために信号の初期の組み合わせを提供することである。これは、典型的にはアナログ領域で実行される。
最終的なビーム成形は、メインビームフォーマ20で行われ、典型的にはデジタル化後である。
送信及び受信チャネルは、固定周波数帯域を有する同じトランスデューサアレイ6を使用する。しかしながら、送信パルスが占める帯域幅は、使用される送信ビームフォーミングに応じて変化し得る。受信チャネルはトランスデューサ帯域幅全体(これは古典的なアプローチ)を捕捉することができ、又は帯域処理を使用することによって、所望の情報(例えば、メイン高調波の高調波)を有する帯域幅のみを抽出することができる。
それから、RF信号はBモード(すなわち、輝度モード、又は2D撮像モード)プロセッサ26及びドップラープロセッサ28に結合され得る。Bモードプロセッサ26は、器官組織及び血管のような身体内の構造の撮像のために、受信される超音波信号に対して振幅検出を実行する。ライン毎の撮像の場合、各ライン(ビーム)は関連するRF信号によって表され、その振幅はBモード画像内の画素に割り当てられるべき輝度値を生成するために使用される。画像内の画素の正確な位置は、RF信号に沿った関連振幅測定の位置と、RF信号のライン(ビーム)番号によって決まる。このような構造のBモード画像は米国特許第6,283,919号(Roundhillら)及び米国特許第6,458,083号(Jagoら)に記載されているように、高調波又は基本波画像モード、代わりに両方の組み合わせで形成することができる。ドップラープロセッサ28は、画像フィールド内の血球の流れのような動く物質の検出のために、組織の動き及び血流から生じる時間的に異なる信号を処理する。ドップラープロセッサ28は、典型的には体内の選択される種類の材料から返されるエコーを通過させるか又は拒絶するように設定されるパラメータを有するウォールフィルタを有する。
Bモード及びドップラープロセッサによって生成される構造及び動き信号は、スキャンコンバータ32及びマルチプレーナリフォーマッタ44に結合される。スキャンコンバータ32は、エコー信号を所望の画像フォーマットで受信した空間関係に配置する。換言すれば、スキャンコンバータは、円筒座標系からのRFデータを、超音波画像を画像ディスプレイ40に表示するのに適した直交座標系に変換するように作用する。Bモード撮像の場合、所与の座標における画素の輝度は、その位置から受信されるRF信号の振幅に比例する。例えば、スキャンコンバータは、エコー信号を二次元(2D)セクタ形状フォーマット又はピラミッド状三次元(3D)画像に配置することができる。スキャンコンバータは、画像フィールド内の点における動きに対応する色を有するBモード構造画像をオーバレイすることができ、そこでは、所与の色を生成するためにドップラ推定速度が得られる。組み合わされるBモード構造画像及びカラードップラー画像は、構造画像フィールド内の組織及び血流の動きを描写する。マルチプレーナリフォーマッタは、米国特許第6,443,896号(Detmer)に記載されているように、身体の体積領域内の共通平面内の点から受け取ったエコーをその平面の超音波画像に変換する。ボリュームレンダラ42は米国特許第6,530,885号(Entrekinら)に記載されているように、3Dデータセットのエコー信号を所与の基準点から見た投影3D画像に変換する。
2D又は3D画像は、スキャンコンバータ32、マルチプレーナリフォーマッタ44、及びボリュームレンダラ42から画像処理装置30に結合され、画像ディスプレイ40上に表示するために、更に強調、バッファリング、及び一時記憶される。撮像プロセッサは例えば、強い減衰器又は屈折によって引き起こされる音響シャドーイング、例えば、弱い減衰器によって引き起こされる後方強調、例えば、高反射性組織界面が近接して位置する場合の残響アーチファクト等のような、特定の撮像アーチファクトを最終的な超音波画像から除去するように適合されてもよい。さらに、画像プロセッサは、最終的な超音波画像のコントラストを改善するために、特定のスペックル低減機能を処理するように適合されてもよい。
撮像に使用されることに加えて、ドップラープロセッサ28によって生成される血流値及びBモードプロセッサ26によって生成される組織構造情報は、定量化プロセッサ34に結合される。定量化プロセッサは、器官のサイズ及び妊娠期間などの構造的測定に加えて、血流の体積速度などの異なる流動状態の測定値を生成する。定量化プロセッサは、測定値が行われるべき画像の解剖学的構造内の点のような、ユーザ制御パネル38からの入力を受け取ることができる。
定量化プロセッサからの出力データは、ディスプレイ40上の画像を用いて測定グラフィックス及び値を再生するため、及びディスプレイ装置40からのオーディオ出力のため、グラフィックスプロセッサ36に結合される。グラフィックスプロセッサ36は、超音波画像と共に表示するためのグラフィックオーバーレイを生成することもできる。これらのグラフィックオーバーレイは、患者名、画像の日時、撮像パラメータ等の標準的な識別情報を有することができる。これらの目的のために、グラフィックプロセッサは、患者名のような入力をユーザインターフェース38から受け取る。また、ユーザインタフェースはトランスデューサアレイ6からの超音波信号の生成、したがって、トランスデューサアレイ及び超音波システムによって生成される画像の生成を制御するために、送信コントローラ18に結合される。コントローラ18の送信制御機能は、実行される機能のうちの1つに過ぎない。コントローラ18はまた、動作モード(ユーザによって与えられる)と、受信器アナログ−デジタル変換器における対応する必要な送信機構成及び帯域通過構成とを考慮する。コントローラ18は、固定状態を有するステートマシンとすることができる。
ユーザインターフェースは、MPR画像の画像フィールドにおいて定量化される測定を実行するために使用され得る複数のマルチプレーナリフォーマット(MPR)画像のプレーンの選択及び制御のために、マルチプレーナリフォーマッタ44にも結合される。
図2は、超音波画像の取得をガイドするための方法100を示す。
この方法は、ステップ110で開始され、第1の位置で超音波プローブを制御することによって3D超音波画像が取得される。
例えば、超音波検査は、第1の位置に位置する関心領域を撮像することを有することができる。関心領域は例えば、検査される臓器又は胎児を含み得る。
ステップ120において、解剖学的構造が3D超音波画像内で識別される。
解剖学的特徴は、器官と、心臓の心室などの器官の内部心腔と、骨格構造と、胎児心臓又は胃などの胎児構造とを有することができる。
解剖学的構造は、解剖学的構造をセグメント化することによって識別することができる。例えば、胎児ボリューム(例えば、頭部、胃、臍静脈)における関心構造に自動セグメンテーションを適用することができる。
一例として、構造を識別するためのセグメンテーション手法は、関心形状のテンプレートモデルを使用して、テンプレート変形に基づくことができる。代わりに、別の適切なアプローチは、深層学習に基づくUNETベースのアルゴリズムを利用し、セグメント化される器官のマスクが提供される。
言い換えれば、解剖学的構造は、機械学習ベースのアルゴリズムによって3D超音波画像内で識別されてもよい。
ステップ130では、識別される解剖学的構造に基づいて標的撮像面が決定される。
標的撮像面の決定は、関心構造に基づく空間座標系の決定を有することができる。例えば、空間座標系は、心臓、胃、及び臍静脈などの様々な器官を参照して定義することができる。これらの構造は腹部標準的な臨床平面の抽出において使用され得るが、大腿骨又は頭部平面のような他の標準的な臨床平面を獲得するために異なる構造を利用することが可能である。
例示的な空間座標系は、図6を参照して以下でさらに説明される。
標的撮像面の抽出は、定義される座標系における関連平面の位置の、システムのユーザ入力又はトレーニングによる以前に取得される知識に基づくことができる。
標的撮像面を決定する方法は、図3を参照して以下に更に詳細に説明される。
ステップ140では、標的撮像面が取得される3D超音波画像内に存在するかが決定される。
取得される3D超音波画像内の標的撮像面の存在及び位置の決定は、機械学習アルゴリズムを使用して実行されてもよい。
例えば、ステップ130において標的撮像面が決定されると、アルゴリズムは、標的撮像面、又は標的撮像面の少なくとも部分が取得される3D超音波画像のボリューム内にあるかを決定することができる。
標的撮像面が取得される3D超音波画像のボリューム内に存在しない場合、本方法はステップ145に進み、標的撮像面が3D超音波画像内に存在しないことをユーザに通知するメッセージがユーザに提示される。この場合、本方法は、それから、ステップ110に戻って、標的撮像面の少なくとも部分を有する異なる3D超音波画像を取得することができる。
標的撮像面が存在する場合、本方法は、ステップ150に進み、3D超音波画像の中心面と標的撮像面との間の変位が決定される。変位は、並進及び回転を有することができる。換言すれば、中心面から標的撮像面への並進が決定される。
変位が所定の閾値を下回る場合、本方法はステップ160に進み、標的撮像面が3D超音波画像から抽出される。所定の閾値は3D超音波画像内の境界を表してもよく、これは変位が所定の閾値を下回る場合、標的撮像面が3D超音波画像のボリューム内に完全に含まれることを意味する。言い換えれば、変位の最大振幅は、各方向における3D超音波画像の体積寸法の所与の割合、又は閾値よりも小さくなければならない。代わりに、所定の閾値が標的撮像面と中心面との間の距離及び／又は角度に基づいて定義されてもよい。
言い換えると、ユーザが、標的撮像面に近いものとして解析される3D超音波画像を取得すると、信号がユーザに提供され得、標的撮像面抽出が現在のプローブ位置における3D超音波画像から実行され得ることを示す。
ステップ150に戻って、変位が所定の閾値を超えていることがわかった場合、方法は、ステップ170に進む。ステップ170では、超音波プローブを用いて第1の位置とは異なる第2の位置で3D超音波画像を取得する命令が変位に基づいて生成される。命令は、視覚的命令又は可聴命令の形成をとることができる。
例えば、標的撮像面は、3D超音波画像のボリューム内にあるが、中央スライスに十分に近くない(すなわち、所定の閾値の外側にない)場合、ユーザ命令が生成され得る。閾値は、3D超音波画像内の標的撮像面を位置決めするための何れかの適切な数に設定されてもよい。閾値は、閾値を超える値が検出されるときにトリガすることができる。代替的に、閾値は、閾値未満の値が検出されるときにトリガすることができる。
ユーザ命令は、続いて取得される3D超音波画像の中心における標的画像面を得るために、提案されるプローブの動きを提示することができる。視覚的命令の例では、ユーザが概略ベースの命令又は3Dボリュームベースの命令によって誘導されてもよい。
概略ベースの命令は、超音波プローブの現在の位置を示す概略図を含んでもよい。また、概略図は標的撮像面を有する3D超音波画像を取得するために、並進及び回転のための矢印の形成でプローブの提案される動きを含んでもよい。
3Dボリュームベースの命令は、動きガイダンスオーバーレイを有する取得される3D超音波画像の直接ボリュームレンダリングを有することができる。動きガイダンスオーバーレイは、超音波プローブの並進及び回転のための矢印を有することができる。
提供される命令による超音波プローブの動きに続いて、本方法はステップ140に戻り、上述のようにステップ160に進み、標的撮像面が取得される。
標的撮像面の取得に続いて、本方法は、取得される標的撮像面に対してバイオメトリック分析を実行することをさらに有することができる。標的撮像面は、典型的には臨床プロセスで使用するために選択されるので、取得される標的撮像面に対してバイオメトリック測定を自動的に実行することができる。
図3は、標的撮像面を決定するステップ130をより詳細に示す。
ステップ210では、3D超音波画像の中心面が取得され、中心面は解剖学的構造の少なくとも部分を有する。
上述のように、ユーザは3D超音波画像が解剖学的構造の少なくとも部分を有するように、3D超音波画像を取得するために関心構造に超音波プローブをナビゲートする。
例えば、3D超音波の中心面(状況によってはマルチプレーナ再構成、MPRによって取得されてもよい)は解剖学的構造を含んでもよい。特定の例として、胎児の腹部周囲の測定値のために、腹部を通るほぼ直交するカットが中心面に含まれてもよい。
ステップ220において、境界ボックスが、中心面内の解剖学的構造の周りに生成される。
3D超音波画像の中心面のような2D画像で境界ボックス検出を実行するために利用可能な方法はいくつかある。例えば、Joseph Redmonらの YOLO9000 Better, Faster, Stronger, CVPR 2018に記載されている方法を使用することができる。さらに、このようなコンピュータビジョン問題のためのいくつかの予め訓練されるモデルが利用可能であり、これは、Pan, S. J らの A survey on transfer learning（IEEE Trans Knowl Data Eng, 22(10)， 1345-1359， 2009）に記載されているように、身体部分の検出、特に胎児の身体部分の検出に対処するために、伝達学習を使用することができることを意味する。
ステップ230において、境界ボックスは、複数の格子点を有する格子に分割される。境界ボックスは任意のN×N格子に分割することができ、Nは、アプリケーションによって要求される解像度に従って変更することができる。
例えば、2つの点bstart及びbendを使用して、解剖学的構造の周りの境界ボックスを有する中央ペイン内の最小の正方形を定義することができる。それから、この正方形は、中心点座標gxyを有するN×Nセルの格子に再分割される。
ステップ240では、中心面と標的撮像面(例えば、最適撮像平面)との間のオフセットが各格子点に対して推定される。
各格子点gxyに対して、例えば、後述するように、多重解像度畳込みニューラルネットワークを使用して、中心面から最適な撮像面へのオフセットoxyが推定される。
ステップ250では、標的撮像面の座標が、境界ボックスの各格子点に対するオフセットに基づいて推定される。
線形回帰を用いてgxy＋oxyを補間することにより、標的撮像面の標的ジオメトリを推定することができる。
オフセットの推定は、多重解像度ニューラルネットワークを中心面に適用することを有することができる。多重解像度ニューラルネットワークは、標的撮像面までの距離を示す各格子点に対するオフセットベクトルoxy＝(0,0,oxy)Tを推定するように訓練される。
多重解像度ニューラルネットワークは、Schmidt−RichbergらのCNNパワー変形可能モデルを用いた3D胎児超音波における腹部セグメント化（胎児及び乳児撮像に関するMICCAIワークショップ(FIFI 2017)及びBrosch, T.らの多臓器セグメント化のためのFoveal完全畳み込みネット（Proc．SPIE， 105740U， 2018）で論じられているように、医療撮像におけるいくつかのセグメント化タスクに関して正確な結果をもたらすことが示されている。
多重解像度ニューラルネットワークの一般的な概念は、画素ごとの分類のために異なる解像度の画像パッチを結合することである。各解像度レベルでは、画像特徴は標準畳込み層を用いて抽出される。次に、粗いレベルの特徴マップが連続的にアップサンプリングされ、次のより微細レベルと結合される。このようにして、元の画像解像度のセグメント化が、広範な画像コンテキストを考慮に入れるために大きい遠近視野を有しながら得られる。代替的な機械学習アプローチが考慮されてもよい。しかしながら、ニューラルネットワークは、これらのような複雑な学習タスクに対して正確な結果を生み出す一方で、ほぼリアルタイムのパフォーマンスを生み出すこともできる。
この場合、この一般的な概念は、サイズN×N×1の最終出力層がオフセットoxyを保持するように多重解像度ネットワークが訓練される面回帰に使用される。しかしながら、オフセット層は、元の超音波画像よりもはるかに小さい解像度を有するので、アップサンプリングストラテジではなくダウンサンプリングストラテジが使用される。
これは、一般的な多重解像度ニューラルネットワークアーキテクチャのように、粗いレベルをアップサンプリングし、それらをより細かいレベルと組み合わせる代わりに、細かいレベルが連続的にダウンサンプリングされ、より粗いレベルと組み合わされることを意味する。
このネットワークアーキテクチャは図8にさらに詳細に示され、対応する画像パッチの例は図9及び図10に示される。
ネットワークは、ユーザによって注釈付けされるグラウンドトゥルースと、損失関数としての推定オフセットとの間の平均二乗差を用いてトレーニングすることができる。
図4A及び図4Bは、自動抽出される平面300及び320、上述の詳細な方法に従って抽出される、及び専門的に注釈が付される平面310及び330のそれぞれの間の比較を示す。いずれの場合も、標的撮像面の自動抽出の性能が専門的に注釈される画像面と同等であることが明らかである。
図5は、種々の解剖学的構造の自動セグメンテーションの結果を示す。この図では、心臓H、胃S、及び臍静脈Uvが深層学習アルゴリズムによるセグメント化の後に示されている。図6は図5に示すように、セグメント化される解剖学的ランドマーク(心臓H、胃S、臍静脈 Uv)に基づいて空間基準座標系を定義する概略ベース命令の一例を示す。概略ベース命令は、超音波プローブをどのように動かすかをユーザに知らせる並進及び回転命令を更に有することができる。
図7は、図3を参照して上述した標的撮像面を推定するためのアプローチの視覚化を示し、解剖学的構造は胎児の胴体である。中央ボックス340は、3D画像の中央スライスにおいて胎児胴体の周りの境界ボックスをマークする。点350は変位した格子点gxy＋oxyを示し、オフセットoxyは、多重解像度ニューラルネットワークを使用して自動的に推定される。これらの点の補間によって、標的撮像面360は、線形回帰を使用して決定される。最後のボックス370は、標的撮像面のグランドトゥルース注釈を示す。
図8は、4の解像度レベル380及びN＝8を有する多重解像度畳み込み回帰ネットワークの例のアーキテクチャの概略図を示す。各丸められたボックスは1つ又は複数の動作層を表し、CBRは、所与のカーネルサイズ、バッチ正規化(B)、及びReLU活性化(R)を有するパディングされていない畳み込み(C)からなるブロックを示す。
第1の解像度レベル382は、3D超音波の中心面のような、利用可能な最高の解像度を有する画像パッチを受信する。上述したように、多重解像度ニューラルネットワークは出力層を生成するために、一連のダウンサンプリング層を動作させる。したがって、第2の解像度層384、第3の解像度層386、及び第4の解像度層388は、それぞれが順次より低い解像度を有する画像パッチを受け取る。言い換えれば、画像パッチは、各解像度層についてダウンサンプリングされ、組み合わされる。
図9及び図10は図8に示されるネットワークの4つのレベルすべての入力画像パッチ400の例を示し、パッチはx／y軸(図9)及びx／z軸(図10)について示される。各入力パッチ内のグレーボックスは、出力層の範囲に対応する。
より具体的には、最も高い解像度を有する第1の画像パッチ402が第1の解像度レベルに供給される。同様に、第2の画像パッチ404は第2の解像度レベルに供給され、第3の画像パッチ406は第3の解像度レベルに供給され、第4の画像パッチ408は第4の解像度レベルに供給される。
入力画像パッチ400の処理後の多重解像度ニューラルネットワークの出力層は、オフセット格子410によって示される。オフセット格子は、境界ボックスの各格子点が標的撮像面に到達するために必要なオフセットを表し、格子正方形の陰影が暗いほど、オフセットが大きくなる。
画像420は、ユーザによって識別される、以前に注釈付けされる標的撮像面であるグラウンドトゥルースビュー平面420を表す。画像430は、入力画像パッチ内の灰色の正方形として表される、胴体境界ボックス内で再サンプリングされるグラウンドトゥルース平面を示す。
上述したように、本発明は、標的撮像面を推定する誘導方法及び方法を提供する。後者は、
3D超音波画像を取得するステップと、
3D超音波画像内の解剖学的構造を識別するステップと、
3D超音波画像の中心面を取得するステップであって、中心面は、解剖学的構造の少なくとも部分を有する、ステップと、
中心面内の解剖学的構造の周りに境界ボックスを生成するステップと、
境界ボックスを、複数の格子点を有する格子に分割するステップと、
複数の格子点の各格子点に対して、中心面と標的撮像面(例えば、最適撮像面)との間のオフセットを推定するステップと、
境界ボックスの各格子点に対するオフセットに基づいて、標的撮像面の座標を推定するステップと
を有する。
開示される実施形態に対する変形は図面、開示、及び添付の特許請求の範囲の検討から、特許請求される発明を実施する際に当業者によって理解され、実施されることができる。特許請求の範囲において、単語「有する」は他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は複数を排除するものではない。単一のプロセッサ又は他のユニットは、特許請求の範囲に列挙されるいくつかのアイテムの機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。コンピュータプログラムは他のハードウェアと一緒に、又はその部分として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶／配布することができるが、インターネット又は他の有線もしくは無線電気通信システムなどを介して、他の形態で配布することもできる。特許請求の範囲におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

Claims (15)

  1. 超音波画像の取得を誘導する方法であって、前記方法は、
    第1の位置で超音波プローブを制御することによって3D超音波画像を取得するステップと、
    前記3D超音波画像内の解剖学的構造を識別するステップと、
    前記識別される解剖学的構造に基づいて標的撮像面を推定するステップと、
    標的撮像面が前記3D超音波画像内に存在するかを決定するステップと
    を有し、
    前記標的撮像面が存在する場合、前記3D超音波画像の中心面と前記標的面との間の変位を決定するステップ、
    前記変位が所定の閾値を下回る場合、前記3D超音波画像から前記標的撮像面を抽出するステップ、又は
    前記変位が前記所定の閾値を超える場合、前記変位に基づいて、前記第1の位置とは異なる第2の位置で前記超音波プローブを用いて3D超音波画像を取得する命令を生成するステップ
    を有する、方法。
  2. 前記標的撮像面の前記推定は、
    前記3D超音波画像の中心面を取得するステップであって、前記中心面は、前記解剖学的構造の少なくとも部分を含む、ステップと、
    前記中心面内の前記解剖学的構造の周りに境界ボックスを生成するステップと、
    複数の格子点を有する格子に前記境界ボックスを分割するステップと、
    前記複数の格子点の各格子点に対して、前記中心面と前記標的撮像面との間のオフセットを推定するステップと、
    前記境界ボックスの各格子点に対する前記オフセットに基づいて前記標的撮像面の座標を推定するステップと
    を有する、請求項1に記載の方法。
  3. 前記オフセットの前記推定は、前記中心面に多重解像度ニューラルネットワークを適用するステップを有する、請求項2に記載の方法。
  4. 前記多重解像度ニューラルネットワークの前記適用は、
    前記中心面から第1の画像パッチを生成するステップであって、前記第1の画像パッチは第1の解像度を有する、ステップと、
    前記中心面から第2の画像パッチを生成するステップであって、前記第2の画像パッチは、前記第1の解像度よりも低い第2の解像度を有する、ステップと、
    前記第1の画像パッチから第1の特徴マップを抽出し、前記第2の画像パッチから第2の特徴マップを抽出するステップと、
    前記第1の特徴マップを前記第2の特徴マップと結合するステップと、
    前記結合されるマップに基づいて出力層を生成するステップであって、前記出力層は、各格子点に対する前記オフセットを有する、ステップと
    を有する、請求項3に記載の方法。
  5. 前記解剖学的構造の前記識別は、前記解剖学的構造をセグメント化するステップを有する、請求項1乃至4の何れか一項に記載の方法。
  6. 前記変位は、
    並進、及び
    回転
    の一つ又はそれより多くを有する、請求項1乃至5の何れか一項に記載の方法。
  7. 前記命令は、
    視覚的命令、及び
    可聴命令
    の一つ又はそれより多くを有する、請求項1乃至6の何れか一項に記載の方法。
  8. 前記視覚的命令は、
    概略ベースの命令、及び
    3Dボリュームベースの命令
    の一つ又はそれより多くを有する、請求項7に記載の方法。
  9. 前記方法は、前記取得される前記標的撮像面上でバイオメトリック分析を実行するステップをさらに有する、請求項1乃至8の何れか一項に記載の方法。
  10. コンピュータプログラムであって、前記コンピュータプログラムが超音波撮像システム上で実行されるとき、請求項1乃至9の何れか一項に記載の方法を実施するように適合されるコンピュータプログラムコード手段を有する、コンピュータプログラム。
  11. 超音波撮像システムであって、前記システムは、
    第1の位置に配置されるとき、3D超音波画像を取得するように適合される超音波プローブと、
    プロセッサであって、前記プロセッサは、
    前記3D超音波画像内の前記解剖学的構造を識別し、
    前記識別される前記解剖学的構造に基づいて標的撮像面を推定し、
    前記標的撮像面が前記3D超音波画像内に存在するかを決定する
    ように適合され、
    前記標的撮像面が存在する場合、前記3D超音波画像の中心面と前記標的面との間の変位を決定し、
    前記変位が所定の閾値を下回る場合、前記3D超音波画像から前記標的撮像面を抽出し、又は
    前記変位が前記所定の閾値を上回る場合、前記変位に基づいて、前記第1の位置とは異なる第2の位置で前記超音波プローブを用いて3D超音波画像を取得する命令を生成する
    ように適合される、プロセッサと
    を有する、システム。
  12. 前記プロセッサは、
    前記3D超音波画像の中心面を取得し、前記中心面は、前記解剖学的構造の少なくとも部分を含み、
    前記中心面内の前記解剖学的構造の周りに境界ボックスを生成し、
    複数の格子点を有する格子に前記境界ボックスを分割し、
    前記複数の格子点の各格子点に対して、前記中心面と前記標的撮像面との間のオフセットを推定し、
    前記境界ボックスの各格子点に対する前記オフセットに基づいて前記標的撮像面の座標を推定する
    ように適合される、請求項１１に記載のシステム。
  13. 前記プロセッサは、前記中心面に多重解像度ニューラルネットワークを適用するようにさらに適合され、前記プロセッサは、
    前記中心面から第1の画像パッチを生成し、前記第1の画像パッチは第1の解像度を有し、
    前記中心面から第2の画像パッチを生成し、前記第2の画像パッチは、前記第1の解像度よりも低い第2の解像度を有し、
    前記第1の画像パッチから第1の特徴マップを抽出し、前記第2の画像パッチから第2の特徴マップを抽出し、
    前記第1の特徴マップを前記第2の特徴マップと結合し、
    前記結合されるマップに基づいて出力層を生成する
    ように適合される、請求項12に記載のシステム。
  14. 前記システムは、ユーザに第2の位置で前記3D超音波画像を取得させる前記命令を表示するように適合されるディスプレイを有し、前記命令は視覚的命令を有する、請求項11乃至13の何れか一項に記載のシステム。
  15. 前記システムは、ユーザに第2の位置で3D超音波画像を取得させる前記命令を出力するように適合されるオーディオ出力装置を有し、前記命令は可聴命令を有する、請求項11乃至14の何れか一項に記載のシステム。
JP2021520377A 2018-10-15 2019-10-14 超音波画像の取得をガイドするためのシステム及び方法 Active JP7061232B6 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18290118.1 2018-10-15
EP18290118.1A EP3639751A1 (en) 2018-10-15 2018-10-15 Systems and methods for guiding the acquisition of an ultrasound image
PCT/EP2019/077752 WO2020078889A1 (en) 2018-10-15 2019-10-14 Systems and methods for guiding the acquisition of an ultrasound image

Publications (3)

Publication Number Publication Date
JP2021530334A true JP2021530334A (ja) 2021-11-11
JP7061232B2 JP7061232B2 (ja) 2022-04-27
JP7061232B6 JP7061232B6 (ja) 2022-06-06

Family

ID=64083023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021520377A Active JP7061232B6 (ja) 2018-10-15 2019-10-14 超音波画像の取得をガイドするためのシステム及び方法

Country Status (5)

Country Link
US (1) US20210338203A1 (ja)
EP (2) EP3639751A1 (ja)
JP (1) JP7061232B6 (ja)
CN (1) CN112867444B (ja)
WO (1) WO2020078889A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11819363B2 (en) * 2020-09-01 2023-11-21 GE Precision Healthcare LLC Systems and methods to improve resolution of ultrasound images with a neural network
US20230148991A1 (en) * 2021-11-18 2023-05-18 EchoNous, Inc. Automatically detecting and quantifying anatomical structures in an ultrasound image using a customized shape prior
EP4331499A1 (en) * 2022-08-29 2024-03-06 Koninklijke Philips N.V. Ultrasound imaging systems and methods

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007289685A (ja) * 2006-04-20 2007-11-08 General Electric Co <Ge> 患者特異的情報に基づいて超音波撮像面を自動的に取得するためのシステム及び方法
JP2017502789A (ja) * 2014-01-27 2017-01-26 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 超音波撮像システム及び超音波撮像方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6283919B1 (en) 1996-11-26 2001-09-04 Atl Ultrasound Ultrasonic diagnostic imaging with blended tissue harmonic signals
US6458083B1 (en) 1996-11-26 2002-10-01 Koninklijke Philips Electronics N.V. Ultrasonic harmonic imaging with adaptive image formation
US6013032A (en) 1998-03-13 2000-01-11 Hewlett-Packard Company Beamforming methods and apparatus for three-dimensional ultrasound imaging using two-dimensional transducer array
US5997479A (en) 1998-05-28 1999-12-07 Hewlett-Packard Company Phased array acoustic systems with intra-group processors
DE19939793A1 (de) * 1999-08-21 2001-02-22 Glaser Eckhard Aktiver-Helixscanner
US6530885B1 (en) 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6443896B1 (en) 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
US6468216B1 (en) 2000-08-24 2002-10-22 Kininklijke Philips Electronics N.V. Ultrasonic diagnostic imaging of the coronary arteries
US7520857B2 (en) * 2002-06-07 2009-04-21 Verathon Inc. 3D ultrasound-based instrument for non-invasive measurement of amniotic fluid volume
JP2009513236A (ja) * 2005-10-26 2009-04-02 アロカ株式会社 弾性イメージングの方法および装置
JP2010246862A (ja) * 2009-03-24 2010-11-04 Japan Health Science Foundation 医用画像作成装置及びプログラム
US8355554B2 (en) * 2009-04-14 2013-01-15 Sonosite, Inc. Systems and methods for adaptive volume imaging
JP2012100015A (ja) * 2010-11-01 2012-05-24 Sharp Corp 三次元映像再生装置
US9247880B2 (en) * 2012-02-23 2016-02-02 Siemens Aktiengesellschaft Image fusion for interventional guidance
US20140303499A1 (en) * 2013-04-09 2014-10-09 Konica Minolta, Inc. Ultrasound diagnostic apparatus and method for controlling the same
US9883848B2 (en) * 2013-09-13 2018-02-06 Maui Imaging, Inc. Ultrasound imaging using apparent point-source transmit transducer
WO2015157067A1 (en) * 2014-04-08 2015-10-15 VuComp, Inc Lung segmentation and bone suppression techniques for radiographic images
KR102288308B1 (ko) * 2014-08-05 2021-08-10 삼성메디슨 주식회사 초음파 진단 장치
KR101579740B1 (ko) * 2014-09-01 2015-12-23 삼성메디슨 주식회사 초음파 진단장치, 그에 따른 초음파 진단 방법 및 그에 따른 컴퓨터 판독 가능한 저장매체
KR102446343B1 (ko) * 2015-06-15 2022-09-22 삼성메디슨 주식회사 초음파 장치 및 그 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007289685A (ja) * 2006-04-20 2007-11-08 General Electric Co <Ge> 患者特異的情報に基づいて超音波撮像面を自動的に取得するためのシステム及び方法
JP2017502789A (ja) * 2014-01-27 2017-01-26 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 超音波撮像システム及び超音波撮像方法

Also Published As

Publication number Publication date
CN112867444B (zh) 2024-05-07
JP7061232B2 (ja) 2022-04-27
WO2020078889A1 (en) 2020-04-23
US20210338203A1 (en) 2021-11-04
EP3866698B1 (en) 2022-04-13
CN112867444A (zh) 2021-05-28
EP3639751A1 (en) 2020-04-22
EP3866698A1 (en) 2021-08-25
JP7061232B6 (ja) 2022-06-06

Similar Documents

Publication Publication Date Title
JP7358457B2 (ja) 超音波画像による脂肪層の識別
JP7061232B2 (ja) 超音波画像の取得をガイドするためのシステム及び方法
JP7454583B2 (ja) 弁逆流評価のための方法及びシステム
JP7346586B2 (ja) 合成３ｄ超音波画像を取得するための方法及びシステム
JP2022512027A (ja) 血管からの流れに関するパラメータを導出するための方法及びシステム
JP2021525619A (ja) 胎児体重推定を実施するための方法およびシステム
JP6998477B2 (ja) カラードップラー超音波イメージングを行うための方法及びシステム
JP2022525525A (ja) 超音波プローブの視野を調整するための方法及びシステム
EP4076208B1 (en) Systems and methods for assessing a placenta
EP3849424B1 (en) Tracking a tool in an ultrasound image
JP2022543540A (ja) 画像データを使用する超音波システム音響出力制御
JP2022500136A (ja) 超音波画像内のツールを追跡するためのシステム及び方法
EP4132364B1 (en) Methods and systems for obtaining a 3d vector flow field
EP4223227A1 (en) A method and system for performing fetal weight estimations
EP3848892A1 (en) Generating a plurality of image segmentation results for each node of an anatomical structure model to provide a segmentation confidence value for each node
WO2024046806A1 (en) Ultrasound imaging systems and methods

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210413

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220415

R150 Certificate of patent or registration of utility model

Ref document number: 7061232

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150