JP2022551143A - 画像最適化のためのシステム及び方法 - Google Patents

画像最適化のためのシステム及び方法 Download PDF

Info

Publication number
JP2022551143A
JP2022551143A JP2022521040A JP2022521040A JP2022551143A JP 2022551143 A JP2022551143 A JP 2022551143A JP 2022521040 A JP2022521040 A JP 2022521040A JP 2022521040 A JP2022521040 A JP 2022521040A JP 2022551143 A JP2022551143 A JP 2022551143A
Authority
JP
Japan
Prior art keywords
ultrasound
imaging parameters
view
imaging
particular view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022521040A
Other languages
English (en)
Other versions
JPWO2021069445A5 (ja
Inventor
パトリック ガブリエルズ ラフター
ロイ アラン シヴレイ
永遠 松村
キルティ ラーダークリシュナン
セカンド アール エム. カンフィールド
ロバート グスタフ トラムズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2022551143A publication Critical patent/JP2022551143A/ja
Publication of JPWO2021069445A5 publication Critical patent/JPWO2021069445A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4488Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

超音波イメージングシステムは、ビュー認識プロセッサを含む。ビュー認識プロセッサは、いつ特定のビューが超音波イメージングシステムによって取得されたかを決定する。特定のビューが取得されたことを示す信号が、超音波イメージングシステムに含まれる最適化状態コントローラに提供される。信号に基づいて、最適化状態コントローラは、特定のビューに対して最適化されたイメージング設定を決定する。最適化されたイメージング設定は、最適化されたイメージング設定で特定のビューの超音波画像を取得又は処理するために超音波イメージングシステムの他の構成要素に提供される。

Description

[001] 本開示は、自動化されたビュー認識と、画像取得パラメータ調節とのためのイメージングシステム及び方法に関する。特定の実施態様は、解剖ビューを自動的に認識し、解剖ビューに基づいて取得パラメータを調節するように構成されたシステムを含む。
[002] 超音波検査中に、超音波検査者は、1つ又は複数の画像を取得するために対象者の平面及び/又はボリュームを走査する。一般に、超音波検査者は、対象者の1つ又は複数の標準ビューを取得する。標準ビューは、レビュー(例えば、放射線技師)に診断価値を提供することが分かっている特定の場所及び角度からの解剖学的構造の画像である。標準ビューの数及びタイプは、超音波検査のタイプによって決まる。例えば、心エコー図(例えば、心臓を含む超音波検査)は、いくつかの標準ビューを含む。心エコー図の標準ビューの一部の例示の超音波画像が、図6に示される。標準心エコー図のビューは、心臓の健康状態を評価するために使用される。例えば、パネル(e)に示された胸骨傍長軸(PLAX)ビューは、左心房、左心室、右心室、及び僧帽弁を示す。PLAXビューは、心嚢液(例えば、心臓を取り巻く過剰な体液)などの特定の心臓の状態を診断するために使用される。
[003] 異なる場所及び角度に加えて、異なる標準ビューは、まとめて画像化パラメータと呼ばれる異なるシステムパラメータ、例えば、超音波画像取得パラメータ及び/又は取得後処理パラメータなどを必要とする。イメージングパラメータは、ラテラルゲイン制御、時間ゲイン補償、送信周波数、及びパワーなどのパラメータを含む。走査されている解剖学的構造の場所(例えば、深い又は浅い)及び/又は音響学的特性(例えば、不均質、硬直)、及び/又は標準ビューが取得される音響窓(例えば、肋骨間)の特性のため、異なるイメージングパラメータが必要とされる。例えば、ラテラルゲイン制御は、心臓の壁を視覚化するのに役立つ心尖部ビュー(図6のペイン(a~d))に使用されるが、胸骨傍ビュー(図6のペイン(e~h))に望ましくないノイズを追加する。加えて、心尖部窓の心尖部をよりよく視覚化するために調節された時間ゲイン補償(TGC)は、胸骨傍長軸ビューに近視野の過剰補償をもたらす。
[004] カラーフローイメージング、コントラストイメージング、xPlane、及び3Dイメージングのビューに基づいて行われる最適化トレードオフもある。例えば、カラーフローでは、血流の主方向は、心尖部ビューではトランスデューサに近づく方向と遠ざかる方向があるが、胸骨傍ビューでは主にトランスデューサに垂直である。コントラストイメージングでは、心尖部窓は、多くの場合、より深い胸骨傍ビューよりも低いメカニカルインデクスを必要とする。ユーザは、この減衰の増加を補償するためにパワーレベルを手動で調節しなければならない。
[005] 標準ビューごとにイメージングパラメータのすべてを個別に最適化することは、多くの時間を必要とし、多くの場合、超音波検査に割り当てられた時間では実用的でない。さらに、多くの超音波検査者は、各標準ビューのイメージングパラメータのすべてを完全に最適化するのに十分な専門知識を有していない可能性がある。
[006] 現在、多くの市販超音波システムは、予めプログラムされたイメージングパラメータのセットである「プリセット」を備えている。超音波検査者は、検査のタイプ(例えば、心エコー図)を選択し、超音波システムは、心エコー図のプリセットを適用する。プリセットにより、超音波検査者は、イメージングパラメータを調節する必要なしに検査の標準ビューを取得することができる。しかしながら、プリセットのイメージングパラメータは、パラメータ間のトレードオフと妥協の結果である。すなわち、プリセットのイメージングパラメータは、妥当な標準ビューが取得されるのを可能にするが、どの標準ビューもその特定の標準ビューに対して最適化されたイメージングパラメータで取得することができない。したがって、標準ビューのイメージングパラメータを改善することが望まれる。
[007] 本開示は、特定のビューのイメージングパラメータを最適化するためのシステム及び方法を説明する。特定のビューのイメージングパラメータを最適化することにより、ユーザのワークフローを変更することなく、画像品質の改善が可能になる。
[008] 本開示の一例による超音波イメージングシステムは、超音波画像を取得するように構成された超音波トランスデューサアレイと、1つ又は複数のイメージングパラメータに少なくとも部分的に基づいて超音波トランスデューサアレイによる取得を制御するように構成されたコントローラと、超音波画像が特定のビューに対応するかどうかを決定するように構成された認識プロセッサと、超音波画像が特定のビューに対応するとビュー認識プロセッサが決定した場合、ビュー認識プロセッサの出力を受け取り、出力に少なくとも部分的に基づいて1つ又は複数のイメージングパラメータの更新を決定するように構成された最適化状態コントローラであり、最適化状態コントローラが、更新された1つ又は複数のイメージングパラメータをコントローラに提供する、最適化状態コントローラとを含む。
[009] 本開示の一例による方法は、超音波画像を取得するステップと、超音波画像が特定のビューを含むかどうかを決定するステップと、特定のビューが決定された場合、特定のビューに基づいて出力を提供するステップと、出力に少なくとも部分的に基づいて1つ又は複数のイメージングパラメータを決定するステップと、1つ又は複数のイメージングパラメータをコントローラに提供するステップと、1つ又は複数のイメージングパラメータで超音波画像を再取得するステップとを有する。
[010] 本開示の一例によれば、非一時的コンピュータ可読媒体は命令を含み、命令が実行されると、命令により、超音波イメージングシステムは、超音波画像を取得し、超音波画像が特定のビューを含むかどうかを決定し、特定のビューが決定された場合、特定のビューに基づいて出力を提供し、出力に少なくとも部分的に基づいて1つ又は複数のイメージングパラメータを決定し、特定のビューが決定されない場合、1つ又は複数のデフォルトイメージングパラメータを決定し、1つ又は複数のイメージングパラメータ又は1つ又は複数のデフォルトイメージングパラメータをコントローラに提供し、コントローラにより1つ又は複数のイメージングパラメータ又は1つ又は複数のデフォルトイメージングパラメータで超音波画像を再取得する。
[011] 本開示の原理による超音波システムのブロック図である。 [012] 本開示の原理による例示のプロセッサを示すブロック図である。 [013] 本開示の原理によるニューラルネットワークの訓練及び展開のプロセスのブロック図である。 [014] 本開示の原理による方法の流れ図である。 [015] 本開示の原理による方法の流れ図である。 [016] 心エコー法検査での例示の標準ビューを示す図である。 [017] 心臓側壁の例示の超音波画像を示す図である。
[018] 特定の実施形態の以下の説明は、単に本質的に例示であり、本発明又はその用途若しくは使用を限定するように全く意図されていない。本システム及び方法の実施形態の以下の詳細な説明では、本明細書の一部を形成し、記載のシステム及び方法が実践される特定の実施形態が例として示されている添付の図面が参照される。これらの実施形態は、当業者が本開示のシステム及び方法を実践できるように十分に詳細に記載されており、他の実施形態を利用できること、並びに本システムの趣旨及び範囲から逸脱することなく構造的及び論理的な変更がなされてもよいことを理解されたい。その上、明確にするために、特定の特徴の詳細な説明は、本システムの説明を不明瞭にしないために、当業者に明らかである場合には論じられない。それゆえに、以下の詳細な説明は、限定の意味で解釈されるべきではなく、本システムの範囲は、添付の特許請求の範囲によってのみ定義される。
[019] 心臓超音波では、画像化することが従来非常に難しいいくつかの区域がある。心尖部四腔断面では、側壁は十分に視覚化されない。このビューでは、側壁は、扇形の縁部に配置され、図7Aでは円702で示されており、図7Bでは円704で示されている。心臓のこの壁をよりよく視覚化するために、ゲインが増加される。システムは、ユーザがイメージの縁部におけるゲインを選択的に制御できるようにするラテラルゲイン制御を有する。しかしながら、次のビューに移るとき、高いゲインは過度のノイズを導入するので、ユーザはこれらのゲインをリセットしなければならない。多くの場合、過度のノイズのために、ユーザはラテラルゲインを全く最適化しないことになる。
[020] ワークフローを改善する可能性がある心エコー法における1つの現れつつある関心分野は、自動化されたビュー分類である。例えば、機械学習手法は、ヒストグラム分析及び統計的特徴に基づく。別の例では、深層学習が、ビュー認識を自動化するために使用される。自動化されたビュー認識は、ワークフロー、特に、測定及び/又は分析、並びに患者の診断の支援を改善する。本開示の原理によれば、自動化されたビュー認識技法によって提供されるビュー情報は、RFフィルタ、時間ゲイン補償(TGC)、ラテラルゲイン補償(LGC)、及び送信周波数などのイメージングパラメータを調節して、画像品質及びワークフローを改善するために使用される。イメージングパラメータは、取得パラメータ(例えば、超音波信号を送受信するための設定)と、取得後パラメータ(例えば、受信した超音波信号を処理するための設定)との両方を含む。この原理は、2Dエコーイメージング、カラーフロー、コントラスト、xPlane、及び3Dボリュームイメージングなどの様々なイメージングモードに適用される。
[021] 例えば、心尖部四腔断面を検出し、ラテラルゲインを自動的に調節すると、他のビューのノイズを増加することなしに、心尖部四腔断面の視覚化が改善される。視覚化を改善するためのさらなる方法は、所与の標準ビューで心周期のセグメントを自動的に検出することによって、心周期の異なる部分に異なるラテラルゲインを与えることである。心臓が収縮すると、側壁の場所が変化し、超音波イメージングシステムのユーザはこれを補償することができない。しかしながら、超音波イメージングシステムによる補償は、ビュー認識により側壁の場所を検出し、心周期の全体にわたってイメージングパラメータを変更する(例えば、ゲインを変更する)ことによって達成される。使用される別の補償方策は、特定の場所でのイメージングパラメータを変更する(例えば、ビュー認識によって検出されたときに側壁が配置されている場所の受信RFフィルタを下げる)ことである。イメージングパラメータを局所的に変更することによる補償は、音響ラインの送信周波数の変更と組み合わせて行われる。周波数が低くなると、減衰が減少し、側壁の信号対ノイズが改善される。しかしながら、信号対ノイズが既に十分であるイメージの他の領域では、低い周波数は、望ましくない残響アーチファクトを導入し、解像度を低下させる可能性があり、そのため、これらの領域ではオリジナルの周波数が維持される。
[022] 本開示の原理によれば、ビュー固有の最適化は、ビュー認識プロセッサと、ビュー認識プロセッサによって識別されたビューを画像化するために最適化された取得パラメータと、ビュー認識プロセッサの出力をモニタし、ユーザを当惑させるイメージングパラメータ間の不安定な移行を減少させながらシステム応答性を改善するやり方でイメージングパラメータ(例えば、ビュー固有のシステム設定)を適用する最適化状態コントローラとによって実施される。
[023] 本発明の原理による超音波システムは、媒体、例えば、人体又はその特定の部分に向けて超音波信号を送信し、超音波信号に応答したエコーを受信するように構成された超音波トランスデューサアレイを含むか、又はそれに動作可能に結合される。超音波システムは、送信及び受信ビームフォーミングをそれぞれ実行するように構成された送信コントローラ及びビームフォーマと、いくつかの実施形態では、超音波イメージングシステムによって生成された超音波画像を表示するように構成されたディスプレイとを含む。
[024] 超音波イメージングシステムは、実施形態によっては、ニューラルネットワークの少なくとも1つのモデルを含むビュー認識プロセッサなどの1つ又は複数のプロセッサを含む。ニューラルネットワークは、特定のビュー(例えば、所与の検査タイプの標準ビュー)が取得されたかどうかを決定し、取得されていれば、どの特定のビューであるかを決定するように訓練される。ビュー認識プロセッサは、取得された標準ビューの指標を含む出力を提供する。用途によっては、標準ビューの指標は、生理学的状態、例えば、心臓イメージングにおける心周期のフェーズの指標を含む。どの標準ビューが取得されたかの指標は、最適化状態コントローラに提供される。ビュー認識プロセッサの出力(例えば、標準ビューの指標)に基づいて、最適化状態コントローラは、ビュー認識プロセッサによって決定された標準ビューに対して最適化されているイメージングパラメータの適切なセットを検索する。用途によっては、イメージングパラメータは、取得された特定のビューに対してだけでなく画像内の場所に対しても最適化され、例えば、心臓の側壁が配置されている場所で、異なるゲイン設定が使用される。イメージングパラメータは、超音波イメージングシステの1つ又は複数の要素(例えば、ビームフォーマ)に提供され、それにより、超音波イメージングシステムは、最適化されたイメージングパラメータを使用して特定のビューを取得する。実施形態によっては、最適化状態コントローラは、特定の条件が満たされる場合にのみイメージングパラメータを提供する。例えば、超音波イメージングシステムによって取得された超音波画像が一定期間安定していた場合。これにより、イメージングパラメータの迅速な変化によってユーザが気を散らすことが防止される。
[025] 本開示の原理は、特定のビューごとに取得される超音波画像の品質を改善する(例えば、ノイズの低減、解剖学的構造の視覚化の改善、アーチファクトの低減)。
[026] 図1は、本開示の原理に従って構築された超音波イメージングシステム100のブロック図を示す。本開示による超音波イメージングシステム100は、超音波プローブ112、例えば、外部プローブ、又は血管内超音波(IVUS)カテーテルプローブなどの内部プローブに含まれるトランスデューサアレイ114を含む。他の実施形態では、トランスデューサアレイ114は、画像化されるべき対象者(例えば患者)の表面に共形的に適用されるように構成された可撓性アレイの形態のものである。トランスデューサアレイ114は、超音波信号(例えば、ビーム、波)を送信し、超音波信号に応答したエコーを受信するように構成される。様々なトランスデューサアレイ、例えば、リニアアレイ、曲線アレイ、又はフェーズドアレイが使用される。トランスデューサアレイ114は、例えば、2D及び/又は3Dイメージングのために仰角次元と方位角次元の両方で走査することができるトランスデューサ要素の2次元アレイ(図示のような)を含む。一般に知られているように、軸方向は、アレイの面に垂直な方向であり(曲線アレイの場合、軸方向は扇形になり)、方位角方向は、一般に、アレイの長手方向次元によって定義され、仰角方向は、方位角方向を横断している。
[027] いくつかの実施形態では、トランスデューサアレイ114は、マイクロビームフォーマ116に結合され、マイクロビームフォーマ116は、超音波プローブ112内に配置され、マイクロビームフォーマ116は、アレイ114のトランスデューサ要素による信号の送受信を制御する。いくつかの実施形態では、マイクロビームフォーマ116は、アレイ114の能動要素(例えば、所与の時間に能動的開口を規定するアレイの要素の能動的サブセット)による信号の送受信を制御する。
[028] いくつかの実施形態では、マイクロビームフォーマ116は、例えば、プローブケーブルによって又は無線で、送信/受信(T/R)スイッチ118に結合され、送信/受信(T/R)スイッチ118は、送信と受信とを切り替え、メインビームフォーマ122を高エネルギー送信信号から保護する。実施形態によっては、例えば、ポータブル超音波システムでは、システムのT/Rスイッチ118及び他の要素は、画像処理電子機器を収容する超音波システムベースではなく超音波プローブ112に含まれる。超音波システムベースは、一般に、信号処理及び画像データ生成のための回路、並びにユーザインタフェースを設けるための実行可能命令を含むソフトウェア及びハードウェア構成要素を含む。
[029] マイクロビームフォーマ116の制御下でのトランスデューサアレイ114からの超音波信号の送信は、T/Rスイッチ118及びメインビームフォーマ122に結合された送信コントローラ120によって導かれる。送信コントローラ120は、ビームがステアリングされる方向を制御する。ビームは、トランスデューサアレイ114から真っ直ぐ前方に(垂直に)ステアリングされるか、又はより広い視野のために異なる角度でステアリングされる。送信コントローラ120はまた、ユーザインタフェース124に結合され、ユーザ制御のユーザ操作からの入力を受け取る。ユーザインタフェース124は、1つ又は複数の機械制御(例えば、ボタン、エンコーダなど)、タッチ感応制御(例えば、トラックパッド、タッチスクリーンなど)、及び/又は他の既知の入力デバイスを含む、制御パネル152などの1つ又は複数の入力デバイスを含む。
[030] いくつかの実施形態では、マイクロビームフォーマ116によって作り出された部分的にビーム形成された信号は、メインビームフォーマ122に結合され、そこで、トランスデューサ要素の個々のパッチからの部分的にビーム形成された信号は、完全にビーム形成された信号に組み合わされる。実施形態によっては、マイクロビームフォーマ116は省略され、トランスデューサアレイ114は、ビームフォーマ122の制御下にあり、ビームフォーマ122は、信号のすべてのビームフォーミングを実行する。マイクロビームフォーマ116がある実施形態及びない実施形態において、ビームフォーマ122のビーム形成された信号は、処理回路150に結合される。処理回路150は、ビーム形成された信号(すなわち、ビーム形成されたRFデータ)から超音波画像を作り出すように構成された1つ又は複数のプロセッサ(例えば、信号プロセッサ126、Bモードプロセッサ128、ドップラプロセッサ160、並びに1つ又は複数の画像生成及び処理構成要素168)を含む。
[031] 信号プロセッサ126は、バンドパスフィルタリング、デシメーション、I及びQ成分分離、及び高調波信号分離などの様々なやり方で、受信したビーム形成されたRFデータを処理するように構成される。信号プロセッサ126はまた、スペックル低減、信号合成、及びノイズ除去などの追加の信号強化を実行する。処理された信号(I及びQ成分又はIQ信号とも呼ばれる)は、画像生成のために追加の下流信号処理回路に結合される。IQ信号は、システム内の複数の信号経路に結合され、それの各々は、異なるタイプの画像データ(例えば、Bモード画像データ、ドップラ画像データ)を生成するのに適する信号処理構成要素の特定の配置に関連する。例えば、システムはBモード信号経路158を含み、それは、Bモード画像データを作り出すために信号プロセッサ126からの信号をBモードプロセッサ128に結合する。
[032] Bモードプロセッサは、身体の構造のイメージングのために振幅検出を利用する。Bモードプロセッサ128によって作り出された信号は、走査変換器130及び/又はマルチプラナリフォーマッタ(multiplanar reformatter)132に結合される。走査変換器130は、エコー信号を、受信した空間的関係から所望の画像フォーマットに配置するように構成される。例えば、走査変換器130は、エコー信号を、2次元(2D)扇形フォーマットに、又はピラミッド形か若しくはそうでなければ成形された3次元(3D)フォーマットに配置する。マルチプラナリフォーマッタ132は、例えば、米国特許第6,443,896号(Detmer)に記載されているように、身体のボリューム領域の共通平面内の点から受信したエコーをその平面の超音波画像(例えば、Bモード画像)に変換する。走査変換器130及びマルチプラナリフォーマッタ132は、実施形態によっては、1つ又は複数のプロセッサとして実行される。
[033] ボリュームレンダラ134は、例えば、米国特許第6,530,885号(Entrekinら)に記載されているように、所与の基準点から見るような3Dデータセットの画像(投影、レンダ、又はレンダリングとも呼ばれる)を生成する。ボリュームレンダラ134は、いくつかの実施形態では、1つ又は複数のプロセッサとして実行される。ボリュームレンダラ134は、表面レンダリング又は最大強度レンダリングなどの知られている技法又は将来知られる技法によって、ポジティブレンダリング又はネガティブレンダリングなどのレンダリングを生成する。
[034] いくつかの実施形態では、システムは、信号プロセッサ126からの出力をドップラプロセッサ160に結合するドップラ信号経路162を含む。ドップラプロセッサ160は、ドップラシフトを推定し、ドップラ画像データを生成するように構成される。ドップラ画像データはカラーデータを含み、カラーデータは、次いで、表示のためにBモード(すなわち、グレイスケール)画像データにオーバーレイされる。ドップラプロセッサ160は、例えば、ウォールフィルタを使用して、不要な信号(すなわち、動いていない組織に関連するノイズ又はクラッタ)をフィルタ除去するように構成される。ドップラプロセッサ160は、さらに、既知の技法に従って速度及びパワーを推定するように構成される。例えば、ドップラプロセッサは、自動相関器などのドップラ推定器を含み、速度(ドプラ周波数)推定は、ラグ1の自己相関関数の引き数に基づいておりドップラパワー推定は、ラグゼロの自己相関関数の振幅に基づいている。動きは、さらに、既知の位相ドメイン(例えば、MUSIC、ESPRITなどのようなパラメータ周波数推定器)又は時間ドメイン(例えば、相互相関)信号処理技法によって推定される。加速度又は時間及び/又は空間速度微分の推定器などの速度の時間又は空間分布に関連する他の推定器が、速度推定器の代わりに又はそれに加えて使用される。いくつかの実施形態では、速度及びパワー推定は、さらに、ノイズをさらに低減するための閾値検出、並びにセグメンテーションと、充填及び平滑化などの後処理とを行う。次いで、速度及びパワー推定は、カラーマップにより所望の範囲の表示カラーにマッピングされる。次いで、ドップラ画像データとも呼ばれるカラーデータは、走査変換器130に結合され、ドップラ画像データは、所望の画像フォーマットに変換され、組織構造のBモード画像にオーバーレイされる。
[035] 本開示の原理によれば、まとめて超音波画像と呼ばれる、Bモード画像及びドップラ画像などの走査変換器130からの出力が、ビュー認識プロセッサ170に提供される。ビュー認識プロセッサ170は、特定のビューが取得されたかどうかを決定するために超音波画像を分析する。例えば、イメージングシステムが心臓イメージングを実行している場合、ビュー認識プロセッサ170は、心臓の特定の標準ビュー(例えば、長軸若しくは短軸胸骨傍、心尖部四腔ビュー、又は肋骨下/剣状突起下若しくは心尖部窓を介して取得される別の標準ビュー)が取得されたかどうかを決定するように構成される。いくつかの実施形態では、ビュー認識プロセッサ170は、さらに、特定のビューにおける解剖学的構造の生理学的状態を決定する。例えば、心臓イメージングの例を続けると、生理学的状態は、心臓の標準ビューの心周期の位相である。
[036] 特定のビューが取得されたという決定に基づいて、ビュー認識プロセッサ170は、出力(例えば、信号)を生成する。出力は、プロセッサ170によって分析された複数のビューからの特定のビュー及び/又は超音波画像における解剖学的構造の生理学的状態を識別する1つ又は複数の信号又はデータを含む。他の例では、出力は、識別された特定のビューに対応する画像データ、及び/又は解剖学的構造の生理学的状態を表すデータを含む。いくつかの実施形態では、出力は、信頼度スコアを表す信号又はデータをさらに含む。信頼度スコアは、ビュー認識プロセッサ170によるビュー識別の精度の尺度である。すなわち、信頼度スコアは、プロセッサ170によって特定のビューとして識別されたビューが、実際に、所望の特定のビュー及び/又は生理学的状態に対応している可能性又は確率を表す。
[037] いくつかの実施形態では、ビュー認識プロセッサ170は、特定のビューを認識するために、ニューラルネットワーク、例えば、ディープニューラルネットワーク(DNN)、畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、オートエンコーダニューラルネットワークなどを利用する。ニューラルネットワークは、ハードウェア(例えば、ニューロンが物理的構成要素によって表される)及び/又はソフトウェア(例えば、ソフトウェアアプリケーションに実行されたニューロン及び経路)コンポーネントで実行される。本開示に従って実行されるニューラルネットワークは、所望の出力を作り出すようにニューラルネットワークを訓練するために様々なトポロジー及び学習アルゴリズムを使用する。例えば、ソフトウェアベースニューラルネットワークは、命令を実行するように構成されたプロセッサ(例えば、単一コア若しくはマルチコアCPU、単一GPU若しくはGPUクラスタ、又は並列処理のために構成された多数のプロセッサ)を使用して実行される。命令は、コンピュータ可読媒体に格納され、実行されると、特定のビューが取得されたかどうかを決定するための訓練されたアルゴリズムをプロセッサに実行させる。
[038] 様々な実施形態において、ニューラルネットワークは、超音波画像、測定値、及び/又は統計値の形態の入力データを分析し、特定のビューが取得されたかどうか、及びどの特定のビューが取得されたかを決定するように構成されたニューラルネットワーク(例えば、訓練されたアルゴリズム、又はハードウェアベースのノードシステム)を得るために、様々な現在知られている又は後に開発される学習技法のうちのいずれかを使用して訓練される。実施形態によっては、ニューラルネットワークは、静的に訓練される。すなわち、ニューラルネットワークは、データセットで訓練され、ビュー認識プロセッサ170に展開される。実施形態によっては、ニューラルネットワークは、動的に訓練される。これらの実施形態では、ニューラルネットワークは、初期データセットで訓練され、ビュー認識プロセッサ170に展開される。しかしながら、ニューラルネットワークは、ニューラルネットワークをビュー認識プロセッサ170に展開した後にシステム100によって取得された超音波画像に基づいて、引き続き訓練し変更される。
[039] 他の実施形態では、ビュー認識プロセッサ170は、ニューラルネットワークを含まない。他の実施形態では、ビュー認識プロセッサ170は、画像セグメンテーション、ヒストグラム分析、エッジ検出、又は他の形状若しくは物体認識技法などの他の適切な画像処理技法を使用して実行される。実施形態によっては、ビュー認識プロセッサ170は、特定のビューを認識するために、他の画像処理方法と組み合わせてニューラルネットワークを実行する。
[040] 標準ビュー(例えば、診断又は他の評価を行うための特定の検査タイプで要求されるビュー)の指標が参照されるが、実施形態によっては、ニューラルネットワークは、ユーザが望むビューの指標を認識し提供するように訓練される。例えば、標準でないビューの有用性が評価されている臨床研究において、又は標準ビューがまだ確立されていない新規の適応(例えば、新しい疾患のモニタリング、新規の埋め込み医用デバイスのイメージング)のために訓練される。
[041] いくつかの実施形態では、ビュー認識プロセッサ170は、出力を最適化状態コントローラ172に提供する。最適化状態コントローラ172は、適切なハードウェア及び/又はソフトウェアで実行される。いくつかの実施形態では、最適化状態コントローラ172は、ビュー認識プロセッサ170の出力に応答して、特定のビューのために適切なイメージングパラメータを決定する1つ又は複数のプロセッサによって実行される。最適化状態コントローラ172によって決定されたイメージングパラメータは、限定はしないが、RFフィルタ、TGC、LGC、及び送信周波数を含む。いくつかの実施形態では、適切なイメージングパラメータを決定することには、メモリ(例えば、ローカルメモリ142)に格納されたルックアップテーブルを参照することと、メモリ(例えば、ローカルメモリ142)から特定のビューのための適切な取得パラメータを検索することとが含まれる。いくつかのそのような例では、ルックアップテーブルは、特定のビュー(例えば、標準心尖部四腔ビュー)を特定のイメージングパラメータのセット(例えば、特定のTGC、LGC、及び送信周波数設定)に関連づける適切な関係データ構造を使用して実行される。
[042] ある実施形態では、イメージングパラメータのうちの1つ又は複数は、超音波画像の走査区域にわたって均一である。他の実施形態では、イメージングパラメータのうちの1つ又は複数は、超音波画像の走査区域にわたって変化する。例えば、解剖学的特徴が特定のビューに配置される場合、1つ又は複数のイメージングパラメータが異なる。心エコー法の例を続けると、心臓の側壁が特定のビューに配置される場合、イメージングパラメータは、心臓の側壁が配置される走査区域で調節される。例えば、送信周波数は、側壁の視覚化を改善するために側壁の区域では下げられるが、送信周波数は、走査区域の他の部分では過度のノイズの導入を低減するために上げられる。肝臓のイメージングなどの組織の音響学的特性がより均質である他の例では、ゲイン又は他のイメージングパラメータは、走査区域にわたって均一である。
[043] 最適化状態コントローラ172によって決定されたイメージングパラメータの一部又はすべては、送信コントローラ120及び/又はビームフォーマ122に提供される。送信コントローラ120及び/又はビームフォーマ122により、超音波画像は、決定されたイメージングパラメータ(例えば、ビュー固有のイメージングパラメータ)で取得される。決定されたイメージングパラメータの一部又はすべては、さらに又は代替として、画像プロセッサ136に提供される。画像プロセッサ136は、取得した超音波画像をイメージングパラメータに基づいて処理し、処理された超音波画像をディスプレイ138に提供する。
[044] 最適化状態コントローラ172は、超音波イメージングシステム100のイメージングパラメータを経時的に制御することに関与する。最適化状態コントローラ172は、現在のイメージングパラメータを維持し、ビュー認識プロセッサ170の出力をモニタし、この情報を組み合わせて、イメージングパラメータが変更されるべきかどうか及びいつ変更されるべきかを決定する。最適化状態コントローラ172がイメージングパラメータ変更をトリガすると、最適化状態コントローラ172は、現在のイメージングパラメータの記録を新しく選ばれたイメージングパラメータと取り替え、新しいイメージングパラメータを上述のようなシステム100の他の構成要素に提供し、次いで、潜在的な今後のイメージングパラメータ変更のためにビュー認識プロセッサ170の出力のモニタリングを再開する。
[045] 最適化状態コントローラ172は、システム応答性と安定性の最適なバランスをユーザに提供する。最適化状態コントローラ172が、特定のビュー認識プロセッサ170の出力に急速に応答しすぎる場合、誤ったイメージングパラメータが選ばれ、及び/又はシステム100が、イメージングパラメータを極めて急速に変更するので、ディスプレイ138が不安定になり、画像が使用不能になる。どちらの場合も、ユーザは、システム100が信頼性の高い画像診断を提供する能力を信頼できなくなる。したがって、実施形態によっては、最適化状態コントローラ172は、イメージングパラメータを決定するか又は決定されたイメージングパラメータ提供する前に1つ又は複数の状態を待つ。例えば、最適化状態コントローラ172は、特定の期間(例えば、0.5s、1s、2s)又は特定の画像フレーム数(例えば、5、10、30)の間、ビュー認識プロセッサ170によって提供される指標が安定するまで待つ。いくつかの実施形態では、最適化状態コントローラ172は、ビュー認識プロセッサ170によって提供される信頼度スコアを、多分、多数のフレームにわたって分析し、ビュー認識プロセッサ170が十分に自信を持っているかどうか、及び十分に自信を持ったときを決定し、その後、例えば、信頼度スコアが1つ又は複数のフレームの間閾値(例えば、70%、90%)を超えているときにイメージングパラメータを決定し提供するある実施形態では、信頼度スコアの閾値は事前設定される。他の実施形態では、閾値はユーザ入力によって設定される。
[046] オプションとして、実施形態によっては、超音波プローブ112は、動き検出器174を含むか、又はそれに結合される。動き検出器174は、超音波プローブ112が移動しているとき、及び静止しているときを示すために、信号を最適化状態コントローラ172に提供する。いくつかの実施形態では、最適化状態コントローラ172は、超音波プローブ112が静止していることを信号が示すのを待ち、その後、イメージングパラメータを決定し、決定されたイメージングパラメータを提供する。いくつかの実施形態では、最適化状態コントローラ172は、設定された期間(例えば0.5秒、1秒、2秒)の間超音波プローブ112が静止していることを信号が示すのを待ち、その後、イメージングパラメータを決定し、決定されたイメージングパラメータを提供する。
[047] いくつかの実施形態では、特定のビューの指標が不安定であり、及び/又は信頼度スコアが閾値未満であるとき、例えば、ユーザが適切な音響窓を見いだすためにトランスデューサを活発に移動させているとき、最適化状態コントローラ172は、認識されたビューの信頼度が確立されるまで、前のイメージングパラメータを維持するか、又はデフォルトであるビュー固有でないイメージングパラメータを提供する。実施形態によっては、デフォルトイメージングパラメータは、検査タイプ又は他のプリセットに基づく。
[048] 走査変換器130、マルチプラナリフォーマッタ132、及び/又はボリュームレンダラ134からの出力(例えば、Bモード画像、ドップラ画像)は、さらなる強化、バッファリング、及び一時的ストレージのために画像プロセッサ136に結合され、その後、画像ディスプレイ138で表示される。走査変換器130からの出力が、ビュー認識プロセッサ170を介して画像プロセッサ136に提供されるように示されているが、実施形態によっては、走査変換器130の出力は、画像プロセッサ136に直接提供される。グラフィックスプロセッサ140は、画像と一緒に表示するためのグラフィックオーバーレイを生成する。これらのグラフィックオーバーレイは、例えば、患者名、画像の日時、イメージングパラメータなどのような標準の識別情報を含む。これらの目的のために、グラフィックスプロセッサは、タイプされた患者名又は他の注釈などのユーザインタフェース124からの入力を受け取るように構成される。ユーザインタフェース144は、さらに、多数のマルチプラナリフォーマット化(MPR)画像の表示の選択及び制御のためにマルチプラナリフォーマッタ132に結合される。
[049] システム100は、ローカルメモリ142を含む。ローカルメモリ142は、適切な非一時的コンピュータ可読媒体(例えば、フラッシュドライブ、ディスクドライブ)として実行される。ローカルメモリ142は、超音波画像、実行可能命令、イメージングパラメータ、訓練データセット、又はシステム100の動作に必要な他の情報を含む、システム100によって生成されたデータを格納する。
[050] 前に記述したように、システム100はユーザインタフェース124を含む。ユーザインタフェース124は、ディスプレイ138及び制御パネル152を含む。ディスプレイ138は、LCD、LED、OLED、又はプラズマディスプレイ技術などの様々な既知のディスプレイ技術を使用して実行されたディスプレイデバイスを含む。いくつかの実施形態では、ディスプレイ138は、多数のディスプレイを含むことができる。制御パネル152は、ユーザ入力(例えば、検査タイプ、閾値信頼度スコア)を受け取るように構成される。制御パネル152は、1つ又は複数のハード制御(例えば、ボタン、ノブ、ダイヤル、エンコーダ、マウス、トラックボールなど)を含む。いくつかの実施形態では、制御パネル152は、追加として又は代替として、タッチ感応ディスプレイに設けられたソフト制御(例えば、GUI制御要素、又は単にGUI制御)を含む。いくつかの実施形態では、ディスプレイ138は、制御パネル152の1つ又は複数のソフト制御を含むタッチ感応ディスプレイである。
[051] いくつかの実施形態では、図1に示された様々な構成要素は組み合わされる。例えば、画像プロセッサ136とグラフィックスプロセッサ140は、単一のプロセッサとして実行される。別の例では、走査変換器130とマルチプラナリフォーマッタ132は、単一のプロセッサとして実行される。いくつかの実施形態では、図1に示された様々な構成要素は、別個の構成要素として実行される。例えば、信号プロセッサ126は、イメージングモード(例えば、Bモード、ドップラ)ごとに別個の信号プロセッサとして実行される。いくつかの実施形態では、図1に示された様々なプロセッサのうちの1つ又は複数は、指定されたタスクを実行するように構成された汎用プロセッサ及び/又はマイクロプロセッサによって実行される。いくつかの実施形態では、様々なプロセッサのうちの1つ又は複数は、特定用途向け回路として実行される。いくつかの実施形態では、様々なプロセッサのうちの1つ又は複数(例えば、画像プロセッサ136)は、1つ又は複数のグラフィカル処理ユニット(GPU)で実行される。
[052] 図2は、本開示の原理による例示のプロセッサ200を示すブロック図である。プロセッサ200は、本明細書に記載の1つ又は複数のプロセッサ及び/又はコントローラ、例えば、図1に示された画像プロセッサ136及び/又は図1に示された他のプロセッサ又はコントローラを実行するために使用される。プロセッサ200は、限定はしないが、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)(FPGAはプロセッサを形成するようにプログラムされている)、グラフィカル処理ユニット(GPU)、特定用途向け回路(ASIC)(ASICはプロセッサを形成するように設計されている)又はそれらの組合せを含む、任意の適切なプロセッサタイプである。
[053] プロセッサ200は、1つ又は複数のコア202を含む。コア202は、1つ又は複数の演算論理ユニット(ALU)204を含む。いくつかの実施形態では、コア202は、ALU204に加えて又はそれの代わりに、浮動小数点論理ユニット(FPLU)206及び/又はデジタル信号処理ユニット(DSPU)208を含む。
[054] プロセッサ200は、コア202に通信可能に結合された1つ又は複数のレジスタ212を含む。レジスタ212は、専用論理ゲート回路(例えば、フリップ-フロップ)及び/又は任意のメモリ技術を使用して実行される。いくつかの実施形態では、レジスタ212は、スタティックメモリを使用して実行される。レジスタは、データ、命令、アドレスをコア202に提供する。
[055] いくつかの実施形態では、プロセッサ200は、コア202に通信可能に結合された1つ又は複数のレベルのキャッシュメモリ210を含む。キャッシュメモリ210は、実行のためにコア202にコンピュータ可読命令を提供する。キャッシュメモリ210は、コア202による処理のためにデータを提供する。いくつかの実施形態では、コンピュータ可読命令は、ローカルメモリ、例えば、外部バス216に取り付けられたローカルメモリによってキャッシュメモリ210に提供される。キャッシュメモリ210は、任意の適切なキャッシュメモリタイプ、例えば、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)など金属酸化物半導体(MOS)メモリ、及び/又は他の適切なメモリ技術で実行される。
[056] プロセッサ200は、システムに含まれる他のプロセッサ及び/又は構成要素(例えば、図1に示された制御パネル152及び走査変換器130)からプロセッサ200への入力、及び/又はプロセッサ200からシステムに含まれる他のプロセッサ及び/又は構成要素(例えば、図1に示されたディスプレイ138及びボリュームレンダラ134)への出力を制御するコントローラ214を含む。コントローラ214は、ALU204、FPLU206、及び/又はDSPU208のデータパスを制御する。コントローラ214は、1つ又は複数の状態機械、データパス、及び/又は専用制御論理として実行される。コントローラ214のゲートは、スタンドアロンゲート、FPGA、ASIC、又は他の適切な技術として実行される。
[057] レジスタ212及びキャッシュ210は、内部接続220A、220B、220C、及び220Dを介してコントローラ214及びコア202と通信する。内部接続は、バス、マルチプレクサ、クロスバスイッチ、及び/又は他の適切な接続技術として実行される。
[058] プロセッサ200の入力及び出力は、1つ又は複数の導電性ラインを含むバス216を介して提供される。バス216は、プロセッサ200の1つ又は複数の構成要素、例えば、コントローラ214、キャッシュ210、及び/又はレジスタ212に通信可能に結合される。バス216は、前に記述したディスプレイ138及び制御パネル152などのシステムの1つ又は複数の構成要素に結合される。
[059] バス216は、1つ又は複数の外部メモリに結合される。外部メモリは、読出し専用メモリ(ROM)232を含む。ROM232は、マスクROM、電子的プログラマブル読出し専用メモリ(EPROM)、又は他の適切な技術である。外部メモリは、ランダムアクセスメモリ(RAM)233を含む。RAM233は、スタティックRAM、バッテリバックアップスタチックRAM、ダイナミックRAM(DRAM)、又は他の適切な技術である。外部メモリは、電気的消去可能プログラマブル読出し専用メモリ(EEPROM)235を含む。外部メモリは、フラッシュメモリ234を含む。外部メモリは、ディスク236などの磁気ストレージデバイスを含む。いくつかの実施形態では、外部メモリは、図1に示された超音波イメージングシステム100などのシステム、例えば、ローカルメモリ142に含まれる。
[060] いくつかの実施形態では、システム100は、特定のビューが取得されたかどうか、どの特定のビューが取得された、特定のビューの生理学的状態、及び/又は信頼度スコアを決定するために、CNNを含むビュー認識プロセッサ170に含まれるニューラルネットワークを実行するように構成される。ニューラルネットワークは、1つ又は複数の関心アイテムが存在するとしてラベル付けされている画像フレームなどのイメージングデータを用いて訓練される。ニューラルネットワークは、特定の超音波検査に関連する目標解剖学的特徴(例えば、心エコー法での心臓の様々な標準ビュー)を認識するように訓練され、又はユーザは、1つ又は複数のカスタム目標解剖学的特徴(例えば、埋め込みデバイス、肝臓腫瘍)を捜し出すようにニューラルネットワークを訓練する。
[061] いくつかの実施形態では、ニューラルネットワークに関連するニューラルネットワーク訓練アルゴリズムは、特定の超音波画像から取得された各測定値の信頼性レベルを決定するようにニューラルネットワークを訓練するために、数千又はさらに数百万の訓練データセットで提示される。様々な実施形態において、ニューラルネットワークを訓練するために使用される超音波画像の数は、約50000から200000以上に及ぶ。ネットワークを訓練するために使用される画像の数は、より多い数の異なる関心アイテムが、識別されるべきであるか、又はより多様な患者の変量、例えば、体重、身長、年齢などに対応すべきである場合に増加する。訓練画像の数は、異なる関心アイテム又はその特徴で異なり、特定の特徴の出現のばらつきに依存する。例えば、腫瘍は、一般に、通常の解剖学的構造よりもばらつきの範囲が大きい。母集団全体のばらつきが大きい特徴に関連する関心アイテムの存在を評価するためにネットワークを訓練するには、より多量の訓練画像を必要とする。
[062] 図3は、本開示の原理によるニューラルネットワークの訓練及び展開のプロセスのブロック図を示す。図3に示されたプロセスは、ビュー認識プロセッサ170に含まれるニューラルネットワークを訓練するために使用される。図3の左側のフェーズ1は、ニューラルネットワークの訓練を示す。ニューラルネットワークを訓練するために、入力アレイ及び出力分類の多数のインスタンスを含む訓練セットが、ニューラルネットワークの訓練アルゴリズム(例えば、Krizhevsky,A.、Sutskever, I.、及びHinton, G. E.「ImageNet Classification with Deep Convolutional Neural Networks」、NIPS 2012又はその派生物によって記載されているようなAlexNet訓練アルゴリズム)に提示される。訓練は、開始ネットワークアーキテクチャ312の選択と、訓練データ314の準備とを含む。開始ネットワークアーキテクチャ312は、ブランクアーキテクチャ(例えば、定義されたレイヤ及びノードの配置をもつが、以前に訓練された重みをもたないアーキテクチャ)、又はインセプションネットワークなどの部分的に訓練されたネットワークであり、それらは、次いで、超音波画像の分類のためにさらに調整される。開始アーキテクチャ312(例えば、ブランクの重み)及び訓練データ314は、モデルを訓練するために訓練エンジン310に提供される。十分な数の反復のとき(例えば、モデルが許容可能な誤差内で一貫して実行しているとき)、モデル320は、訓練されており、展開の準備ができていると言われ、それが、図3の中央のフェーズ2に示される。図3の右辺、すなわち位相3において、訓練されたモデル320が、新しいデータ332の分析のために、適用される(推測エンジン330を介して)。新しいデータ332は、最初の訓練中に(フェーズ1に)モデルに提示されなかったデータである。例えば、新しいデータ332は、患者の走査中に取得されたライブ超音波画像(例えば、心エコー法検査中の心臓画像)などの未知の画像を含む。エンジン330を介して実行された訓練されたモデル320を使用して、モデル320の訓練に従って未知の画像を分類し、それによって、出力334(例えば、特定のビュー、生理学的状態、信頼度スコア)を提供する。次いで、出力334は、後続のプロセス340のためにシステムによって使用される(例えば、イメージングパラメータを決定するための最適化状態コントローラ172への入力として)。
[063] ニューラルネットワークが動的に訓練される実施形態では、エンジン330は、現場訓練338を受ける。エンジン330は、エンジン330の展開の後に取得されたデータに基づいて、引き続き訓練し変更される。現場訓練338は、いくつかの実施形態では新しいデータ332に少なくとも部分的に基づく。
[064] 訓練されたモデル320がビュー認識プロセッサ170のニューラルネットワークを実行するために使用される実施形態では、開始アーキテクチャは、畳み込みニューラルネットワーク又は深層畳み込みニューラルネットワークのものとすることができ、画像フレームインデックス付け、画像セグメンテーション、画像比較、又はそれらの組合せを実行するように訓練される。格納された医用画像情報の量の増加に伴い、高品質臨床的画像の有用性が高まり、それを活用して、所与の特定のビューを含む所与の画像フレームの確率(例えば、信頼度スコア)を学習するようにニューラルネットワークを訓練することができる。訓練データ314は、訓練画像とも呼ばれる多数の(数百、多くの場合、数千、又はさらに多い)注釈付き/ラベル付き画像を含む。訓練画像は、イメージングシステムによって作り出された完全な画像(例えば、プローブの全視野を表す)を含む必要はなく、ラベル付きの関心アイテムの画像のパッチ又は部分を含むことができることを理解されよう。
[065] 様々な実施形態において、訓練されたニューラルネットワークは、プロセッサ、例えば、ビュー認識プロセッサ170によって実行される実行可能命令を含むコンピュータ可読媒体に少なくとも部分的に実行される。
[066] 図4は、本開示の原理に従って実行される超音波イメージングの方法400の流れ図である。方法400のブロックの各々でのプロセスは、実時間又はライブで、すなわち、対象者の実時間又はライブイメージング中に実行される。ブロック402において、「超音波画像を取得する」ステップが実行される。例えば、超音波画像は、いくつかの実施形態では、システム100の超音波プローブ112によって取得される。超音波画像は、ブロック404に示されるように、特定のビューを含んでいるかどうかを決定するために分析される。この分析及び決定は、本明細書の例のいずれかによるビュー認識プロセッサ170によって実行される。ビュー認識プロセッサ170は、ある実施形態では、ニューラルネットワークを含む。他の実施形態では、ビュー認識プロセッサ170は、特定のビューが取得された画像に表されているかどうかを識別するために他の画像処理技法を使用する。ブロック404における超音波画像の処理(例えば、ビュー認識プロセッサ170による)は、特定のビュー内の解剖学的構造の生理学的状態を決定すること、及び/又は特定のビューの決定の信頼度スコアを生成することをさらに含む。超音波画像が特定のビューに対応していることを決定する際、ブロック406に示されるように、出力(例えば、特定のビューの確認又は指標、信頼度スコアなど)が、例えばビュー認識プロセッサ170によって、システム100の下流の構成要素に提供される。出力は、ビュー認識プロセッサ170によって生成された信号である。超音波画像が特定のビューに対応していない場合、出力は、ビュー認識プロセッサ170によって生成されないか、又は代替として、低い出力(例えば、40%未満若しくは30%未満)が、ビュー認識プロセッサ170によって出力される。いくつかの実施形態では、方法400は、出力がブロック406において生成されるまで、及び/又は少なくとも50%の信頼度スコア、又は場合によっては少なくとも65%の信頼度スコアがブロック404において出力されるまで、破線の矢印414によって示されるように、ブロック402と404を繰り返すことを含む。
[067] 次いで、方法400はブロック408に進み、そこにおいて、「1つ又は複数のビュー固有のイメージングパラメータを決定する」ステップが実行される。決定するステップは、いくつかの実施形態では、最適化状態コントローラ172によって実行される。1つ又は複数のイメージングパラメータは、ブロック406からの出力(例えば、特定のビューの指標)に少なくとも部分的に基づく。いくつかの実施形態では、ブロック406からの出力(例えば、指標信号)がない場合、超音波システムは、デフォルトイメージングパラメータを使用して画像を生成し始めるか又は生成し続ける。1つ又は複数のデフォルトイメージングパラメータは、いくつかの実施形態では、検査タイプに基づく。
[068] ブロック410において、「1つ又は複数のビュー固有のイメージングパラメータを提供する」ステップが実行される。デフォルトイメージングパラメータとすることができる1つ又は複数のイメージングパラメータは、いくつかの実施形態では、送信コントローラ120及び/又はビームフォーマ122などのコントローラに提供される。いくつかの実施形態では、最適化状態コントローラ172は、1つ又は複数のイメージングパラメータを提供する前に、指標が提供されるのを一定期間待つ、及び/又は超音波プローブが静止しているという指標を待つ。ブロック412において、「1つ又は複数のビュー固有のイメージングパラメータで超音波画像を取得する」ステップが実行される。取得するステップは、送信コントローラ120及び/又はビームフォーマ122の制御下で超音波プローブ112によって実行される。
[069] 図5は、本開示の原理による方法500の流れ図である。いくつかの実施形態では、方法500は、最適化状態コントローラ172によって実行される。ブロック502において、「出力信号を受け取る」ステップが実行される。いくつかの実施形態では、出力信号は、ビュー認識プロセッサ170によって提供される。出力信号は、いくつかの実施形態では、特定のビュー、特定のビューにおける解剖学的構造の生理学的状態、及び/又は信頼度スコアの指標を提供する。ブロック504において、「特定のビューのルックアップテーブルを参照する」ステップが実行される。特定のビューは、出力信号又は出力信号の一部として提供される。ブロック506において、「特定のビューのイメージングパラメータを検索する」ステップが実行される。検索されるイメージングパラメータは、ルックアップテーブルに基づく。いくつかの実施形態では、イメージングパラメータは、ローカルメモリ142から検索される。いくつかの実施形態では、決定された特定のビューに基づいて、1つ又は複数のアルゴリズムが検索される(例えば、ローカルメモリから)。1つ又は複数のアルゴリズムが、適応可能であり、特定のビューに少なくとも部分的に基づいて異なるイメージングパラメータを提供するために使用される。例えば、1つ又は複数のアルゴリズムは、心尖部四腔断面が検出されるとき、心臓の側壁を増強するために、異なる量のゲイン、異なる無線周波数(RF)フィルタ、及び/又は画像処理パラメータを提供する。
[070] ブロック508において、「出力信号を閾値と比較する」ステップが実行される。いくつかの実施形態では、閾値は、信頼度スコアの閾値に対応する。いくつかの実施形態では、閾値は、出力信号が安定したままである、例えば、出力信号によって示される特定のビューが一定のままである超音波画像フレームの数又は期間である。いくつかの実施形態では、閾値は、超音波プローブが静止したままである期間に対応する。いくつかの実施形態では、閾値は要因の組合せであり、及び/又は異なる要因に対応する多数の閾値が分析される(例えば、所与のフレームの数での閾値より上の信頼度スコア)。出力信号が1つ又は複数の閾値を満たすか又は超える場合、ブロック510において、「検索されたイメージングパラメータを提供する」ステップが実行される。出力信号が閾値未満である場合、ブロック512において、「既存のイメージングパラメータを提供する」ステップが実行される。代替として、ブロック512において、「デフォルトイメージングパラメータを提供する」ステップが実行される。いくつかの実施形態では、デフォルトパラメータは、検査タイプ(例えば、肝臓、胎児、心臓)によって規定される。いくつかの実施形態では、ブロック512は、出力信号が閾値を満たすか又は超えるまで、ブロック502、504、506、及び/又は508と並行して実行される。
[071] いくつかの実施形態では、ブロック508は、ブロック504及び506の前に実行される。これらの実施形態では、出力信号は、ブロック504及び506が実行される前に閾値を満たすか又は超えていなければならず、ブロック510は、ブロック506の後に実行される。さらに、これらの実施形態では、ブロック512は、502及び/又は508と並行して実行される。
[072] 本明細書に記載のシステム及び方法は、超音波イメージングシステムによって取得された特定のビューに基づいてイメージングパラメータを自動的に調節することを可能にする。これにより、各特定のビューは、特定のビューに対して最適化されたイメージングパラメータで取得されることが可能になる。最適化されたイメージングパラメータで各ビューを取得すると、ユーザの作業負荷を増加させることなく、取得される画像の品質を改善することができる。
[073] 本明細書に記載の例は、1つの現在の超音波検査又は以前の検査のレビューに言及しているが、本開示の原理は、多数の検査のレビューに適用することができる。例えば、疾患の進行について患者をレビューする場合、検査は、単独の対象者の検査である。例えば、医学研究のために母集団にわたって関心アイテムを識別する場合、検査は、多数の対象者の検査である。
[074] 構成要素、システム、及び/又は方法が、コンピュータベースシステム又はプログラマブル論理などのプログラマブルデバイスを使用して実行される様々な実施形態において、上述のシステム及び方法は、様々な既知の又はこの先開発されるプログラミング言語のいずれか、例えば、「C」、「C++」、「C#」、「Java」、「Python」などを使用して実行されることが認識されるべきである。したがって、上述のシステム及び/又は方法を実行するようにコンピュータなどのデバイスに指示する情報を含む、磁気コンピュータディスク、光ディスク、電子メモリなどのような様々なストレージ媒体が準備される。適切なデバイスが、ストレージ媒体に含まれている情報及びプログラムにアクセスすると、ストレージ媒体は、情報及びプログラムをデバイスに提供し、それにより、デバイスは、本明細書に記載のシステム及び/又は方法の機能を実行することができる。例えば、ソースファイル、オブジェクトファィル、実行可能ファイルなどのような適切な資料を含むコンピュータディスクが、コンピュータに提供された場合、コンピュータは、情報を受け取り、それ自体を適切に構成し、上述の図及びフローチャートで略述された様々なシステム及び方法の機能を実行して、様々な機能を実現する。すなわち、コンピュータは、上述のシステム及び/又は方法の様々な要素に関連するディスクからの情報の様々な部分を受け取り、個々のシステム及び/又は方法を実行し、上述の個々のシステム及び/又は方法の機能を調整する。
[075] 本開示に鑑みて、本明細書に記載の様々な方法及びデバイスは、ハードウェア、ソフトウェア、及びファームウェアで実現されることに留意されたい。さらに、様々な方法及びパラメータは、単に例として含まれており、限定の意味のものではない。本開示に鑑みて、当業者は、本発明の範囲内にとどまりながら、これらの技法に影響を与えるための独自の技法及び必要な機器を決定する際に、本教示を実施することができる。本明細書に記載のプロセッサのうちの1つ又は複数の機能は、より少ない数の又は単独の処理ユニット(例えば、CPU)に組み込まれてもよく、特定用途向け集積回路(ASIC)、又は本明細書に記載の機能を実行するために実行可能命令に応答してプログラムされる汎用処理回路を使用して実施されてもよい。
[076] 本システムが、超音波イメージングシステムを特に参照して説明されたが、本システムは、1つ又は複数の画像が体系的に得られる他の医療イメージングシステムに拡張されることも想定される。したがって、本システムは、限定はしないが、腎臓、睾丸、乳房、卵巣、子宮、甲状腺、肝臓、肺、筋骨、脾臓、心臓、動脈、及び血管系、に関連する画像情報を獲得及び/又は記録するために使用され、並びに超音波ガイド下インターベンションに関連する他のイメージング用途に使用される。さらに、本システムはまた、従来のイメージングシステムで使用することができる1つ又は複数のプログラムを含み、その結果、従来のイメージングシステムは、本システムの特徴及び利点を備えることができる。本開示の特定の追加の利点及び特徴は、本開示を検討する際に当業者には明らかであり、又は本開示の新しいシステム及び方法を利用する人によって経験される。本システム及び方法の別の利点は、従来の医用画像システムが、本システム、デバイス、及び方法の特徴及び利点を組み込むように容易にアップグレードされることである。
[077] 当然、本明細書に記載の例、実施形態、又はプロセスの任意のものは、1つ又は複数の他の例、実施形態、及び/又はプロセスと組み合わされてもよく、或いは本システム、デバイス、及び方法による別個のデバイス又はデバイス部分の間で分離及び/又は実行されてもよいことが認識されるべきである。
[078] 最後に、上述の議論は、本システムの単なる例示であることを意図したものであり、添付の特許請求の範囲を特定の実施形態又は実施形態のグループに限定するものとして解釈されるべきではない。このように、本システムが、例示的な実施形態を参照して特に詳細に説明されたが、以下の特許請求の範囲に記載されている本システムのより広い及び意図された趣旨及び範囲から逸脱することなく、多数の変形及び代替実施形態が当業者によって考案され得ることも認識されるべきである。したがって、本明細書及び図面は、例示的なものと見なされるべきであり、添付の特許請求の範囲の範囲を限定するように意図されていない。

Claims (20)

  1. 超音波画像を取得するための超音波トランスデューサアレイと、
    1つ又は複数のイメージングパラメータに少なくとも部分的に基づいて前記超音波トランスデューサアレイによる取得を制御するためのコントローラと、
    前記超音波画像が特定のビューに対応するかどうかを決定するためのビュー認識プロセッサと、
    前記超音波画像が前記特定のビューに対応すると前記ビュー認識プロセッサが決定した場合、前記ビュー認識プロセッサの出力を受け取り、前記出力に少なくとも部分的に基づいて前記1つ又は複数のイメージングパラメータの更新を決定するための最適化状態コントローラであって、前記最適化状態コントローラが、更新された前記1つ又は複数のイメージングパラメータを前記コントローラに提供する、最適化状態コントローラと
    を含む、超音波イメージングシステム。
  2. 前記ビュー認識プロセッサがニューラルネットワークを含む、請求項1に記載の超音波イメージングシステム。
  3. 前記最適化状態コントローラによって決定された更新された前記1つ又は複数のイメージングパラメータに少なくとも部分的に基づいて前記超音波画像を処理するための画像プロセッサをさらに含む、請求項1に記載の超音波イメージングシステム。
  4. 前記ビュー認識プロセッサが、さらに、前記特定のビューの生理学的状態を決定し、前記生理学的状態が、前記出力により提供される、請求項1に記載の超音波イメージングシステム。
  5. 前記生理学的状態が心周期の位相である、請求項4に記載の超音波イメージングシステム。
  6. 前記ビュー認識プロセッサが、さらに、前記特定のビューの信頼度スコアを決定し、前記最適化状態コントローラは、前記信頼度スコアが閾値より上である場合、更新された前記1つ又は複数のイメージングパラメータを前記コントローラに提供する、請求項1に記載の超音波イメージングシステム。
  7. ユーザ入力を受け取るためのユーザインタフェースをさらに含み、前記ユーザ入力が前記閾値を含む、請求項6に記載の超音波イメージングシステム。
  8. 更新された前記1つ又は複数のイメージングパラメータが、前記超音波画像の領域にわたって変化する、請求項1に記載の超音波イメージングシステム。
  9. メモリをさらに含み、更新された前記1つ又は複数のイメージングパラメータが、前記最適化状態コントローラによって前記メモリから検索される、請求項1に記載の超音波イメージングシステム。
  10. 超音波画像を取得するステップと、
    前記超音波画像が特定のビューを含むかどうかを決定するステップと、
    前記特定のビューが決定された場合、前記特定のビューに基づいて出力を提供するステップと、
    前記出力に少なくとも部分的に基づいて1つ又は複数のイメージングパラメータを決定するステップと、
    前記1つ又は複数のイメージングパラメータをコントローラに提供するステップと、
    前記1つ又は複数のイメージングパラメータで前記超音波画像を再取得するステップと
    を有する、方法。
  11. 前記特定のビューの生理学的状態を決定するステップをさらに有する、請求項10に記載の方法。
  12. 前記1つ又は複数のイメージングパラメータを決定する前に、前記出力が提供されるのを一定期間待つステップをさらに有する、請求項10に記載の方法。
  13. 前記出力が提供されない場合、1つ又は複数のデフォルトイメージングパラメータを決定し、前記1つ又は複数のデフォルトパラメータを前記コントローラに提供するステップをさらに有する、請求項10に記載の方法。
  14. 前記特定のビューの信頼度スコアを決定するステップをさらに有し、
    前記信頼度スコアが閾値より上である場合、前記出力に少なくとも部分的に基づいて1つ又は複数のイメージングパラメータを決定し、前記信頼度スコアが前記閾値未満である場合、1つ又は複数のデフォルトイメージングパラメータを決定し、前記1つ又は複数のデフォルトイメージングパラメータを前記コントローラに提供する、請求項10に記載の方法。
  15. 前記閾値を示すユーザ入力を受け取るステップをさらに有する、請求項14に記載の方法。
  16. 前記超音波画像が特定のビューを含むかどうかを決定するステップが、前記超音波画像をニューラルネットワークにより分析するステップを有する、請求項10に記載の方法。
  17. 命令を含む非一時的コンピュータ可読媒体であって、前記命令が実行されると、前記命令により、超音波イメージングシステムは、
    超音波画像を取得し、
    前記超音波画像が特定のビューを含むかどうかを決定し、
    前記特定のビューが決定された場合、前記特定のビューに基づいて出力を提供し、
    前記出力に少なくとも部分的に基づいて1つ又は複数のイメージングパラメータを決定し、
    前記特定のビューが決定されない場合、1つ又は複数のデフォルトイメージングパラメータを決定し、
    前記1つ又は複数のイメージングパラメータ又は前記1つ又は複数のデフォルトイメージングパラメータをコントローラに提供し、
    前記コントローラにより前記1つ又は複数のイメージングパラメータ又は前記1つ又は複数のデフォルトイメージングパラメータで前記超音波画像を再取得する、非一時的コンピュータ可読媒体。
  18. 前記命令により、さらに、前記超音波イメージングシステムは、前記1つ又は複数のイメージングパラメータを決定する前に、前記出力が提供されるのを一定期間待つ、請求項17に記載の非一時的コンピュータ可読媒体。
  19. 前記命令により、さらに、前記超音波イメージングシステムが、前記特定のビューの信頼度スコアを決定する、請求項17に記載の非一時的コンピュータ可読媒体。
  20. 前記命令により、さらに、前記超音波イメージングシステムは、前記超音波画像が前記特定のビューを含むかどうかを決定するために、ニューラルネットワークを実行する、請求項17に記載の非一時的コンピュータ可読媒体。
JP2022521040A 2019-10-07 2020-10-06 画像最適化のためのシステム及び方法 Pending JP2022551143A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962911406P 2019-10-07 2019-10-07
US62/911,406 2019-10-07
PCT/EP2020/078006 WO2021069445A1 (en) 2019-10-07 2020-10-06 Systems and methods for image optimization

Publications (2)

Publication Number Publication Date
JP2022551143A true JP2022551143A (ja) 2022-12-07
JPWO2021069445A5 JPWO2021069445A5 (ja) 2023-10-16

Family

ID=72752935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022521040A Pending JP2022551143A (ja) 2019-10-07 2020-10-06 画像最適化のためのシステム及び方法

Country Status (5)

Country Link
US (1) US20220338845A1 (ja)
EP (1) EP4041086A1 (ja)
JP (1) JP2022551143A (ja)
CN (1) CN114554966A (ja)
WO (1) WO2021069445A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210169455A1 (en) * 2019-12-04 2021-06-10 GE Precision Healthcare LLC System and methods for joint scan parameter selection
WO2023274762A1 (en) * 2021-06-28 2023-01-05 Koninklijke Philips N.V. User performance evaluation and training
EP4311499A1 (en) * 2022-07-26 2024-01-31 Koninklijke Philips N.V. Ultrasound image acquisition

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6530885B1 (en) 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6443896B1 (en) 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
US8355554B2 (en) * 2009-04-14 2013-01-15 Sonosite, Inc. Systems and methods for adaptive volume imaging
US9678702B2 (en) * 2012-05-22 2017-06-13 Koninklijke Philips N.V. Ultrasound image display set-up for remote display terminal
EP3469993A1 (en) * 2017-10-16 2019-04-17 Koninklijke Philips N.V. An ultrasound imaging system and method

Also Published As

Publication number Publication date
CN114554966A (zh) 2022-05-27
WO2021069445A1 (en) 2021-04-15
US20220338845A1 (en) 2022-10-27
EP4041086A1 (en) 2022-08-17

Similar Documents

Publication Publication Date Title
US20220225967A1 (en) Ultrasound imaging system with a neural network for deriving imaging data and tissue information
US11364013B2 (en) Ultrasound imaging system with a neural network for image formation and tissue characterization
US11100665B2 (en) Anatomical measurements from ultrasound data
US20220338845A1 (en) Systems and methods for image optimization
JP2023513970A (ja) 胎児心臓評価のための方法及びシステム
US20230346339A1 (en) Systems and methods for imaging and measuring epicardial adipose tissue
US20230134503A1 (en) Systems and methods for non-invasive pressure measurements
US11109841B2 (en) Method and system for simultaneously presenting doppler signals of a multi-gated doppler signal corresponding with different anatomical structures
US20240173007A1 (en) Method and apparatus with user guidance and automated image setting selection for mitral regurgitation evaluation
US11468573B2 (en) Method and system for enhanced visualization of color flow ultrasound
US20230240645A1 (en) Systems and methods for measuring cardiac stiffness
US20240164756A1 (en) Apparatuses, systems and methods for providing acquisition feedback
WO2024013114A1 (en) Systems and methods for imaging screening
US11382595B2 (en) Methods and systems for automated heart rate measurement for ultrasound motion modes
US20230228873A1 (en) Systems and methods for generating color doppler images from short and undersampled ensembles
US20220133278A1 (en) Methods and systems for segmentation and rendering of inverted data
CN116115256A (zh) 用于在超声扫描期间动态调整成像参数的方法和系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231005