JP2021534861A - 介入性音響撮像におけるセンサ追跡推定値を制約するためのシステム、デバイス及び方法 - Google Patents

介入性音響撮像におけるセンサ追跡推定値を制約するためのシステム、デバイス及び方法 Download PDF

Info

Publication number
JP2021534861A
JP2021534861A JP2021509165A JP2021509165A JP2021534861A JP 2021534861 A JP2021534861 A JP 2021534861A JP 2021509165 A JP2021509165 A JP 2021509165A JP 2021509165 A JP2021509165 A JP 2021509165A JP 2021534861 A JP2021534861 A JP 2021534861A
Authority
JP
Japan
Prior art keywords
acoustic
sensor
location
passive sensor
passive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021509165A
Other languages
English (en)
Inventor
アルヴィン チェン
シャム バーラト
アーミート クマー ジャイン
クナル ヴァイジャ
ラモン クィド エレカンプ
フランソワ ガイ ジェラルド マリエ ヴィニョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2021534861A publication Critical patent/JP2021534861A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A61B2090/3784—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument both receiver and transmitter being in the instrument or receiver being also transmitter
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A61B2090/3786—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument receiver only
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Vascular Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

音響撮像装置及び方法は、関心エリアから音響プローブによって受信された音響エコーに応じて音響プローブから受信された１つ又は複数の受信信号に応じて、関心エリアの音響画像を生成し、関心エリアにおいて介入デバイスの表面に配置された受動センサのための１つ又は複数の候補所在位置を、関心エリアにおける候補所在位置から音響プローブによって受信された音響エコーの大きさに基づいて識別し、手技中コンテキスト固有情報を使用して、受動センサの推定所在位置として手技中コンテキスト固有情報に最も合致する候補所在位置のうちの１つを識別し、ディスプレイデバイス上に音響画像を表示し、ディスプレイデバイス上で、受動センサの推定所在位置を示すマーカーを音響画像において表示する。

Description

本発明は、音響（例えば、超音波）撮像に関し、特には、介入手技と連携した音響撮像のためのセンサ追跡推定値を制約するためのシステム、デバイス及び方法に関する。
音響（例えば、超音波）撮像システムは、様々な用途及び状況において多く用いられるようになっている。例えば、超音波撮像は、超音波誘導医療手技に関連して多く用いられている。
典型的には、超音波誘導医療手技において、医師は、ディスプレイスクリーン又はモニタに表示された音響画像においてニードル先端部（又はカテーテル先端部）の現在位置を視覚的に位置特定する。更に、医師は、他の医療手技を実施するときにディスプレイスクリーン又はモニタ上でニードルの現在位置を視覚的に位置特定する。ニードル先端部は、概して、ディスプレイスクリーン上の画像において明るいスポットとして現れ、その識別を容易にする。
しかしながら、多くの場合、これらの手技において用いられる１つ又は複数の介入デバイス（例えば、手術器具、ニードル、カテーテルなど）を既存の音響プローブ及び撮像システムを使用して視覚化することは困難である。音響画像は、平面内（軸方向及び横方向ビーム軸）及び平面に垂直な（仰角ビーム幅）音響ビーム形成の両方からもたらされるいくつかのアーチファクトを含むことが分かっており、その位置が関心の対象であるデバイスからこれらのアーチファクトを区別することが難しい場合がある。
これらの問題に対処するために、改良された視認性を有するエコー源性ニードルなどの特別な介入デバイスが市場において成功をおさめ、適度な追加コストにおいていくらかの向上をもたらしている。
しかしながら、ノイズ、偽のエコー及び様々な他の要因のせいで、音響画像における介入デバイスの所在位置の一貫して正しい識別は依然として問題のままである。
故に、介入手技中に改良された音響撮像能力を提供することができる超音波システム及び方法を提供することが望ましい。特には、介入手技中に向上されたデバイス追跡推定値を提供することができる超音波システム及び方法を提供することが望ましい。
本発明の１つの態様において、システムは、音響トランスデューサ要素のアレイを有する音響プローブと、音響プローブに接続された音響撮像器具を備える。音響撮像器具は、音響トランスデューサ要素のアレイに関心エリアに向かって音響プローブ信号を送信させるために、音響トランスデューサ要素のうちの少なくともいくつかに送信信号を提供するように構成され、更に、音響プローブ信号に応じて関心エリアから受信された音響エコーに応じて関心エリアの音響画像を生成するように構成される。音響撮像器具は、音響画像を表示するように構成されたディスプレイデバイスと、関心エリアに配置された介入デバイスの表面に配置された少なくとも１つの受動センサから１つ又は複数のセンサ信号を受信するように構成された受信器インタフェースであって、１つ又は複数のセンサ信号は音響プローブ信号に応じて生成される、受信器インタフェースと、プロセッサとを含む。プロセッサは、受動センサからの１つ又は複数のセンサ信号から、関心エリアにおける受動センサの推定所在位置を、受動センサからの１つ又は複数のセンサ信号に応じて生成されたセンサデータにおける局所的強度ピークに基づいて、受動センサのための１つ又は複数の候補所在位置を識別することと、手技中コンテキスト固有情報を使用して、受動センサの推定所在位置として手技中コンテキスト固有情報に最も合致する候補所在位置のうちの１つを識別することとによって確認するように構成される。ディスプレイデバイスは、受動センサの推定所在位置を示すマーカーを音響画像において表示する。
いくつかの実施形態において、手技中コンテキスト固有情報は、受動センサが位置特定されると期待される解剖学的構造を識別する情報；音響画像における介入デバイスの有望な所在位置を識別する情報；及び音響画像の以前のものにおける受動センサの以前の推定所在位置を識別する情報のうちの少なくとも１つを含む。
これらの実施形態のうちのいくつかのバージョンにおいて、手技中コンテキスト固有情報は、受動センサが位置特定されると期待される解剖学的構造を識別する情報を含み、プロセッサは、音響画像において受動センサが位置特定されると期待される解剖学的構造を識別するために、領域検知又は区分化アルゴリズムを実行するように構成される。
これらの実施形態のうちのいくつかのバージョンにおいて、手技中コンテキスト固有情報は、受動センサが位置特定されると期待される解剖学的構造を識別する情報を含み、音響撮像器具は、音響プローブから受信された１つ又は複数の受信信号に応じて関心エリアのカラードップラ画像を生成するように構成され、プロセッサは、カラードップラ画像において血流を識別することによって、受動センサが位置特定されると期待される解剖学的構造を識別するように構成される。
これらの実施形態のうちのいくつかのバージョンにおいて、手技中コンテキスト固有情報は、音響画像における介入デバイスの有望な所在位置を識別する情報を含み、プロセッサは、音響画像における介入デバイスの有望な所在位置を識別するために、領域検知アルゴリズム又は区分化アルゴリズムを実行するように構成される。
これらの実施形態のうちのいくつかのバージョンにおいて、手技中コンテキスト固有情報は、音響画像の以前のものにおける受動センサの以前の推定所在位置を識別する情報を含み、プロセッサは、受動センサの各現在の候補所在位置及び以前の推定所在位置に対して適用される状態推定フィルタ；センサ運動軌道を識別し、センサ運動軌道を各候補所在位置と比較するための受動センサの全ての以前の所在位置の分解；以前のフレームにおける受動センサの推定所在位置の周りに定められ、各候補所在位置に対して適用される関心領域（ＲＯＩ）空間フィルタのうちの１つを用いるように構成される。
いくつかの実施形態において、手技中コンテキスト固有情報は、受動センサが位置特定されると期待される解剖学的構造を識別する情報；音響画像における介入デバイスの有望な所在位置を識別する情報；及び音響画像の以前のものにおける受動センサの以前の推定所在位置を識別する情報を含む。
これらの実施形態のうちのいくつかのバージョンにおいて、候補所在位置に対応する時点において１つ又は複数のセンサ信号における局所的強度ピークに基づいて、受動センサのための１つ又は複数の候補所在位置を識別することは、各候補所在位置について、候補所在位置と、受動センサが位置特定されると期待される解剖学的構造を識別する情報；音響画像における介入デバイスの有望な所在位置を識別する情報；及び音響画像の以前のものにおける受動センサの以前の推定所在位置を識別する情報の各々との間の合致の加重和又は他の形態の重み付き積分を求めることと、受動センサの推定所在位置として、最も大きな加重和又は他の形態の重み付き積分を有する候補所在位置のうちの１つを選択することとを有する。
本発明の別の態様において、方法は、音響プローブ信号に応じて関心エリアから音響プローブによって受信された音響エコーに応じて音響プローブから受信された１つ又は複数の受信信号に応じて、関心エリアの音響画像を生成するステップと、関心エリアにおいて介入デバイスの表面に配置された受動センサから１つ又は複数のセンサ信号を受信するステップであって、１つ又は複数のセンサ信号は音響プローブ信号に応じて生成される、ステップと、受動センサからの１つ又は複数のセンサ信号に応じて生成されたセンサデータにおける局所的強度ピークに基づいて、受動センサのための１つ又は複数の候補所在位置を識別するステップと、手技中コンテキスト固有情報を使用して、受動センサの推定所在位置として手技中コンテキスト固有情報に最も合致する候補所在位置のうちの１つを識別するステップと、ディスプレイデバイス上に音響画像を表示するステップと、ディスプレイデバイス上で、受動センサの推定所在位置を示すマーカーを音響画像において表示するステップとを有する。
いくつかの実施形態において、手技中コンテキスト固有情報は、受動センサが位置特定されると期待される解剖学的構造を識別する情報；音響画像における介入デバイスの有望な所在位置を識別する情報；及び音響画像の以前のものにおける受動センサの以前の推定所在位置を識別する情報のうちの少なくとも１つを含む。
これらの実施形態のうちのいくつかのバージョンにおいて、手技中コンテキスト固有情報は、受動センサが位置特定されると期待される解剖学的構造を識別する情報を含み、方法は、音響画像において受動センサが位置特定されると期待される解剖学的構造を識別するために、領域検知アルゴリズム又は区分化アルゴリズムを実行するステップを有する。
これらの実施形態のうちのいくつかのバージョンにおいて、手技中コンテキスト固有情報は、受動センサが位置特定されると期待される解剖学的構造を識別する情報を含み、方法は、音響プローブから受信された１つ又は複数の受信信号に応じて関心エリアのカラードップラ画像を生成するステップと、カラードップラ画像において血流を識別することによって、受動センサが位置特定されると期待される解剖学的構造を識別するステップとを有する。
これらの実施形態のうちのいくつかのバージョンにおいて、手技中コンテキスト固有情報は、音響画像における介入デバイスの有望な所在位置を識別する情報を含み、プロセッサは、音響画像における介入デバイスの有望な所在位置を識別するために、領域検知アルゴリズム又は区分化アルゴリズムを実行するように構成される。
これらの実施形態のうちのいくつかのバージョンにおいて、手技中コンテキスト固有情報は、音響画像の以前のものにおける受動センサの以前の推定所在位置を識別する情報を含み、方法は、受動センサの各現在の候補所在位置及び以前の推定所在位置に対して状態推定フィルタを適用するステップと、センサ運動軌道を識別するために受動センサの全ての以前の所在位置の分解を実施し、センサ運動軌道を各候補所在位置と比較するステップと、以前のフレームにおける受動センサの推定所在位置の周りに定められた関心領域（ＲＯＩ）空間フィルタを、各候補所在位置に対して適用するステップとのうちの１つを有する。
いくつかの実施形態において、手技中コンテキスト固有情報は、受動センサが位置特定されると期待される解剖学的構造を識別する情報；音響画像における介入デバイスの有望な所在位置を識別する情報；及び音響画像の以前のものにおける受動センサの以前の推定所在位置を識別する情報を含む。
これらの実施形態のうちのいくつかのバージョンにおいて、受動センサの推定所在位置として手技中コンテキスト固有情報に最も合致する候補所在位置のうちの１つを識別するステップは、各候補所在位置について、候補所在位置と、受動センサが位置特定されると期待される解剖学的構造を識別する情報；音響画像における介入デバイスの有望な所在位置を識別する情報；及び音響画像の以前のものにおける受動センサの以前の推定所在位置を識別する情報の各々との間の合致の加重和又は他の形態の重み付き積分を求めるステップと、受動センサの推定所在位置として、最も大きな加重和又は他の形態の重み付き積分を有する候補所在位置のうちの１つを選択するステップとを有する。
本発明のなおも別の態様において、音響撮像器具は、関心エリアに配置された介入デバイスの表面に配置された少なくとも１つの受動センサから１つ又は複数のセンサ信号を受信するように構成された受信器インタフェースと、プロセッサとを備える。プロセッサは、１つ又は複数のセンサ信号から、関心エリアにおける受動センサの推定所在位置を、受動センサからの１つ又は複数のセンサ信号に応じて生成されたセンサデータにおける局所的強度ピークに基づいて、受動センサのための１つ又は複数の候補所在位置を識別することと、手技中コンテキスト固有情報を使用して、受動センサの推定所在位置として手技中コンテキスト固有情報に最も合致する候補所在位置のうちの１つを識別することとによって確認するように構成される。プロセッサは更に、ディスプレイデバイスに、音響画像と、受動センサの推定所在位置を示す音響画像におけるマーカーとを表示させるように構成される。
いくつかの実施形態において、手技中コンテキスト固有情報は、受動センサが位置特定されると期待される解剖学的構造を識別する情報；音響画像における介入デバイスの有望な所在位置を識別する情報；及び音響画像の以前のものにおける受動センサの以前の推定所在位置を識別する情報のうちの少なくとも１つを含む。
いくつかの実施形態において、手技中コンテキスト固有情報は、受動センサが位置特定されると期待される解剖学的構造を識別する情報；音響画像における介入デバイスの有望な所在位置を識別する情報；及び音響画像の以前のものにおける受動センサの以前の推定所在位置を識別する情報を含む。
いくつかの実施形態において、受動センサの推定所在位置として手技中コンテキスト固有情報に最も合致する候補所在位置のうちの１つを識別することは、各候補所在位置について、候補所在位置と、受動センサが位置特定されると期待される解剖学的構造を識別する情報；音響画像における介入デバイスの有望な所在位置を識別する情報；及び音響画像の以前のものにおける受動センサの以前の推定所在位置を識別する情報の各々との間の合致の加重和又は他の手段の重み付き積分を求めることと、受動センサの推定所在位置として、最も大きな加重和又は他の重み付き積分を有する候補所在位置のうちの１つを選択することとを有する。
いくつかの実施形態において、各候補所在位置について、異なる情報源の加重和又は他の手段の重み付き組み合わせ、情報源を組み合わせるための正確な数値的方法、及び重みの実際の値を求めることは、経験的な最適化を通じて求められる。最適化は、例えば、所望の用途に固有の訓練データに対して実行される。
いくつかの実施形態において、最終的な出力の確実性又は不確実性の度合いが追加的に提供される。
音響撮像器具と音響プローブとを含む音響撮像システムの１つの実施例を示す図である。 遠位端部に配置された音響センサを有する介入デバイスの１つの例示的実施形態を示す図である。 音響センサから受信された１つ又は複数のセンサ信号から生成された映像を音響プローブから生成された音響画像と重畳するプロセスの例示的実施形態を示す図である。 音響画像における音響センサの所在位置を識別するプロセスを示す図である。 候補所在位置に対応する時点において音響センサによって生成された１つ又は複数のセンサ信号における局所的強度ピークに基づく音響センサの複数の候補所在位置を図示する画像を示す図である。 手技中コンテキスト固有情報を用いることによって介入性音響撮像におけるセンサ追跡推定値を向上させる方法の１つの例示的実施形態を示す図である。 解剖学的構造制約を用いることによって介入性音響撮像におけるセンサ追跡推定値を向上させる方法の１つの例示的実施形態を示す図である。 センサが設けられたデバイスの構造に基づく制約を用いることによって介入性音響撮像におけるセンサ追跡推定値を向上させる方法の１つの例示的実施形態を示す図である。 センサの以前の推定所在位置を用いることによって介入性音響撮像におけるセンサ追跡推定値を向上させる方法の１つの例示的実施形態を示す図である。 手技中コンテキスト固有情報を用いることによって介入性音響撮像におけるセンサ追跡推定値を向上させる実施例をグラフィカルに示す図である。 手技中コンテキスト固有情報を用いることによって介入性音響撮像におけるセンサ追跡推定値を向上させる方法の例示的実施形態のフローチャートである。 介入性音響撮像におけるセンサ追跡推定値を向上させるために、解剖学的構造制約を用いる方法の例示的実施形態のフローチャートである。 介入性音響撮像におけるセンサ追跡推定値を向上させるために、センサが設けられたデバイスの構造に基づく制約を用いる方法の例示的実施形態のフローチャートである。 介入性音響撮像におけるセンサ追跡推定値を向上させるために、センサの以前の推定所在位置を用いる方法の例示的実施形態のフローチャートである。
次に、本発明が、以下において、本発明の好ましい実施形態が図示された添付の図面を参照してより完全に説明される。しかしながら、本発明は、異なる形態において具現化されてよく、本明細書に記載される実施形態に限定されると見なされるべきではない。むしろ、これらの実施形態は、本発明の実施例を教示するものとして提供される。本明細書において、何かが「およそ」又は「約」付きの値であるといわれるとき、「およそ」又は「約」は、その値の１０％以内であることを意味する。
図１は、音響撮像器具１１０と音響プローブ１２０とを含む音響撮像システム１００の１つの実施例を図示する。音響撮像器具１１０は、プロセッサ（及び関連するメモリ）１１２と、ユーザインタフェース１１４と、ディスプレイデバイス１１６と、任意選択的に受信器インタフェース１１８とを含む。
様々な実施形態において、プロセッサ１１２は、マイクロプロセッサ（及び関連するメモリ）、デジタル信号プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル回路、及び／又はアナログ回路の様々な組み合わせを含む。プロセッサ１１２に関連するメモリ（例えば、不揮発性メモリ）は、以下においてより詳細に説明される１つ又は複数の動作又は方法を実施するように音響撮像システム１００を制御するアルゴリズムをプロセッサ１１２のマイクロプロセッサに実行させるコンピュータ可読命令をその内部に記憶する。いくつかの実施形態において、マイクロプロセッサは、オペレーティングシステムを実行する。いくつかの実施形態において、マイクロプロセッサは、ユーザインタフェース１１４及びディスプレイデバイス１１６を介して、音響撮像システム１００のユーザに対してグラフィカルユーザインタフェース（ＧＹＩ）を提示する命令を実行する。
様々な実施形態において、ユーザインタフェース１１４は、キーボード、キーパッド、マウス、トラックボール、スタイラス／タッチペン、ジョイスティック、マイクロホン、スピーカ、タッチスクリーン、１つ又は複数のスイッチ、１つ又は複数のノブ、１つ又は複数のライトなどの任意の組み合わせを含む。いくつかの実施形態において、プロセッサ１１２のマイクロプロセッサは、ユーザインタフェース１１４のマイクロホンを介してユーザのコマンドの音声認識を提供するソフトウェアアルゴリズムを実行する。
ディスプレイデバイス１１６は、任意の都合のよい技術のディスプレイスクリーン（例えば、液晶ディスプレイ）を備える。いくつかの実施形態において、ディスプレイスクリーンは、ユーザインタフェース１１４の一部も形成するタッチスクリーンデバイスである。
いくつかの実施形態において、音響撮像器具１１０は、外部の受動音響センサ、例えば、以下において、特には図２に関してより詳細に説明されるように、介入デバイスの遠位端部（先端部）又はその近くに配置された音響受信器から１つ又は複数の電気信号（センサ信号）を受信するように構成された受信器インタフェース１１８を含む。
もちろん、音響撮像器具１１０は、図１において図示されないいくつかの他の要素、例えば、交流幹線から電力を受信するための電力システム、プロセッサ１１２と音響プローブ１２０との間の通信のための入力／出力ポート、他の外部デバイス及びシステムと（例えば、ワイヤレス、Ｅｔｈｅｒｎｅｔ及び／又はＩｎｔｅｒｎｅｔ接続を介して）通信するための通信サブシステムなどを含んでよいことが理解される。
有益には、音響プローブ１２０は、音響トランスデューサ要素１２２のアレイ（図３を参照）を含む。音響トランスデューサ要素１２２のうちの少なくともいくつかは、音響トランスデューサ要素１２２のアレイに関心エリアに向かって音響プローブ信号を送信させるとともに音響プローブ信号に応じた関心エリアからの音響エコーを受信させる送信信号を音響撮像器具１１０から受信する。
図２は、遠位端部に配置された音響センサ（例えば、受動音響センサ）２１０を有する介入デバイス２００の１つの例示的実施形態を示す。介入デバイス２００のためにただ１つの受動音響センサ２１０しか図示されていないが、介入デバイスの他の実施形態は、２つ以上の受動音響センサ２１０を含んでよい。
以下においてより詳細に説明されるように、いくつかの実施形態において、音響撮像器具１１０のプロセッサ１１２は、介入デバイス２００に配置された１つ又は複数の受動音響センサ２１０から受信器インタフェース１１８によって受信された１つ又は複数のセンサ信号を使用して、音響プローブ１２０によって受信されたエコーによって生成された音響データから生成された音響画像における介入デバイスの所在位置を追跡する。
様々な実施形態において、介入デバイス２００は、ニードル、カテーテル、医療器具などを備える。
図３は、受動音響センサ２１０などの音響センサから受信された１つ又は複数のセンサ信号から生成された映像を音響プローブ１２０などの音響プローブによって受信された音響エコーから生成された音響画像と重畳するプロセスの例示的実施形態を示す。
図３において示されるように、音響プローブ１２０は、関心エリア１０を音響プローブ信号１５で照らし、音響プローブ信号１５に応じて関心エリア１０から受信された音響エコーを受信する。音響撮像器具（例えば、音響撮像器具１１０）は、音響プローブ信号１５に応じて関心エリア１０から受信された音響エコーに応じて、関心エリア１０の音響画像３１０を生成する。特には、音響プローブ１２０は、音響プローブ信号１５に応じて関心エリア１０から受信された音響エコーに応じて１つ又は複数の受信信号（電気信号）を音響撮像器具１１０に通信し、音響撮像器具１１０は、受信信号から音響画像３１０を生成する。
一方、受信器インタフェース（例えば、受信器インタフェース１１８）は、関心エリア１０に配置された介入デバイス（例えば、デバイス２００）の表面に配置された少なくとも１つの受動音響センサ（例えば、受動音響センサ２１０）から１つ又は複数のセンサ信号を受信し、１つ又は複数のセンサ信号は、音響プローブ信号１５に応じて生成される。プロセッサ（例えば、プロセッサ１１２）は、受動音響センサ２１０からの１つ又は複数のセンサ信号から、関心エリア１０における受動音響センサ２１０の推定所在位置３３２を確認し、又は、求めるアルゴリズムを実行する。画像３１５は、プロセッサ１１２によって得られたセンサデータを示し、受動音響センサ２１０の推定所在位置３３２を図示する。例えば、プロセッサ１１２は、受動音響センサ２１０からの１つ又は複数のセンサ信号から生成されたセンサデータにおける最大値又は強度ピークを検知するアルゴリズムを用い、受動音響センサ２１０の推定所在位置３３２がセンサデータにおける強度ピークの所在位置に対応することを求め、又は確認する。次いで、音響撮像器具１１０は、画像３１５に示されたセンサデータを音響画像３１０と重畳して、受動音響センサ２１０の推定所在位置３３２を識別するマーカーを含む重畳音響画像３２０を生成する。
図４は、センサデータに強度ピークがただ１つ存在するときの、音響画像３２０における受動音響センサ２１０の推定所在位置３３２を識別するプロセスを示す。図４において図示されるように、画像３１５は、受動音響センサ２１０によって出力されたセンサ信号からプロセッサ１１２によって得られたセンサデータを示し、受動音響センサ２１０の推定所在位置３３２として１つの強度ピークが識別される。重畳音響画像３２０を生成するためにセンサデータは音響画像データと重畳され、重畳音響画像３２０における受動音響センサ２１０の推定所在位置３３２示すためにマーカーが付加される。
しかしながら、上述されたように、しばしばセンサデータにおける受動音響センサ２１０の所在位置は、センサデータだけからは明らかにならない。ノイズ及び様々な音響収差又はアーチファクトに起因して、複数の強度ピークが生じることがある。例えば、もしも撮像平面内に骨のセグメントが存在すると、超音波ビームが骨で跳ね返り、受動音響センサ２１０に高周波音波を当て（非直接衝突）、直接的な高周波音波衝突よりも時間的に後になって到着する（及びしばしばより強いことがある）信号を生成することがある。別の実施例において、介入デバイス２００がニードルであるニードル追跡用途の場合、超音波ビームがニードルシャフトと交差し、シャフトを伝って受動音響センサ２１０に届き、結果として、直接的な衝突よりも時間的に早く受動音響センサ２１０に高周波音波が当てられることがある（組織における音速と比べて、ニードルシャフトにおける音速がより速いことに起因する）。なおも別の実施例において、ランダムな電磁干渉（ＥＭＩ）によって、システムが受動音響センサ２１０の推定位置としてノイズスパイクを選んでしまうことがある。
図５は、候補所在位置に対応する時点において受動音響センサ２１０によって生成された１つ又は複数のセンサ信号における局所的強度ピークに基づく受動音響センサ２１０の複数の候補所在位置（３３０−１、３３０−２、３３０−３及び３３０−４）を図示する画像３１５を示す。
この状況において、どれが受動音響センサ２１０の最も良い推定所在位置であるかは即座に明らかにはならない。実際上、上述されたように、介入デバイス２００のシャフトによる反射又はそれを通った移動によって生成された「偽の」強度ピークの方が、受動音響センサ２１０の直接的な高周波音波衝突によって生成された強度ピークよりも強いことがあり得るので、最も大きな強度ピークを単純に選ぶと、センサ所在位置のために不良な推定値がしばしば生成される可能性がある。
しかしながら、発明者は、音響撮像器具及びシステム（例えば、音響撮像器具１１０及び音響撮像システム１００）のプロセッサ（例えば、プロセッサ１１２）が、介入手技中に、プロセッサが使用可能な手技中コンテキスト固有情報を考慮することによって、いくつかの候補所在位置の中から、介入デバイス（例えば、介入デバイス２００）の表面に配置された受動音響センサ（例えば、受動音響センサ２１０）の最も良好な推定所在位置を識別することが、しばしば可能であることを理解した。ここで、手技中コンテキスト固有情報とは、音響プローブによって高周波音波を当てられた関心エリア内に受動音響センサの所在位置をプロセッサが求めようとする時点での、固有の介入手順のコンテキストに関する、プロセッサが使用可能な任意のデータを指す。このような情報には、これらに限定されるわけではないが、そのセンサが追跡される介入デバイスのタイプ、介入デバイスの既知のサイズ及び／又は形状特性、センサが位置特定される関心エリア内の既知の解剖学的特性、現在の介入手技中に関心エリア内で介入デバイス及び／又はセンサが辿ると期待される経路を詳述する外科的又は他の手技プラン、現在の介入手技中の介入デバイス及び／又はセンサの以前の既知の経路、所在位置及び／又は向きなどがある。
図６は、手技中コンテキスト固有情報を用いることによって介入性音響撮像におけるセンサ追跡推定値を向上させる方法の１つの例示的実施形態を示す。
図６は、上記において図１〜図３に示されたように、受動音響センサ２１０からの１つ又は複数のセンサ信号１５に応じて生成されたセンサデータの画像３１５を図示する。画像３１５において明るいスポットによって示される受動音響センサ２１０のためのいくつかの候補所在位置が見られる。追加的なデータなしには、画像３１５のセンサデータだけから受動音響センサ２１０のための最も良好な推定所在位置を識別することは、不可能な問題ではないとしても困難である。図６は、センサ追跡推定値に対する制約としていくつかの異なるタイプの手技中コンテキスト固有情報をどのように用いると、いくつかの候補所在位置を可能性から除外し得るか、及び／又は最も良好な推定所在位置として１つの候補所在位置を選択し得るかを示す。
最初に、図６の上部の行について考察する。血管内手技について、音響撮像システム１００は、カラードップラモードにおいて動作され得、流れの存在が血管を示す。代替的に、もしも音響撮像システム１００がＢモードにおいて動作されるなら、プロセッサ１１２は、血管の所在位置及び境界を識別するために区分化又は血管物質検知ルーチンを実行し得る。追跡されるワイヤ／カテーテルは、血管内でナビゲートされているので、センサデータマトリックスにおいて血管の外側にある任意の強度ピーク又は「明るいスポット」は、アーチファクトであると見なすことができる（ワイヤ／カテーテルによって血管に穴が空いたレアケースを除く）。プロセッサ１１２は、Ｂモード／カラードップラ空間からセンサデータ空間に変換するために標準的なスキャン変換ルーチンを用い、重畳音響画像３２０において血管の外側にある強度ピーク又は「明るいスポット」は、受動音響センサ２１０の可能な推定所在位置としては抑制又は除外され得る。
次に、図６の中央部の行について考察する。ニードル介入について、推定センサ所在位置は、ニードルシャフト上に位置特定されなければならない。プロセッサ１１２は、音響画像３１０−１においてニードルシャフトを識別している。故に、この制約は、重畳音響画像３２０における間違ったセンサ位置推定値を除去するために使用され得る。音響画像においてニードルシャフトが不可視である場合でも、ニードルの大まかな位置及び向きは、ニードル挿入中におおよそ知ることができる。概算されたニードル位置及び向きから大きく離れたセンサ位置推定値は、除去され、又は、より近くのセンサ位置推定値と比べて不利に扱われる。
最後に、図６の底部の行について考察する。現在のフレーム又は音響画像３１０−２における受動音響センサ２１０の所在位置は、履歴との一貫性がないということはあり得ない。換言すれば、もしも受動音響センサ２１０が特定の軌道に沿って円滑に進行したならば、経路に沿わない又は直前のフレーム若しくは音響画像において見出だされた所在位置の近くにない、完全に異なる所在位置に、突然現れることはないはずである。故に、ニードルの以前の軌道から大きく離れたセンサ位置推定値は、除去され、又はさもなければ、以前の軌道により近く合致するセンサ推定値と比べて不利に扱われる。
様々な実施形態において、図６の上部、中央部、及び底部の行に示された手技中コンテキスト固有情報に基づく制約のうちの１つ又は複数又は全てが、受動音響センサ２１０の推定所在位置３３２を確認するために用いられてよい。いくつかの実施形態において、制約の重み付き組み合わせが用いられる。特には、いくつかの実施形態において、このことは、センサデータにおいて識別された受動音響センサ２１０の各候補所在位置３３０について、候補所在位置３３０と、受動音響センサ２１０が位置特定されると期待される解剖学的構造を識別する情報；音響画像３２０における介入デバイス２００の有望な所在位置を識別する情報；及び以前の音響画像３２０における受動音響センサ２１０の以前の推定所在位置３３２を識別する情報の各々との間の合致の加重和を求めることを含む。受動音響センサ２１０の推定所在位置３３２として、最も大きな加重和又は他の形態の重み付き組み合わせを有する候補所在位置３３０が選択される。推定所在位置３３２を識別するマーカーが、例えば介入デバイス２００を使用して介入手技を実施する医師などの音響撮像システム１００のユーザ又はオペレータに対して、ディスプレイデバイス１１６上に表示された音響画像３２０において提供される。いくつかの実施形態において、もしも様々な手技中コンテキスト固有情報に基づく制約のうちの１つ又は複数又は全てに対して十分に良好な合致を提供する候補所在位置３３０がないならば、音響撮像システム１００が、受動音響センサ２１０の推定所在位置３３２のために選択し、マーカーを表示することを拒否し得るように、閾値処理が用いられる。
いくつかの実施形態において、異なる情報源を組み合わせるための正確な数値的方法及び重みの実際の値を求めることは、経験的な最適化ルーチンを介して行われる。最適化は、例えば、所望の用途に固有の訓練データに対して実行される。統計又は機械学習に基づく方法は、例えば、この訓練データの精度又は信頼性の測定基準を最適化するために適用される。
いくつかの実施形態において、最終的に求められたセンサ位置の確実性又は不確実性の度合いが追加的に提供される。次いで、確実性の高い最終位置決定が、次の時間フレームにおいてセンサ位置を計算するとき、特には、履歴情報が組み込まれているときに、より強い事前制約として使用される。これとは対照的に、確実性の低い最終結果が後続のフレームにおける位置推定に対して課す事前制約はより弱いことがあり得る。
図７〜図９は、手技中コンテキスト固有情報を使用して受動音響センサ２１０の推定所在位置３３２を確認する様々な実施例をより詳細に示す。手技中コンテキスト固有情報は、候補所在位置３３０を推定所在位置３３２としての選択の考慮から除外するために用いられる。手技中コンテキスト固有情報は、推定所在位置３３２として手技中コンテキスト固有情報に最も合致又は一致する候補所在位置３３０のうちの１つを選択するために用いられる。
図７は、解剖学的構造制約を用いることによって介入性音響撮像におけるセンサ追跡推定値を向上させる方法の例示的実施形態を示す。
図７の左側は、受動音響センサ２１０の所在位置の推定において手技中コンテキスト固有情報に基づく制約が用いられていない場合を示す。ここで、センサデータの画像３１５は、受動音響センサ２１０のための複数の候補所在位置３３０−１及び３３０−２を図示している。更なる制約がないと、プロセッサ１１２は、候補所在位置３３０−１を受動音響センサ２１０のための間違った推定所在位置３３１として選んでしまう。というのは、例えば、そのピーク強度が候補所在位置３３０−２のピーク強度よりも大きいからである。
図７の右側は、受動音響センサ２１０の所在位置の推定において手技中コンテキスト固有情報に基づく制約が用いられている場合を示す。特には、図７の右側は、受動音響センサ２１０の推定所在位置３３２として候補所在位置３３０−１及び３３０−２のうちの１つを選択する際に解剖学的構造制約が用いられる場合を示す。特には、ここでは、プロセッサ１１２が、音響画像３２０において受動音響センサ２１０が位置特定されると期待される解剖学的構造７１０（例えば、血管）を識別するために、領域検知アルゴリズム又は区分化アルゴリズムを実行する場合が示される。受動音響センサ２１０は解剖学的構造７１０内に位置特定されるはずであるという制約に基づいて、プロセッサ１１２は、推定所在位置３３２として候補所在位置３３０−２を選択する。
図８は、センサが設けられたデバイスの構造に基づく制約を用いることによって介入性音響撮像におけるセンサ追跡推定値を向上させる方法の１つの例示的実施形態を示す。
ニードル介入について、受動音響センサ２１０の推定所在位置３３２は、ニードルシャフト上にあらねばならない。故に、この制約は、受動音響センサ２１０の間違った候補所在位置３３０を除去するために使用され得る。図８において、センサ位置のために複数の候補所在位置３３０−１、３３０−２、３３０−３及び３３０−４が存在する（最も左の図においてＢモード空間でスキャン変換されて図示されている）。任意のコンテキスト固有情報に基づく制約を用いないと、プロセッサ１１２は、図８の中央の画像に図示される間違った推定所在位置３３１を選択してしまう。しかしながら、ニードルシャフト区分化に基づく制約が適用されると、プロセッサ１１２は、図８の最も右の図において図示されるように、受動音響センサ２１０のための正しい推定位置３３２を選択する。図８の最も右の図における種々の直線８１０は、この実施例において使用される自動的なシャフト区分化アルゴリズムに基づいて、ニードルのシャフトのための可能な候補を示す。正しい結果は、区分化されたシャフトが受動音響センサ２１０のための正しい推定位置３３２に達しているものである。
図９は、センサの以前の推定所在位置を用いることによって介入性音響撮像におけるセンサ追跡推定値を向上させる方法の１つの例示的実施形態を示す。
現在のフレーム又は音響画像３２０における受動音響センサ２１０の所在位置は、履歴（すなわち、以前のフレーム又は音響画像３２０におけるその所在位置）との一貫性がないということはあり得ない。センサ履歴の信頼性は、種々のやり方でモデル化され得る。例えば、Ｋａｌｍａｎフィルタモデルフレームワークが、現在の推定値により大きな重みを置くか又は履歴による所在位置をより信頼するかのために微調整され得る。代替的に、受動音響センサ２１０の全ての以前の推定所在位置３３２の主成分解析（ＰＣＡ）が実施され得、第１の主成分はデバイス運動軌跡を示す。別の実施例において、現在のフレーム又は音響画像３２０における探索空間が、以前のフレーム又は音響画像３２０における推定所在位置３３２の周りの関心領域（ＲＯＩ）へと減じられ得る。図９は、履歴に基づいた制約のこの最後の方法が、間違った推定位置３３１などの間違ったセンサ所在位置推定値を除去するために使用された実施例を図示する。
図１０は、上記において図５〜図９に関して説明されたような手技中コンテキスト固有情報を用いることによって介入性音響撮像におけるセンサ追跡推定値を向上させる実施例をグラフィカルに示す。示された実施例において、複数の候補所在位置３３０−１、３３０−２、３３０−３及び３３０−４がセンサデータにおいて識別され、次いで、受動音響センサ２１０の推定所在位置として候補所在位置のうちの１つ（例えば、候補所在位置３３０−２）を選択するために手技中コンテキスト固有情報が用いられている。ここで、手技中コンテキスト固有情報は、解剖学的制約、受動音響センサ２１０が設けられた介入デバイスの構造の既知の形状、及び受動音響センサ２１０の以前の推定所在位置を含む。
図１１は、手技中コンテキスト固有情報を用いることによって介入性音響撮像におけるセンサ追跡推定値を向上させる方法の例示的実施形態のフローチャートを示す。
動作１１１０は、音響トランスデューサ要素のアレイに関心エリアに向かって音響プローブ信号を送信させるために、音響プローブの音響トランスデューサ要素のうちの少なくともいくつかに送信信号を提供することを有する。
動作１１２０は、音響プローブ信号に応じて関心エリアから受信された音響エコーに応じて関心エリアの音響画像を生成することを有する。
動作１１３０は、関心エリアに配置された介入デバイスの表面に配置された少なくとも１つの受動音響センサから１つ又は複数のセンサ信号を受信することを有し、１つ又は複数のセンサ信号は音響プローブ信号に応じて生成される。
動作１１４０は、センサデータにおける局所的強度ピークに基づいて、受動音響センサのための１つ又は複数の候補所在位置を識別することを有する。
動作１１５０は、手技中コンテキスト固有情報を使用して、受動音響センサの推定所在位置として手技中コンテキスト固有情報に最も合致する候補所在位置のうちの１つを識別することを有する。
動作１１６０は、音響画像における受動音響センサの推定所在位置を示すマーカーを含む音響画像を表示することを有する。
図１１における様々な動作の順序は、変更又は再配置されてよいこと、及び、実のところ、いくつかの動作が実際に１つ又は複数の他の動作と同時に実施されてよいことが理解されるべきである。その意味において、図１１は、順序立ったシーケンスとしてではなく、動作の番号付きリストとして見られることがより好ましい。
図１２は、図１１における動作１１５０の例示的実施形態のフローチャートを示す。特には、図１２は、介入性音響撮像におけるセンサ追跡推定値を向上させるために、解剖学的構造制約を用いる方法１２００を示す。
動作１２１０は、センサが位置特定されると期待される解剖学的構造を識別することを有する。いくつかの実施形態において、このことは、音響画像の領域検知アルゴリズム又は区分化アルゴリズムを実行することを有する。他の実施形態において、音響撮像器具は、音響プローブから受信された１つ又は複数の受信信号に応じて関心エリアのカラードップラ画像を生成するように構成され、プロセッサは、カラードップラ画像において血流を識別することによって、センサが位置特定されると期待される解剖学的構造を識別するように構成される。
動作１２２０は、解剖学的構造との期待される関係に配置されていないセンサのための候補所在位置を除外することを有する。
図１３は、図１１における動作１１５０の別の例示的実施形態のフローチャートを示す。特には、図１３は、介入性音響撮像におけるセンサ追跡推定値を向上させるために、センサが設けられたデバイスの構造に基づく制約を用いる方法１３００を示す。
動作１３１０は、音響画像における介入デバイスの有望な所在位置を識別することを有する。いくつかの実施形態において、このことは、音響画像の領域検知アルゴリズム又は区分化アルゴリズムを実行することを有する。
動作１３２０は、介入デバイスの有望な所在位置に配置されていない受動音響センサのための候補所在位置を除外することを有する。
図１４は、図１１における動作１１５０のなおも別の例示的実施形態のフローチャートを示す。特には、図１４は、介入性音響撮像におけるセンサ追跡推定値を向上させるために、センサの以前の推定所在位置を用いる方法１４００を示す。
動作１４１０は、以前の音響画像における受動音響センサの以前の推定所在位置を識別することを有する。
動作１４２０は、受動音響センサの以前の推定所在位置と一貫性がない受動音響センサのための候補所在位置を除外することを有する。
別個のフローチャートによって示されていないが、上記に詳述されたように、いくつかの実施形態において、図１１における動作１１５０は、図１２〜図１４において示された手法のうちの２つ以上のものを用いて実施されてよく、及び各アルゴリズムの結果に重み付けを行って実施されてよい。
手技中コンテキスト固有情報を使用して、受動音響センサの推定所在位置として手技中コンテキスト固有情報に最も合致する候補所在位置のうちの１つを識別するためのアルゴリズムの実施例の非網羅的なセットが、例示を目的として提示された。もちろん、手技中コンテキスト固有情報を使用して、受動音響センサの推定所在位置として手技中コンテキスト固有情報に最も合致する候補所在位置のうちの１つを識別するための他のアルゴリズムは、本開示を読んだ後、当業者には明らかになるであろう。このようなアルゴリズムは、ここに提示された広範な特許請求の範囲及び開示によって包含されるものと意図される。
本明細書において、好ましい実施形態が詳細に開示されたが、本発明の概念及び範囲のうちに留まる多くの変形が可能である。このような変形は、本明細書における仕様、図面及び特許請求の範囲の検証後に、当業者に明らかになるであろう。従って、本発明は、添付の特許請求の範囲の範囲内を除いては制限されるべきではない。

Claims (20)

  1. 音響トランスデューサ要素のアレイを有する音響プローブと、
    前記音響プローブに接続され、前記音響トランスデューサ要素のアレイに関心エリアに向かって音響プローブ信号を送信させるために前記音響トランスデューサ要素のうちの少なくともいくつかに送信信号を提供し、更に、前記音響プローブ信号に応じて前記関心エリアから受信された音響エコーに応じて前記関心エリアの音響画像を生成する音響撮像器具とを備える、システムであって、
    前記音響撮像器具は、
    前記音響画像を表示するディスプレイデバイスと、
    前記関心エリアに配置された介入デバイスの表面に配置された少なくとも１つの受動センサから１つ又は複数のセンサ信号を受信する受信器インタフェースであって、前記１つ又は複数のセンサ信号は前記音響プローブ信号に応じて生成される、受信器インタフェースと、
    前記受動センサからの前記１つ又は複数のセンサ信号から、前記関心エリアにおける前記受動センサの推定所在位置を、前記受動センサからの前記１つ又は複数のセンサ信号に応じて生成されたセンサデータにおける局所的強度ピークに基づいて、前記受動センサのための１つ又は複数の候補所在位置を識別することと、手技中コンテキスト固有情報を使用して、前記受動センサの前記推定所在位置として前記手技中コンテキスト固有情報に最も合致する前記候補所在位置のうちの１つを識別することとによって確認するプロセッサと
    を備え、
    前記ディスプレイデバイスは、前記受動センサの前記推定所在位置を示すマーカーを前記音響画像において表示する、
    システム。
  2. 前記手技中コンテキスト固有情報は、前記受動センサが位置特定されると期待される解剖学的構造を識別する情報、前記音響画像における前記介入デバイスの有望な所在位置を識別する情報、及び、前記音響画像の以前のものにおける前記受動センサの以前の推定所在位置を識別する情報のうちの少なくとも１つを含む、請求項１に記載のシステム。
  3. 前記手技中コンテキスト固有情報は、前記受動センサが位置特定されると期待される前記解剖学的構造を識別する情報を含み、前記プロセッサは、前記音響画像において前記受動センサが位置特定されると期待される前記解剖学的構造を識別するために、領域検知アルゴリズム及び区分化アルゴリズムのうちの１つを実行する、請求項２に記載のシステム。
  4. 前記手技中コンテキスト固有情報は、前記受動センサが位置特定されると期待される前記解剖学的構造を識別する情報を含み、前記音響撮像器具は、前記音響プローブから受信された１つ又は複数の受信信号に応じて前記関心エリアのカラードップラ画像を生成し、前記プロセッサは、前記カラードップラ画像において血流を識別することによって、前記受動センサが位置特定されると期待される前記解剖学的構造を識別する、請求項２に記載のシステム。
  5. 前記手技中コンテキスト固有情報は、前記音響画像における前記介入デバイスの前記有望な所在位置を識別する情報を含み、前記プロセッサは、前記音響画像における前記介入デバイスの前記有望な所在位置を識別するために、領域検知アルゴリズム及び区分化アルゴリズムのうちの１つを実施する、請求項２に記載のシステム。
  6. 前記手技中コンテキスト固有情報は、前記音響画像の以前のものにおける前記受動センサの前記以前の推定所在位置を識別する情報を含み、前記プロセッサは、前記受動センサの各現在の候補所在位置及び前記以前の推定所在位置に対して適用されるＫａｌｍａｎフィルタ、センサ運動軌道を識別し前記センサ運動軌道を各候補所在位置と比較するための前記受動センサの全ての以前の所在位置の主成分解析、及び、以前のフレームにおける前記受動センサの推定所在位置の周りに定められ各候補所在位置に対して適用される関心領域空間フィルタのうちの１つを用いる、請求項２に記載のシステム。
  7. 前記手技中コンテキスト固有情報は、前記受動センサが位置特定されると期待される解剖学的構造を識別する情報、前記音響画像における前記介入デバイスの有望な所在位置を識別する情報、及び、前記音響画像の以前のものにおける前記受動センサの以前の推定所在位置を識別する情報を含む、請求項１に記載のシステム。
  8. 前記候補所在位置に対応する時点において前記１つ又は複数のセンサ信号における前記局所的強度ピークに基づいて、前記受動センサのための前記１つ又は複数の候補所在位置を識別することは、
    各候補所在位置について、前記候補所在位置と、前記受動センサが位置特定されると期待される前記解剖学的構造を識別する情報、前記音響画像における前記介入デバイスの前記有望な所在位置を識別する情報、及び、前記音響画像の前記以前のものにおける前記受動センサの前記以前の推定所在位置を識別する情報の各々との間の合致の重み付き積分を求めることと、
    前記受動センサの前記推定所在位置として、前記重み付き積分の最も大きな積を有する前記候補所在位置のうちの１つを選択することと
    を有する、請求項７に記載のシステム。
  9. 音響プローブ信号に応じて関心エリアから音響プローブによって受信された音響エコーに応じて前記音響プローブから受信された１つ又は複数の受信信号に応じて、前記関心エリアの音響画像を生成するステップと、
    前記関心エリアにおいて介入デバイスの表面に配置された受動センサから１つ又は複数のセンサ信号を受信するステップであって、前記１つ又は複数のセンサ信号は前記音響プローブ信号に応じて生成される、ステップと、
    前記受動センサからの前記１つ又は複数のセンサ信号に応じて生成されたセンサデータにおける局所的強度ピークに基づいて、前記受動センサのための１つ又は複数の候補所在位置を識別するステップと、
    手技中コンテキスト固有情報を使用して、前記受動センサの推定所在位置として前記手技中コンテキスト固有情報に最も合致する前記候補所在位置のうちの１つを識別するステップと、
    ディスプレイデバイス上に前記音響画像を表示するステップと、
    前記ディスプレイデバイス上で、前記受動センサの前記推定所在位置を示すマーカーを前記音響画像において表示するステップと
    を有する、方法。
  10. 前記手技中コンテキスト固有情報は、前記受動センサが位置特定されると期待される解剖学的構造を識別する情報、前記音響画像における前記介入デバイスの有望な所在位置を識別する情報、及び、前記音響画像の以前のものにおける前記受動センサの以前の推定所在位置を識別する情報のうちの少なくとも１つを含む、請求項９に記載の方法。
  11. 前記手技中コンテキスト固有情報は、前記受動センサが位置特定されると期待される前記解剖学的構造を識別する情報を含み、前記方法は、前記音響画像において前記受動センサが位置特定されると期待される前記解剖学的構造を識別するために、領域検知アルゴリズム及び区分化アルゴリズムのうちの１つを実行するステップを有する、請求項１０に記載の方法。
  12. 前記手技中コンテキスト固有情報は、前記受動センサが位置特定されると期待される前記解剖学的構造を識別する情報を含み、前記方法は、
    前記音響プローブから受信された前記１つ又は複数の受信信号に応じて前記関心エリアのカラードップラ画像を生成するステップと、
    前記カラードップラ画像において血流を識別することによって、前記受動センサが位置特定されると期待される前記解剖学的構造を識別するステップと
    を有する、
    請求項１０に記載の方法。
  13. 前記手技中コンテキスト固有情報は、前記音響画像における前記介入デバイスの前記有望な所在位置を識別する情報を含み、前記方法は、前記音響画像における前記介入デバイスの前記有望な所在位置を識別するために、領域検知アルゴリズム及び区分化アルゴリズムのうちの１つを実施するステップを有する、請求項１０に記載の方法。
  14. 前記手技中コンテキスト固有情報は、前記音響画像の以前のものにおける前記受動センサの前記以前の推定所在位置を識別する情報を含み、前記方法は、
    前記受動センサの各現在の候補所在位置及び前記以前の推定所在位置に対してＫａｌｍａｎフィルタを適用するステップと、
    センサ運動軌道を識別するために前記受動センサの全ての以前の所在位置の主成分解析を実施し、前記センサ運動軌道を各候補所在位置と比較するステップと、
    以前のフレームにおける前記受動センサの推定所在位置の周りに定められた関心領域空間フィルタを、各候補所在位置に対して適用するステップと
    のうちの１つを有する、請求項１０に記載の方法。
  15. 前記手技中コンテキスト固有情報は、前記受動センサが位置特定されると期待される解剖学的構造を識別する情報、前記音響画像における前記介入デバイスの有望な所在位置を識別する情報、及び、前記音響画像の以前のものにおける前記受動センサの以前の推定所在位置を識別する情報を含む、請求項９に記載の方法。
  16. 前記受動センサの前記推定所在位置として前記手技中コンテキスト固有情報に最も合致する前記候補所在位置のうちの１つを識別するステップは、
    各候補所在位置について、前記候補所在位置と、前記受動センサが位置特定されると期待される前記解剖学的構造を識別する情報、前記音響画像における前記介入デバイスの前記有望な所在位置を識別する情報、及び、前記音響画像の前記以前のものにおける前記受動センサの前記以前の推定所在位置を識別する情報の各々との間の合致の重み付き積分を求めるステップと、
    前記受動センサの前記推定所在位置として、最も大きな重み付き組み合わせを有する前記候補所在位置のうちの１つを選択するステップと
    を有する、請求項１５に記載の方法。
  17. 関心エリアに配置された介入デバイスの表面に配置された受動センサから１つ又は複数のセンサ信号を受信する受信器インタフェースと、
    前記１つ又は複数のセンサ信号から、前記関心エリアにおける前記受動センサの推定所在位置を、前記受動センサからの前記１つ又は複数のセンサ信号に応じて生成されたセンサデータにおける局所的強度ピークに基づいて、前記受動センサのための１つ又は複数の候補所在位置を識別することと、手技中コンテキスト固有情報を使用して、前記受動センサの前記推定所在位置として前記手技中コンテキスト固有情報に最も合致する前記候補所在位置のうちの１つを識別することとによって確認するプロセッサと
    を備える、音響撮像器具であって、
    前記プロセッサは更に、ディスプレイデバイスに、前記関心エリアの音響画像を表示させ、前記受動センサの前記推定所在位置を示すマーカーを前記音響画像において表示させる、
    音響撮像器具。
  18. 前記手技中コンテキスト固有情報は、前記受動センサが位置特定されると期待される解剖学的構造を識別する情報、前記音響画像における前記介入デバイスの有望な所在位置を識別する情報、及び、前記音響画像の以前のものにおける前記受動センサの以前の推定所在位置を識別する情報のうちの少なくとも１つを含む、請求項１７に記載の音響撮像器具。
  19. 前記手技中コンテキスト固有情報は、前記受動センサが位置特定されると期待される解剖学的構造を識別する情報、前記音響画像における前記介入デバイスの有望な所在位置を識別する情報、及び、前記音響画像の以前のものにおける前記受動センサの以前の推定所在位置を識別する情報を含む、請求項１７に記載の音響撮像器具。
  20. 前記受動センサの前記推定所在位置として前記手技中コンテキスト固有情報に最も合致する前記候補所在位置のうちの１つを識別することは、
    各候補所在位置について、前記候補所在位置と、前記受動センサが位置特定されると期待される前記解剖学的構造を識別する情報、前記音響画像における前記介入デバイスの前記有望な所在位置を識別する情報、及び、前記音響画像の前記以前のものにおける前記受動センサの前記以前の推定所在位置を識別する情報の各々との間の合致の重み付き積分を求めることと、
    経験的な最適化を通じて、情報源を組み合わせるための正確な数値的方法及び前記重み付き積分における重みの実際の値を求めることと、
    前記受動センサの前記推定所在位置として、前記重み付き積分の最も大きな出力を有する前記候補所在位置のうちの１つを選択することと、
    前記推定所在位置の確実性又は不確実性のうちの１つの度合いを提供することと
    を有する、請求項１９に記載の音響撮像器具。
JP2021509165A 2018-08-22 2019-08-13 介入性音響撮像におけるセンサ追跡推定値を制約するためのシステム、デバイス及び方法 Pending JP2021534861A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862721173P 2018-08-22 2018-08-22
US62/721,173 2018-08-22
PCT/EP2019/071653 WO2020038766A1 (en) 2018-08-22 2019-08-13 System, device and method for constraining sensor tracking estimates in interventional acoustic imaging

Publications (1)

Publication Number Publication Date
JP2021534861A true JP2021534861A (ja) 2021-12-16

Family

ID=67660083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021509165A Pending JP2021534861A (ja) 2018-08-22 2019-08-13 介入性音響撮像におけるセンサ追跡推定値を制約するためのシステム、デバイス及び方法

Country Status (5)

Country Link
US (1) US20210251602A1 (ja)
EP (1) EP3840655A1 (ja)
JP (1) JP2021534861A (ja)
CN (1) CN112601495A (ja)
WO (1) WO2020038766A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120004533A1 (en) * 2010-05-03 2012-01-05 Slemens Corporation Optimization of multiple candidates in medical device or feature tracking
JP2014138847A (ja) * 2013-01-03 2014-07-31 Siemenscorp 診断用超音波イメージングにおける針の強調
JP2015062668A (ja) * 2013-08-30 2015-04-09 富士フイルム株式会社 超音波装置および超音波画像生成方法
JP2016043192A (ja) * 2014-08-26 2016-04-04 プレキシオン株式会社 超音波画像化装置
WO2016051738A1 (ja) * 2014-09-29 2016-04-07 富士フイルム株式会社 光音響画像生成装置
JP2016127874A (ja) * 2015-01-09 2016-07-14 コニカミノルタ株式会社 超音波診断装置
JP2016540604A (ja) * 2013-12-20 2016-12-28 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 刺入器具を追跡するシステム及び方法
JP2017512601A (ja) * 2014-04-11 2017-05-25 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 圧電性ポリマーセンサを備えた信号とノイズとを区別する針
WO2018087111A1 (en) * 2016-11-08 2018-05-17 Koninklijke Philips N.V. System and method for tracking an interventional instrument with feedback concerning tracking reliability
WO2018116114A1 (en) * 2016-12-21 2018-06-28 Koninklijke Philips N.V. System and method for fast and automated ultrasound probe calibration
WO2018134138A1 (en) * 2017-01-19 2018-07-26 Koninklijke Philips N.V. System and method for imaging and tracking interventional devices

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090088628A1 (en) * 2007-09-27 2009-04-02 Klaus Klingenbeck-Regn Efficient workflow for afib treatment in the ep lab
US20090177089A1 (en) * 2008-01-04 2009-07-09 Assaf Govari Three-dimensional image reconstruction using doppler ultrasound
US9226729B2 (en) * 2010-09-28 2016-01-05 Fujifilm Corporation Ultrasound diagnostic system, ultrasound image generation apparatus, and ultrasound image generation method
JP2014151102A (ja) * 2013-02-13 2014-08-25 Olympus Corp 管状装置の相対位置検出システム及び内視鏡装置
CA2938077A1 (en) * 2013-03-15 2014-09-18 Bio-Tree Systems, Inc. Methods and system for linking geometry obtained from images
CN105431092B (zh) * 2013-06-28 2018-11-06 皇家飞利浦有限公司 对介入仪器的声学突出显示
EP3013245B1 (en) * 2013-06-28 2019-06-12 Koninklijke Philips N.V. Shape injection into ultrasound image to calibrate beam patterns in real-time
US11547487B2 (en) * 2013-06-28 2023-01-10 Koninklijke Philips N.V. Scanner independent ultrasonic tracking of interventional instruments having an acoustic sensor by means of having an additional acoustic transducer coupled to ultrasound imaging probe
JP2015061592A (ja) * 2013-08-21 2015-04-02 コニカミノルタ株式会社 超音波診断装置、超音波画像処理方法およびコンピュータ読み取り可能な非一時的な記録媒体
EP3049013B1 (en) * 2013-09-24 2017-11-15 Koninklijke Philips N.V. Acoustic 3d tracking of interventional tool
CN105899143B (zh) * 2014-01-02 2020-03-06 皇家飞利浦有限公司 超声导航/组织定征组合
CN105873521B (zh) * 2014-01-02 2020-09-15 皇家飞利浦有限公司 相对超声成像平面的仪器对准和跟踪
CN106068098B (zh) * 2014-02-28 2020-01-07 皇家飞利浦有限公司 用于超声引导过程的区域可视化
US10925579B2 (en) * 2014-11-05 2021-02-23 Otsuka Medical Devices Co., Ltd. Systems and methods for real-time tracking of a target tissue using imaging before and during therapy delivery
CN108430335B (zh) * 2015-12-31 2021-07-30 皇家飞利浦有限公司 用于介入声成像的系统和方法
US20190262082A1 (en) * 2018-02-26 2019-08-29 Covidien Lp System and method for performing a percutaneous navigation procedure
EP3790468A1 (en) * 2018-05-07 2021-03-17 Hologic, Inc. Breast ultrasound workflow application

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120004533A1 (en) * 2010-05-03 2012-01-05 Slemens Corporation Optimization of multiple candidates in medical device or feature tracking
JP2014138847A (ja) * 2013-01-03 2014-07-31 Siemenscorp 診断用超音波イメージングにおける針の強調
JP2015062668A (ja) * 2013-08-30 2015-04-09 富士フイルム株式会社 超音波装置および超音波画像生成方法
JP2016540604A (ja) * 2013-12-20 2016-12-28 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 刺入器具を追跡するシステム及び方法
JP2017512601A (ja) * 2014-04-11 2017-05-25 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 圧電性ポリマーセンサを備えた信号とノイズとを区別する針
JP2016043192A (ja) * 2014-08-26 2016-04-04 プレキシオン株式会社 超音波画像化装置
WO2016051738A1 (ja) * 2014-09-29 2016-04-07 富士フイルム株式会社 光音響画像生成装置
JP2016127874A (ja) * 2015-01-09 2016-07-14 コニカミノルタ株式会社 超音波診断装置
WO2018087111A1 (en) * 2016-11-08 2018-05-17 Koninklijke Philips N.V. System and method for tracking an interventional instrument with feedback concerning tracking reliability
WO2018116114A1 (en) * 2016-12-21 2018-06-28 Koninklijke Philips N.V. System and method for fast and automated ultrasound probe calibration
WO2018134138A1 (en) * 2017-01-19 2018-07-26 Koninklijke Philips N.V. System and method for imaging and tracking interventional devices

Also Published As

Publication number Publication date
CN112601495A (zh) 2021-04-02
US20210251602A1 (en) 2021-08-19
EP3840655A1 (en) 2021-06-30
WO2020038766A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
JP2021121354A (ja) モデルベースセグメンテーションを用いた像撮像誘導
US20220175344A1 (en) Ultrasound diagnostic apparatus and method of controlling ultrasound diagnostic apparatus
JP2011505951A (ja) 取得された画像データに反応するフィードバックを用いる微調整及び位置決め制御を持つロボット超音波システム
EP3013246B1 (en) Acoustic highlighting of interventional instruments
JP2017221512A (ja) 超音波診断装置、及び超音波診断装置の制御方法
WO2010073165A1 (en) Automated three dimensional acoustic imaging for medical procedure guidance
JP7176123B2 (ja) 超音波診断装置、及び超音波診断装置の制御方法
CN114795276A (zh) 用于从超声图像自动估计肝肾指数的方法和系统
US8663110B2 (en) Providing an optimal ultrasound image for interventional treatment in a medical system
JP2024516814A (ja) 超音波画像における血管の表示
US11331147B2 (en) Medical image processing apparatus, medical image diagnostic apparatus, and medical image processing method for image-guided endocardial navigation
CN112515747A (zh) 用于分析超声场景以提供针引导和警告的方法和系统
JP2021534861A (ja) 介入性音響撮像におけるセンサ追跡推定値を制約するためのシステム、デバイス及び方法
CN112074237A (zh) 用于组织弹性监测和显示的剪切波幅值重建
JP7427902B2 (ja) 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置
JP2024514957A (ja) 器具挿入案内
EP3709889B1 (en) Ultrasound tracking and visualization
EP3435382A1 (en) Imaging method, controller and imaging system, for monitoring a patient post evar
EP4299015A1 (en) Medical image processing apparatus, method and program
JP7488789B2 (ja) 超音波診断装置及び診断支援方法
US20230320694A1 (en) Graphical user interface for providing ultrasound imaging guidance
EP4316384A1 (en) Medical image processing device, endoscope system, medical image processing method, and medical image processing program
WO2022226394A1 (en) Identifying blood vessels in ultrasound images
Kim et al. A learning-based, region of interest-tracking algorithm for catheter detection in echocardiography
EP2454996A1 (en) Providing an optimal ultrasound image for interventional treatment in a medical system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231010