JP2022162869A - 超音波プローブの位置登録方法、超音波撮像システム、超音波プローブ用位置登録システム、超音波プローブ位置登録用ファントム、および、超音波プローブ用位置登録プログラム - Google Patents

超音波プローブの位置登録方法、超音波撮像システム、超音波プローブ用位置登録システム、超音波プローブ位置登録用ファントム、および、超音波プローブ用位置登録プログラム Download PDF

Info

Publication number
JP2022162869A
JP2022162869A JP2021067915A JP2021067915A JP2022162869A JP 2022162869 A JP2022162869 A JP 2022162869A JP 2021067915 A JP2021067915 A JP 2021067915A JP 2021067915 A JP2021067915 A JP 2021067915A JP 2022162869 A JP2022162869 A JP 2022162869A
Authority
JP
Japan
Prior art keywords
ultrasonic
probe
position detection
phantom
real space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021067915A
Other languages
English (en)
Inventor
貴文 島本
Takafumi Shimamoto
信隆 阿部
Nobutaka Abe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Healthcare Corp
Original Assignee
Fujifilm Healthcare Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Healthcare Corp filed Critical Fujifilm Healthcare Corp
Priority to JP2021067915A priority Critical patent/JP2022162869A/ja
Priority to US17/700,735 priority patent/US20220327735A1/en
Priority to CN202210292287.4A priority patent/CN115192193A/zh
Publication of JP2022162869A publication Critical patent/JP2022162869A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58Testing, adjusting or calibrating the diagnostic device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993Three dimensional imaging systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/5206Two-dimensional coordinated display of distance and direction; B-scan display
    • G01S7/52065Compound scan display, e.g. panoramic imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52073Production of cursor lines, markers or indicia by electronic means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52074Composite displays, e.g. split-screen displays; Combination of multiple images or of images and alphanumeric tabular information
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Acoustics & Sound (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Robotics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】超音波プローブの走査面の位置と角度を、簡便に精度よく登録する。【解決手段】位置検出センサが配置された実空間に、非平行に張られた2以上のワイヤが含まれるファントムを配置し、プローブ位置検出用マーカが取り付けられた超音波プローブをその主平面の向きを一定に保ったままファントム上で平行移動させ、プローブ位置検出用マーカの実空間における位置を位置検出センサで検出しながら、ファントムの超音波画像を2以上取得する。2以上の超音波画像にそれぞれ含まれる2以上のワイヤの断面像の位置を求め、求めた断面像の位置の関係に基づいて、プローブ位置検出用マーカの実空間の位置と、撮像される超音波画像の実空間における向きおよび位置との関係を算出し、算出した関係をプローブ座標変換情報として、記憶部に登録する。【選択図】 図3

Description

この発明は、超音波画像を実空間座標へ同期するための座標変換技術に関する。
手術ナビゲーションシステムは、CT(Computed Tomography)画像やMRI(Magnetic Resonance Imaging)画像などの医用画像上に手術中の術具の位置をリアルタイムに表示し、手術中の患者と術具の位置関係の情報を提供することで、手術を支援することを目的としたシステムである。手術ナビゲーションにおいて、CT画像やMRI画像は空間分解能やコントラストの面で優れている一方でリアルタイム性に乏しく、臓器の移動や変形の影響によってナビゲーションの精度が低下する。
この課題を解決するため、CT画像やMRI画像と超音波画像を同期表示することでリアルタイム性を補いながらナビゲーションを行う方法がある。前記の方法を実施するためには、ナビゲーションに使用する医用画像と実空間上の患者の位置を合わせるレジストレーション操作と、超音波ビームの走査面の位置と角度を登録する超音波プローブ登録操作が必要である。一般的に、これらの操作は、手術開始前に執刀医の手によって実施される。なお、レジストレーション操作と超音波プローブ登録操作の実施順序に制限はなく、どちらを先に実施しても構わない。
レジストレーション方法は、鼻根部や目尻などの解剖学的特徴点や、患者に貼り付けた撮像マーカの位置のうちの3点以上指し示すことにより、実空間上のマーカ等の位置と、医用画像上のマーカ等の位置とを対応付ける方法や、レーザなどを用いて取得した患者の表面情報と、医用画像から再構築した三次元画像の表面情報を対応づける方法が確立されている(非特許文献1)。
一方、超音波プローブ登録方法は、様々な方法が提案されている。例えば、特許文献1には、超音波画像をCT画像やMRI画像に超音波ビームの走査面を同期するために、超音波ビームの走査面の位置と角度を登録する方法が報告されている。
また、非特許文献2には、位置検出用マーカを取り付けた超音波プローブ登録ツールに、超音波プローブを固定し、超音波プローブの種別に基づいて超音波ビームの走査面の位置と角度を登録する方法が開示されている(非特許文献2)。
特開平10-151131号公報
古賀敦郎 著「手術用ナビゲーションシステムStealthStationについて」日本放射線技術学会近畿部会雑誌 第10巻1号 https://www.youtube.com/watch?v=RAHgsUVm4d4
特許文献1の方法は、超音波ビームの走査面の位置と角度を登録するために、複雑な操作が必要であり操作者への負担増や操作時間増大などの課題がある。
一方、非特許文献2の方法は、位置検出用マーカを取り付けた超音波プローブ登録ツールに、超音波プローブを固定して、超音波プローブの種別に基づいて超音波ビームの走査面の位置等を登録する方法であるが、異なる種別の超音波プローブを登録する場合には、超音波プローブ登録ツールの校正が必要である。また、同じ種別の超音波プローブであっても、走査面の角度には、超音波プローブごとにわずかな差がある。非特許文献2の登録ツールは、超音波プローブごとの走査面の角度の差を考慮していないため、精度よく走査面の位置と角度を登録するためには、超音波プローブ登録ツールの校正が必要となる。また、同一の超音波プローブであっても、超音波プローブ登録ツールへ超音波プローブを固定する際には、毎回同じ位置に、再現性良く固定しなければ登録精度が低下するという問題もある。
このように、超音波プローブの走査面の位置と角度の登録方法は、様々な方法が提案されているものの、登録精度や操作性の面で課題が残っている。
本発明の目的は、超音波プローブの走査面の位置と角度を、簡便に精度よく登録することにある。
上記目的を達成するために、本発明の超音波プローブの位置登録方法は、位置検出センサが配置された実空間に、非平行に張られた2以上のワイヤが含まれるファントムを配置し、プローブ位置検出用マーカが取り付けられた超音波プローブをその主平面の向きを一定に保ったままファントム上で平行移動させ、プローブ位置検出用マーカの実空間における位置を位置検出センサで検出しながら、ファントムの超音波画像を2以上取得する。2以上の超音波画像にそれぞれ含まれる2以上のワイヤの断面像の位置を求め、求めた断面像の位置の関係に基づいて、プローブ位置検出用マーカの実空間の位置と、撮像される超音波画像の実空間における向きおよび位置との関係を算出し、算出した関係をプローブ座標変換情報として、記憶部に登録する。
本発明によれば、簡便な操作で、超音波ビームの走査面(超音波画像)の位置と向きを算出することが可能となり、操作者の負担低減および操作性を向上することが可能である。さらに、ファントムの超音波画像を用いることにより、超音波プローブの種別や個体差によらず、精度良く超音波プローブの位置登録が可能である。
本発明の一実施形態の超音波撮像システムのハードウェア構成を示す図 一実施形態の超音波プローブ12と、プローブ用マーカ(プローブ位置検出用マーカ)17の斜視図 一実施形態の超音波プローブ位置登録用ファントムと、超音波ビームの走査面の位置と角度の関係を説明する図 一実施形態の超音波撮像システムを用いて超音波プローブの位置登録と、手術ナビゲーションを行う手順を示すフローチャート図 一実施形態の超音波プローブの位置登録用のGUIの一例を示す図 一実施形態の超音波撮像システムにおいて、CT画像やMRI画像と、超音波画像とを同期表示した手術ナビゲーション画面例を示す図
以下、添付図面に従って本発明に係る超音波撮像システムの一実施形態について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
図1は超音波撮像システム1のハードウェア構成を示す図である。超音波撮像システム1は、CPU(Central Processing Unit)2、位置検出センサ9、超音波撮像装置11、ネットワークアダプタ10、主メモリ3、記憶装置4、表示メモリ5、コントローラ7および表示装置6を備えて構成され、これらはシステムバス13によって信号送受可能に接続されている。ここで、「信号送受可能に」とは、電気的、光学的に有線、無線を問わずに、相互にあるいは一方から他方へ信号送受可能な状態を示す。
超音波撮像装置には、超音波プローブ12が接続されている。超音波プローブ12は、例えば、セクタ型、リニア型又はコンベックス型など、種々のプローブ12を用いることができる。超音波プローブ12には、プローブ用マーカ(プローブ位置検出用マーカ)17が取り付けられている。
図2に示したように、プローブ用マーカ17は、複数(ここでは3つ)の球18と、フレーム17aと、取り付け機構17bとを備えている。フレーム17は、複数の球18を所定の位置関係に支持する。固定具17bは、フレーム17aを超音波プローブ12の所定の位置に所定の向きで固定することができるように構成されている。球18は、可視光や赤外線等の光を反射する反射体、または、光を出射する光源である。
位置検出センサ9は、複数の球18の反射または出射する光を検出する一対の光学センサを含み、複数の反射球18の空間座標を認識する。これにより、位置検出センサ9は、超音波プローブ12の位置と向きを認識する。なお、位置検出センサ9として、磁界発生装置を用い、プローブ用マーカ17の代わりに磁気検出センサを用いてもよい。
ネットワークアダプタ10は、LAN(Local Area Network)、電話回線、インターネット等のネットワーク14を介して、CT装置やMRI装置などの3次元撮像装置15と、医用画像データベース16に信号送受可能に接続されている。
記憶装置4には、3次元撮像装置15で撮像された3次元画像や、医用画像データベース16から読み出された3次元医用画像が格納される。また、記憶装置4には、CPU2が実行するプログラムやプログラム実行に必要なデータが予め格納されている。記憶装置4は、具体的にはハードディスク等であるが、フレシキブルディスク、光(磁気)ディスク、ZIPメモリ、USBメモリ等の可搬性記録媒体に対してデータの受け渡しをする装置であっても良い。
CPU2は、記憶装置4に予め格納されているプログラムやプログラム実行に必要なデータを主メモリ3にロードして実行することにより、各構成要素の動作を制御する制御部として機能をソフトウエアにより実現する(以下、CPU2を制御部2とも呼ぶ)。なお、制御部2の機能は、ハードウェアにより実現することもできる。例えば、ASIC(Application Specific Integrated Circuit)のようなカスタムICや、FPGA(Field-Programmable Gate Array)のようなプログラマブルICをCPU2の代わりに用いて、各部の機能を実現するように回路設計を行えばよい。
主メモリ3は、CPU2が実行するプログラムや演算処理の途中経過を記憶する。
表示メモリ5は、表示装置6に表示するための表示データを一時格納するものである。表示装置6は、液晶ディスプレイやCRT(Cathode Ray Tube)等である。
コントローラ7には、マウス8が接続されている。マウス8はトラックパッドやトラックボールなどの他のポインティングデバイスであっても良い。コントローラ7は、マウス8の状態を検出して、表示装置6上のマウスポインタの位置を取得し、取得した位置情報等をCPU2へ出力する。
ファントム19の構造を図3に示す。ファントム19には、非平行に2本のワイヤ301とワイヤ302が張られている。ファントム19には位置検出センサ9で検出可能なファントム用マーカ307が固定されており、ワイヤ301の固定端である点303および点304、並びにワイヤ302の固定端である点305および点306は、ファントム用マーカ307に設定された3軸直交座標系の決められた位置に配置されているものとする。
さらに、ファントム19には、超音波プローブをその主平面の向き(角度)を一定に保ったまま一方向にスライド(平行移動)することができるガイドレール308を備えている。ガイドレール308の位置およびスライド方向はファントム用マーカ307に対して固定されているものとする。
本実施形態の超音波撮像システムでは、図4に示したステップを順に実行する。
操作者が超音波プローブにプローブ位置検出用マーカを取り付けるステップ、
操作者が超音波プローブ登録用ファントム(以下、ファントムと呼称する)19の超音波画像を取得するステップ、
ファントム19の超音波画像が2か所以上で取得されていることを制御部2が判定するステップ、
ファントム19の超音波画像上のワイヤ301,302の断面像を検出しワイヤ位置を登録するステップ、
超音波画像に基づいてファントム座標系から超音波ビームの走査面(超音波画像が撮像された断面)の座標系への回転行列を制御部2が算出するステップと、
回転行列に基づいてプローブ位置検出用マーカ17から超音波ビーム打ち出し点までのオフセットベクトルを制御部2が算出するステップ、
操作者が被検体と医用画像とのレジストレーションのための操作を実施するステップ、および、
操作者が超音波プローブ12を被検体上で移動させて超音波画像を取得した場合、制御部2は、プローブ位置検出用マーカ17の位置から超音波画像の位置と向きに対応する医用画像の生成し、表示装置6に表示するステップ
である。
このように、ファントムの超音波画像を用いて超音波ビームの走査面の位置と角度を算出することで、CT画像やMRI画像と超音波画像を同期表示した手術ナビゲーション機能を提供することができる
図4は、本発明の基本フローを示す図である。以下、図4の各ステップについて詳細に説明する。
(ステップS401)
本ステップでは、操作者は、超音波プローブ12にプローブ用マーカ17を取り付ける。取り付け機構17bは、例えば、図2の示したような構造であり、操作者は、ネジ締めにより超音波プローブ12を挟み込むことによりプローブ用マーカ17を超音波プローブ12に固定する。
(ステップS402)
本ステップではファントム19の超音波画像を取得する。位置検出センサ9が配置された実空間に、非平行に張られた2以上のワイヤが含まれるファントムを配置する。
制御部2は、ファントム19の超音波画像を取得する際に、図5のようなGUIを表示装置6に表示する。操作者は、超音波プローブ12をガイドレール308に取り付け、超音波プローブ12の主平面のガイドレール308(ファントム19)に対する角度が変わらないように固定する。操作者が、GUI状の開始ボタン512を押下すると、制御部2は、超音波撮像装置11に制御信号を出力し、超音波撮像装置11は、プローブ用マーカ17とそれに対応する超音波画像の取得を開始する。あるいは、制御部2が、ファントム用マーカ307の一定範囲内でプローブ用マーカ17が静止したことを検出して、プローブ用マーカ17とそれに対応する超音波画像の取得開始を指示してもよい。
操作者は、図5のGUI内の操作ガイドアニメーション511に従って超音波プローブ12をガイドレール308に沿ってスライドさせる。位置検出センサ9は、プローブ用マーカ17の三次元位置を検出する。超音波撮像装置11は、それに対応するファントム19の超音波画像を撮像する。これにより、ガイドレール308に沿った少なくとも2か所において、超音波撮像装置11は、超音波画像を取得する。
操作者は、超音波プローブ12をガイドレール308の端までスライドさせた後、終了ボタン513を押下することでファントム19の超音波画像取得操作を終了する。あるいは、超音波プローブ12がガイドレール308の長さに相当する距離を移動したことを、制御部2が検出して、ファントム19の超音波画像の取得を終了してもよい。
取得した超音波画像は、取得時のプローブ用マーカ17の三次元位置とセットで主メモリ3に記録される。
上記には、操作者が手動で超音波プローブ12をガイドレール308に沿ってスライドさせる方法について記述したが、モータ等によって駆動して超音波プローブ12をガイドレール308に沿ってスライドさせてもよい。その場合、超音波画像取得の開始・終了タイミングはモータの駆動開始・終了タイミングと同期することで制御可能であり、開始ボタン512および終了ボタン513による操作は不要となる。
(ステップS403)
制御部2は主メモリ3に記録された超音波画像を参照し、少なくとも2か所における超音波画像が取得されているかどうかを確認する。取得した超音波画像が2か所未満の場合は超音波画像を再度取得する必要がある旨のメッセージを表示装置6に表示する。操作者が前記メッセージを確認した場合、S402の操作を再度実施する。2か所以上の超音波画像を取得した場合は、S404を実施する。
(ステップS404)
制御部2は、S402で取得したファントム19の2か所以上の超音波画像のうち、2つの超音波画像を主メモリ3から読み出し、超音波画像表示領域514および516に表示する。
画面に表示されたスライダ515および517を操作者がマウスにより操作することで、超音波画像取得時のプローブ用マーカ17の位置を選択することが可能である。制御部2は、操作者によって選択されたプローブ用マーカ17の位置とセットとなった超音波画像を主メモリから読み出し、超音波画像表示領域514および516に表示する。
操作者が自動検出ボタン518を押下した場合には、制御部2は超音波画像表示領域514および516に表示された超音波画像上のワイヤ301,302の断面像をHough変換等によって検出し、ワイヤ位置p,p,q,qを登録する。あるいは、操作者が超音波画像上のワイヤを視認して、超音波画像表示領域514および516上でワイヤ位置を選択することで、ワイヤ位置を登録することも可能である。
(ステップS405)
操作者が実行ボタン519を押下すると、制御部2は超音波ビームの走査面(超音波画像)の位置と角度の算出処理を実行する。
以下、超音波ビームの走査面の位置と角度の算出処理のアルゴリズムについて図4に基づいて説明する。なお、超音波画像309aおよび309bはそれぞれ、超音波画像表示領域514および516に表示された超音波画像と同等であるとする。
超音波画像309aおよび309bに写ったワイヤ301の位置をそれぞれpおよびp、ワイヤ302の位置をそれぞれqおよびqとし、ファントム用マーカ307に設定した座標系をKph、原点をo、点303をa、点305をb、ワイヤ301に沿った単位ベクトルc、ワイヤ302に沿った単位ベクトルdとすると、座標系Kphにおける原点oからpおよびq(i=1,2)に向かうベクトルop、oqは、係数s,tを用いて以下のように表される。なお、以降の説明において、式中の矢印はベクトルを表している。
Figure 2022162869000002
Figure 2022162869000003
超音波プローブ12の12aから12bへの移動ベクトルをベクトルΔと置くと、係数α,βを用いて以下の式が成り立つ。
Figure 2022162869000004
Figure 2022162869000005
ここで、pからベクトルΔ移動した先の点を点310、qからベクトルΔ移動した先の点を点311とすると、点310および点311は309bの面上の点である。点310からpへ向かうベクトルuは以下のように表される。
Figure 2022162869000006
同様に、点311からqへ向かうベクトルvは以下のように表される。
Figure 2022162869000007
超音波プローブ12をガイドレール308のスライド方向の単位ベクトルΔだけ移動した場合のベクトルuに相当するベクトルΔuは以下のように表される。
Figure 2022162869000008
同様に、ベクトルΔvは以下のように表される。
Figure 2022162869000009
ここで、|Δu|を計算することで、以下のようにαの値が算出できる。
Figure 2022162869000010
同様に、|Δv|を計算することで、以下のようにβの値が算出できる。
Figure 2022162869000011
ここで、ベクトルΔuおよびべクトルΔvは超音波ビームの走査面上に存在するため、超音波ビームの走査面に対する単位法線ベクトルnは以下のように算出できる。
Figure 2022162869000012
ファントム用マーカ307に設定した座標系Kphから超音波ビームの走査面の座標系Kusへの回転行列をRus←phは以下のように算出できる。ただし、式12において、ΔuxおよびΔuyは座標系KusにおけるΔuのx成分およびy成分、ΔvxおよびΔvyは座標系KusにおけるΔvのx成分およびy成分である。
Figure 2022162869000013
超音波プローブに取り付けたプローブ用マーカ17に設定した座標系をKpr、原点をgと置き、位置検出センサ9における座標系をK、原点をhと置くと、プローブ用マーカ17に設定した座標系Kprから超音波ビームの走査面の座標系Kusへの変換行列Rus←prは以下のように表される。
Figure 2022162869000014
式13において、Rh←ph、Rh←prは、位置検出センサでファントム用マーカ307およびプローブ用マーカ17を検出することで得られる座標変換行列である。位置検出センサは各位置検出用マーカに取り付けられた3つ以上の反射球の三次元位置を検出し、さらに反射球の配置を基準に設定された各位置検出用マーカの座標系を認識し、各位置検出用マーカの座標系からセンサ座標系への座標変換行列を算出する。
(ステップS406)
超音波ビームの打ち出し点をfと置くと、ベクトルop(Kph)は以下のように表される。
Figure 2022162869000015
式14より、超音波プローブ12に取り付けたプローブ用マーカ17から超音波ビーム打ち出し点までのオフセットベクトルgf(Kpr)を算出できる。
ステップS405で算出した超音波プローブに取り付けたプローブ用マーカ17に設定した座標系をKprから超音波ビームの走査面の座標系Kusへの回転行列Rus←pr、および、ステップS406で算出したプローブ用マーカ17の原点gから超音波ビーム打ち出し点fまでのオフセットベクトルgf(Kpr)を超音波プローブ12の座標変換情報として登録する。
超音波プローブ12の登録が完了した旨を表示装置6に表示する。さらに別の超音波プローブを登録したい場合は、ステップS401~S406の操作を繰り返すことで複数の超音波プローブを登録することが可能である。
(ステップS407)
操作者は、ナビゲーションに使用する医用画像と実空間上の被検体(以下、患者とも呼ぶ)の位置を合わせるレジストレーション操作を実施する。レジストレーションは、患者の鼻根部や目尻などの解剖学的特徴点や患者に貼り付けた撮像マーカの位置を3点以上ポイントすることで実空間上のマーカ位置と医用画像上のマーカ位置を対応付ける方法(ポイントレジストレーション)や、レーザなどを用いて取得した患者の表面情報と医用画像から再構築した三次元画像の表面情報を対応づける方法(サーフェイスレジストレーション)で実施される(非特許文献1)。なお、レジストレーション操作は超音波プローブ登録操作よりも前(ステップS401よりも前)に実施してもよい。
(ステップS408)
図6はCT画像やMRI画像と超音波画像を同期表示した手術ナビゲーション実施時のGUIの基本的な実施形態を示す図である。ステップS406で登録した超音波プローブを患部に当てると、超音波画像表示領域612に超音波画像が表示される。
ステップS407で実施したレジストレーション操作によってCT画像やMRI画像と実空間上の患者位置が対応付けられ、さらに、位置検出センサ9で検出した超音波プローブ12に取り付けたプローブ用マーカ17の位置情報に対して回転行列Rus←phと、オフセットベクトルgfを用いることで、超音波画像と実空間の位置関係が対応付けられる。これにより、超音波画像が描出した位置に対応するCT画像やMRI画像などの医用画像がナビゲーション画像表示領域611に同期表示される。
本実施形態により、ファントムの超音波画像を取得するだけの簡便な操作で、システムが自動的に超音波ビームの走査面の位置と角度を算出することが可能となり、操作者の負担低減および操作性を向上することが可能である。さらに、ファントムの超音波画像に基づいて超音波ビームの走査面の位置と角度を算出することで、超音波プローブ12の種別や個体差によらず、精度良く超音波プローブ12の登録が可能である。
なお、上述のステップS401~S406による超音波プローブ12の座標変換情報の登録は、手術ナビゲーションが実施される患者(被検体)が配置されている部屋に、位置検出センサ9と、ファントム19と、超音波撮像装置11を含む超音波撮像システム1を配置して、マーカ17つきの超音波プローブ12によりファントム19の超音波画像を撮像することによって行い、同じ位置検出センサ9を用いて手術ナビゲーションを行うことが望ましいが、本実施形態はこれに限定されるものではない。手術ナビゲーションが実施される部屋とは別の部屋に、位置検出センサ9と、ファントム19と、超音波撮像装置11を含む超音波撮像システム1を配置して、ステップS401~S406による超音波プローブ12の座標変換情報の登録を行い、その後、別の位置検出センサが配置された、患者(被検体)の配置されている部屋にマーカ17つきの超音波プローブ12だけ移動させて、別の位置検出センサを用いて手術ナビゲーションを行ってもよい。この場合、位置検出センサが異なることによる誤差は、生じ得るが、位置検出センサ同士を較正等することにより、誤差を低減することができる。
1:超音波撮像システム、2:CPU、3:主メモリ、4:記憶装置、5:表示メモリ、6:表示装置、7:コントローラ、8:マウス、9:位置検出センサ、10:ネットワークアダプタ、11:超音波撮像装置。12:超音波プローブ、13:システムバス、14:ネットワーク、15:3次元撮像装置、16:医用画像データベース、17:位置検出用マーカ、18:反射球、19:超音波プローブ登録用ファントム

Claims (9)

  1. 位置検出センサが配置された実空間に、非平行に張られた2以上のワイヤが含まれるファントムを配置し、プローブ位置検出用マーカが取り付けられた超音波プローブをその主平面の向きを一定に保ったまま前記ファントム上で平行移動させ、前記プローブ位置検出用マーカの実空間における位置を前記位置検出センサで検出しながら、前記ファントムの超音波画像を2以上取得する第1ステップと、
    2以上の前記超音波画像にそれぞれ含まれる前記2以上のワイヤの断面像の位置を求め、求めた前記2以上のワイヤの断面像の位置の関係に基づいて、前記プローブ位置検出用マーカの実空間の位置と、撮像される前記超音波画像の実空間における向きおよび位置との関係を算出し、算出した当該関係をプローブ座標変換情報として、記憶部に登録する第2ステップと、
    とを有することを特徴とする超音波プローブの位置登録方法。
  2. 請求項1に記載の超音波プローブの位置登録方法であって、
    前記ファントムには、ファントム位置検出用マーカが取り付けられており、前記2本のワイヤは、前記ファントム位置検出用マーカと予め定めた位置関係で張られており、
    前記第1ステップでは、実空間における前記ファントム位置検出用マーカの位置を前記位置検出センサによってさらに検出し、
    前記第2ステップでは、前記プローブ位置検出用マーカの実空間の位置と、撮像される前記超音波画像の実空間における向きおよび位置との関係として、前記ファントム位置検出用マーカの座標系を前記超音波プローブによる超音波ビーム走査面の座標系に変換する回転行列Rus←prと、前記プローブ位置検出用マーカの原点から前記超音波プローブの超音波ビームの打ち出し点までのオフセットベクトルgf(Kpr)とを算出する
    ことを特徴とする超音波プローブの位置登録方法。
  3. 位置検出センサと、非平行に張られた2以上のワイヤが含まれるファントムと、プローブ位置検出用マーカが取り付けられた超音波プローブと、前記超音波プローブから超音波を送信および受信させて超音波画像を撮像する超音波撮像装置と、記憶部と、制御部とを有し、
    前記制御部は、
    実空間に配置された前記ファントム上で、前記超音波プローブをその主平面の向きを一定に保ったまま平行移動させ、前記プローブ位置検出用マーカの実空間における位置を前記位置検出センサで検出しながら前記超音波撮像装置によって撮影された、前記ファントムの2以上の超音波画像を受け取り、
    2以上の前記超音波画像にそれぞれ含まれる前記2以上のワイヤの断面像の位置を算出し、
    前記2以上のワイヤの断面像の位置の関係に基づいて、前記プローブ位置検出用マーカの実空間の位置と、撮像される前記超音波画像の実空間における向きおよび位置との関係を算出し、
    算出した当該関係をプローブ座標変換情報として、前記記憶部に登録する
    ことを特徴とする超音波撮像システム。
  4. 請求項3に記載の超音波撮像システムであって、
    前記制御部は、
    前記超音波撮像装置が被検体について撮像した超音波画像、および、撮像時に前記位置検出センサが検出した前記プローブ位置検出用マーカの位置を受け取り、
    前記記憶部に登録されている前記プローブ座標変換情報と、前記プローブ位置検出用マーカの位置とを用いて、前記被検体の前記超音波画像の向きと位置を算出し、
    前記被検体について予め撮像された3次元医用画像データから、前記被検体の前記超音波画像の向きと位置に対応する2次元医用画像を生成し、前記超音波画像と共に、接続されている表示装置に表示させる
    ことを特徴とする超音波撮像システム。
  5. 請求項3に記載の超音波撮像システムであって、
    前記ファントムには、ファントム位置検出用マーカが取り付けられており、前記2本のワイヤは、前記ファントム位置検出用マーカと予め定めた位置関係で張られており、
    前記制御部は、実空間における前記ファントム位置検出用マーカの位置を前記位置検出センサによってさらに検出し、
    前記プローブ位置検出用マーカの実空間の位置と、撮像される前記超音波画像の実空間における向きおよび位置との関係として、前記ファントム位置検出用マーカの座標系を前記超音波プローブによる超音波ビーム走査面の座標系に変換する回転行列Rus←prと、前記プローブ位置検出用マーカの原点から前記超音波プローブの超音波ビームの打ち出し点までのオフセットベクトルgf(Kpr)とを算出する
    ことを特徴とする超音波撮像システム。
  6. 請求項3に記載の超音波撮像システムであって、
    前記ファントムは、前記超音波プローブをその主平面の向きを一定に保ったまま前記ファントム上で平行移動させるガイドレールを備えることを特徴とする超音波撮像システム。
  7. 位置検出センサと、前記位置検出センサが配置された実空間に配置された、非平行に張られた2以上のワイヤが含まれるファントムと、超音波撮像装置の超音波プローブに取り付けられたプローブ位置検出用マーカと、記憶部と、制御部とを有し、
    前記制御部は、
    実空間に配置された前記ファントム上で、前記超音波プローブをその主平面の向きを一定に保ったまま平行移動させ、前記プローブ位置検出用マーカの実空間における位置を前記位置検出センサで検出しながら前記超音波撮像装置によって撮影された、前記ファントムの2以上の超音波画像を受け取り、
    2以上の前記超音波画像にそれぞれ含まれる前記2以上のワイヤの断面像の位置を算出し、
    前記2以上のワイヤの断面像の位置の関係に基づいて、前記プローブ位置検出用マーカの実空間の位置と、撮像される前記超音波画像の実空間における向きおよび位置との関係を算出し、
    算出した当該関係をプローブ座標変換情報として、前記記憶部に登録する
    ことを特徴とする超音波プローブ用位置登録システム。
  8. 非平行に張られた2以上のワイヤと、超音波プローブをその主平面の向きを一定に保ったままスライドさせる際のガイドになるガイドレールとを含むことを特徴とする超音波プローブ位置登録用ファントム。
  9. コンピュータに、
    位置検出センサが配置された実空間に配置され、非平行に張られた2以上のワイヤが含まれるファントムの上で、プローブ位置検出用マーカが取り付けられた超音波プローブをその主平面の向きを一定に保ったまま平行移動させ、前記プローブ位置検出用マーカの実空間における位置を前記位置検出センサで検出しながら前記超音波撮像装置によって撮影された、前記ファントムの2以上の超音波画像を受け取るステップと、
    2以上の前記超音波画像にそれぞれ含まれる前記2以上のワイヤの断面像の位置を算出するステップと、
    前記2以上のワイヤの断面像の位置の関係に基づいて、前記プローブ位置検出用マーカの実空間の位置と、撮像される前記超音波画像の実空間における向きおよび位置との関係を算出するステップと、
    算出した当該関係をプローブ座標変換情報として、記憶部に登録するステップとを
    実行させる超音波プローブ用位置登録プログラム。
JP2021067915A 2021-04-13 2021-04-13 超音波プローブの位置登録方法、超音波撮像システム、超音波プローブ用位置登録システム、超音波プローブ位置登録用ファントム、および、超音波プローブ用位置登録プログラム Pending JP2022162869A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021067915A JP2022162869A (ja) 2021-04-13 2021-04-13 超音波プローブの位置登録方法、超音波撮像システム、超音波プローブ用位置登録システム、超音波プローブ位置登録用ファントム、および、超音波プローブ用位置登録プログラム
US17/700,735 US20220327735A1 (en) 2021-04-13 2022-03-22 Ultrasound probe position registration method, ultrasound imaging system, ultrasound probe position registration system, ultrasound probe position registration phantom, and ultrasound probe position registration program
CN202210292287.4A CN115192193A (zh) 2021-04-13 2022-03-23 超声波探测器的位置登记方法、超声波摄像系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021067915A JP2022162869A (ja) 2021-04-13 2021-04-13 超音波プローブの位置登録方法、超音波撮像システム、超音波プローブ用位置登録システム、超音波プローブ位置登録用ファントム、および、超音波プローブ用位置登録プログラム

Publications (1)

Publication Number Publication Date
JP2022162869A true JP2022162869A (ja) 2022-10-25

Family

ID=83510838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021067915A Pending JP2022162869A (ja) 2021-04-13 2021-04-13 超音波プローブの位置登録方法、超音波撮像システム、超音波プローブ用位置登録システム、超音波プローブ位置登録用ファントム、および、超音波プローブ用位置登録プログラム

Country Status (3)

Country Link
US (1) US20220327735A1 (ja)
JP (1) JP2022162869A (ja)
CN (1) CN115192193A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058146B (zh) * 2023-10-12 2024-03-29 广州索诺星信息科技有限公司 一种基于人工智能的超声数据安全监管系统及方法

Also Published As

Publication number Publication date
US20220327735A1 (en) 2022-10-13
CN115192193A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
US9558583B2 (en) Systems and methods for tracking positions between imaging modalities and transforming a displayed three-dimensional image corresponding to a position and orientation of a probe
JP5291619B2 (ja) 座標系レジストレーション
US5920395A (en) System for locating relative positions of objects in three dimensional space
US5823958A (en) System and method for displaying a structural data image in real-time correlation with moveable body
JP2950340B2 (ja) 三次元データ組の登録システムおよび登録方法
US9119585B2 (en) Sensor attachment for three dimensional mapping display systems for diagnostic ultrasound machines
US6490473B1 (en) System and method of interactive positioning
US20130172739A1 (en) Multi-modal medical imaging
EP3280344A2 (en) Method, apparatus, and system for utilizing augmented reality to improve surgery
JP2007526066A (ja) 患者体内において医療器具をガイドするシステム
US7295007B2 (en) Reducing movement artifacts in magnetic resonance measurements
EP2839307A1 (en) Magnetic resonance imaging with automatic selection of a recording sequence
US20210225032A1 (en) Multiple camera calibration
JP2022162869A (ja) 超音波プローブの位置登録方法、超音波撮像システム、超音波プローブ用位置登録システム、超音波プローブ位置登録用ファントム、および、超音波プローブ用位置登録プログラム
JP4592346B2 (ja) 医療診断システム
JP6224341B2 (ja) 固定具及び超音波診断装置
JP2022047374A (ja) 手術ナビゲーションシステム、手術ナビゲーション機能を備えた医用撮像システム、および、手術ナビゲーション用の医用画像の位置合わせ方法
CN111184535A (zh) 手持式无约束扫描无线三维超声实时体素成像系统
JP7375182B2 (ja) 追跡の不正確性の補償
JP3988183B2 (ja) 磁気共鳴イメージング装置
US20230237711A1 (en) Augmenting a medical image with an intelligent ruler
JP2022049256A (ja) 手術ナビゲーションシステム、手術ナビゲーション機能を備えた医用撮像システム、および、手術ナビゲーション用の医用画像の位置合わせ方法
US20220058829A1 (en) Intra-operative determination of a focal length of a camera for medical applications

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20211015