JP2019501704A - 医療機器の追跡 - Google Patents

医療機器の追跡 Download PDF

Info

Publication number
JP2019501704A
JP2019501704A JP2018531406A JP2018531406A JP2019501704A JP 2019501704 A JP2019501704 A JP 2019501704A JP 2018531406 A JP2018531406 A JP 2018531406A JP 2018531406 A JP2018531406 A JP 2018531406A JP 2019501704 A JP2019501704 A JP 2019501704A
Authority
JP
Japan
Prior art keywords
marker
medical device
tracking
tip
line segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018531406A
Other languages
English (en)
Other versions
JP2019501704A5 (ja
JP6878435B2 (ja
Inventor
ロバート ヨハネス フレデリク ホーマン
ロバート ヨハネス フレデリク ホーマン
ロナルドゥス フレデリック ヨハネス ホルトフイゼン
ロナルドゥス フレデリック ヨハネス ホルトフイゼン
ミカエル グラス
ミカエル グラス
ハロルド アグネス ウィルヘルムス シュメイツ
ハロルド アグネス ウィルヘルムス シュメイツ
ベルナルドス ヘンドリクス ウィルヘルムス ヘンドリクス
ベルナルドス ヘンドリクス ウィルヘルムス ヘンドリクス
ティルクマラン ザンガラジ カナガサバパティ
ティルクマラン ザンガラジ カナガサバパティ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2019501704A publication Critical patent/JP2019501704A/ja
Publication of JP2019501704A5 publication Critical patent/JP2019501704A5/ja
Application granted granted Critical
Publication of JP6878435B2 publication Critical patent/JP6878435B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90Identification means for patients or instruments, e.g. tags
    • A61B90/92Identification means for patients or instruments, e.g. tags coded with colour
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90Identification means for patients or instruments, e.g. tags
    • A61B90/94Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681Aspects not otherwise provided for
    • A61B2017/00725Calibration or performance testing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • A61B2090/3941Photoluminescent markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983Reference marker arrangements for use with image guided surgery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、医療機器追跡に関する。医療機器追跡を容易にするための医療機器追跡システム100が提供される。システムは、機器マーカ14、追跡装置16及び処理ユニット18を含む。機器マーカは、マーカ位置20上で医療機器に取り付けられる。追跡システムは、関心フィールド内の線セグメント22を検出し、取り付けられた機器マーカを検出する。処理ユニットは、線セグメント上で取り付けられた機器マーカが検出される当該線セグメント24を医療機器として特定し、被験者上の基準マーカ34を医療機器10と接触させることによって、医療機器先端28の位置とマーカ14とのオフセット26を決定する。

Description

本発明は、医療機器の追跡の分野に関し、具体的には、医療機器の追跡システム、医療機器の追跡方法、コンピュータプログラム要素及びコンピュータ可読媒体に関する。
可動型デバイス、フレキシブルカテーテル又はより硬いアーム若しくはシャフトといった医療機器は、病状の診断及び治療の低侵襲的処置に使用される。幾つかの応用及び状況では、画像支援外科的介入において、例えば動脈及び神経といった重要な周囲構造を損傷することなく繊細な処置を行うために、医療機器の位置及び向きを把握することが重要である。例えば国際特許公開WO2015/032676A1は、介入デバイスの位置及び形状を決定する電磁追跡センサについて説明している。
幾つかの追跡方法は、データベースに記憶される医療機器の寸法に関する情報を必要とする。例えば米国特許出願公開第2012/0259204A1号は、機器に軸に沿って可視性要素を提供することについて説明している。これにより、特定の機器を特徴付ける要素の位置がデータベースに記憶される。
したがって、限られた数の既知の医療機器しか追跡できない。
医療機器の追跡を容易にする必要がある。
本発明の目的は、独立請求項の主題によって解決される。更なる実施形態は、従属請求項に組み込まれる。なお、以下に説明される本発明の態様は、医療機器の追跡システム、医療機器の追跡方法、コンピュータプログラム要素及びコンピュータ可読媒体に等しく適用される。
本発明の第1の態様によれば、関心フィールド内の細長い医療機器を追跡するシステムが提供される。システムは、追跡装置と処理ユニットとを含む。
追跡装置は、医療機器の画像を取得し、当該画像は、医療機器の先端から離れたマーカ位置で医療機器上に置かれた機器マーカを含む。
処理ユニットは、i)取得された画像内で少なくとも1つの線セグメント及び機器マーカを検出し、ii)検出された少なくとも1つの線セグメントから、検出された機器マーカに対応する線セグメントを選択することによって医療機器を特定し、iii)基準マーカに接触する医療機器に基づいて、医療機器の先端の位置のオフセットを決定する。
一例では、真っすぐで細長い医療機器が使用される。医療機器が追跡される医療処置中、機器マーカが基準として使用される。医療機器の一部が被験者の中にあっても医療機器の先端位置を示すために、マーカと先端位置とのオフセットが決定される。このために、医療機器を被験者に挿入する前に、被験者上の基準マーカが医療機器先端によって接触される。
機器先端による基準マーカの接触は、追跡装置によって検出される。例えば基準マーカが追跡装置によって提供される画像内で可視である場合、機器先端と医療器具との接触は、提供された画像から検出される。この応用のコンテキストにおいて、「接触」とは、物理的な接触とだけでなく、仮想的な接触(つまり、医療機器を基準マーカの十分に近くにして、したがって、追跡画像のうちの1つ以上の追跡画像では、機器表現とマーカ表現とは重なる)とも理解される。
したがって、接触は、機器の先端自体の位置が、十分な信頼性で追跡画像内に確立されていなくても検出される。
一例では、少なくとも1つの基準マーカが被験者上に提供される。例えば基準マーカのセットが患者の外部上に提供されてもよい。この場合、追跡装置は、機器位置の追跡に加えて、患者の動きも追跡する。
このようにすると、複数の医療機器の幾何学的情報を記憶するデータベースを作成する必要がない。(データベース内の既知の医療機器とは対照的に)未知のデバイスでも、ユーザは、医療機器上の機器マーカを単に使用して、医療機器の一部が被験者内であっても医療機器を追跡することができる。したがって、多様な医療機器を追跡することができる。
「医療機器上に置かれた機器マーカ」との表現は、当該機器マーカが医療機器に取り付けられた別箇のマーカであることと、当該機器マーカが医療機器の一体部分であることとを含む。
一実施形態では、医療機器を追跡するのに単一の機器マーカで十分である。単一のマーカと機器先端とのオフセットは、機器先端と基準マーカとの接触インタラクションによって確実に決定される。
一例によれば、機器マーカは、生体適合反射性塗料、蛍光塗料、固有の反射反応を有し、医療機器を形成する材料及び粘着テープの群のうちの少なくとも1つを含む。
機器マーカは、医療機器に取り付けられる又は噴霧されてよい。
一例によれば、生体適合反射性塗料及び/又は蛍光塗料は、帯域幅選択的である発光を持つ。
このようにすると、反射性塗料又は蛍光塗料の励起/発光は、フィルタリングされた光源及び/又はカメラが位置決定に使用される一方で、シーンのビデオ画像は乱されないままであるように帯域幅選択的である。
或いは又は更に、機器のランドマーク自体が機器マーカとして使用されてもよい。一例では、医療機器の2つの部分間の境界が機器マーカとして使用される。例えば機器のシャフトとハンドル部との境界(境界はシャフト方向に垂直である)が、機器追跡を可能とするように追跡画像内で十分にはっきりと可視である。このような移行部を検出することによって、デバイスに別箇(人工)のマーカを取り付けることなく、機器を追跡することが可能となる。
医療機器を追跡するには、一例では、少なくとも1つのカメラを有する光学追跡装置が使用される。したがって、少なくとも1つのカメラからの画像を使用することによって、医療機器の3次元位置が決定される。一例では、正確な3次元追跡を可能とするために、少なくとも2つの光学カメラが使用される。代案として又は更に、3次元追跡のための入力として、奥行き測定値で向上された光学画像を生成する単一の奥行き分解カメラが使用されてもよい。
或いは、少なくとも2つのカメラと光源とを使用することによって、医療機器の3次元モデルを生成することができる。例えばカメラシステムの前で医療機器を回転させて、一連の画像から3次元モデルを計算することができる。カメラ及び光源は、使用される反射性材料の種類に適した特定の波長フィルタを有してよい。様々な反射性材料及び特定波長のフィルタセットを使用することによって、手術に使用される1つ以上の機器を特定することができる。
本発明の第2の態様によれば、関心フィールド内の医療機器を追跡する方法が提供される。当該方法は、
a)医療機器の先端から離れたマーカ位置で医療機器上に置かれた機器マーカを含む医療機器の画像を取得するステップと、
b)画像内で、関心フィールド内の少なくとも1つの線セグメントを検出するステップと、
c)機器マーカを検出するステップと、
d)検出された少なくとも1つの線セグメントから、検出された機器マーカに対応する線セグメントを選択することによって医療機器を特定するステップと、
f)医療機器を用いて基準マーカに接触することによって、医療機器先端の位置のオフセットを決定するステップとを含む。
本発明のこれら及び他の態様は、以下に説明される実施形態から明らかとなり、また、当該実施形態を参照して説明される。
本発明の例示的な実施形態は、次の図面を参照して以下に説明される。
図1は、医療機器の追跡システムの一例を概略的に示す。 図2は、関心フィールドの一例を概略的に示す。 図3は、医療機器の追跡方法の一例の基本ステップを示す。 図4は、方法の更なる一例を示す。 図5は、方法の更なる一例を示す。
図面は模式的に説明されているに過ぎず、正確な縮尺ではない。同じ参照符号は、図面全体を通して同じ又は同様の特徴を指す。
図1は、関心フィールド12内の医療機器10を追跡するシステム100を概略的に示す。
システム100は、追跡装置16と、処理ユニット18とを含む。機器マーカ14の追跡を可能とするために、機器マーカ14は、マーカ位置20において医療機器10上に置かれる。
「関心フィールド」との用語は、外科フィールド、手術フィールド等といった医療機器がその中で使用されるフィールドに関する。
「医療機器」との用語は、生物組織を変更するといった外科処置又は手術中に所望の効果を実行する特定の動作を行う特別にデザインされたツール又はデバイスに関する。
図1に示される例では、医療機器10は、真っすぐで細長い機器シャフト30と、ハンドル38とを含む。機器マーカ14は、医療機器先端28から離れて機器シャフト30上に取り付けられる。或いは又は更に、シャフト30とハンドル38との境界が、機器マーカ14’として使用されてもよい。
したがって、例えば被験者内に挿入された場合に医療機器先端28が遮られても、機器マーカ14、14’が、医療機器先端28の位置を示す基準を提供することができる。
一例では、機器マーカ14は、生体適合反射性塗料、蛍光塗料、固有反射反応を有し、医療機器の一部を形成する材料及び粘着テープの群のうちの少なくとも1つを含む。
腫瘍手術に使用される蛍光染料と同様の蛍光染料を蛍光塗料として使用してもよい。当該蛍光塗料は生体適合性があるべきである。蛍光染料の例としては、インドシアニングリーン(ICG)、フルオレセイン、フォトフリン、5−アミノレブリン酸(ALA)、パテントブルー、メチレンブルー等が挙げられる。
生体適合反射性塗料又は蛍光塗料は、例えば低侵襲外科処置中に、使用される外科又は腹腔鏡機器といった医療機器上に被覆又は噴霧される。
反射性コーティング又は蛍光染料コーティングは、染料又はコーティング材料の効率に基づいて、何回か使用後に再塗布される。コーティング材料は、反復使用のために、高圧滅菌可能又は消毒可能である。
或いは、医療機器の一部、例えばシャフト30の一部が、固有の反射反応又は蛍光反応を有する材料で作られてもよい。つまり、医療機器の一部が、医療機器先端28の位置を示す機器マーカとして使用されてもよい。
更なる例では、機器マーカ14は、例えば医療機器の中心軸の周りに、しっかりと留められるまで巻き付けられる1片の粘着テープである。
粘着テープは、例えば医療機器シャフト上を摺動する例えばシリコーンゴムスリーブ、熱収縮チューブ又は永久的に塗られた、エッチングされた若しくは彫刻されたマーカを含む材料から作られる。
上記機器マーカは、医療機器を取り囲む方向に延在するパターンを任意選択的に有してもよい。
図1に示される例では、機器マーカ14は、線のパターンを有する。線の本数及び/又は線の太さといった線のパターンは、様々な医療機器を区別するために変えられる。更なる例では、同じパターンがある医療機器は、例えば医療機器のシャフトの太さを利用して区別される。
パターンの他の例としては、例えば2次元バーコード、色コード等が挙げられる。このようにすると、医療機器は全方向において検出又は追跡される。
医療機器10は追跡装置16によって追跡される。追跡装置16は、応用及び状況に応じて、光学追跡装置、超音波追跡装置又は任意の他の適切な追跡装置であってよい。
図1に示される例では、追跡装置16は、図1に示される2つのカメラといった少なくとも2つの光学センサ32を含む光学追跡装置であり、複数の医療機器を同時に追跡することができる。互いに対する光学センサ32の位置及び向きが、例えば剛性機械的構成を介して分かる。これに代えて又は加えて、光学追跡装置は、光学画像を奥行き測定値と共に提供する奥行き分解カメラを含む。
国際特許公開WO2010/067281A1に説明されるように、例えば光学センサは、医用撮像システム内のX線デバイスに対して決定された空間関係で支えられる。
反射性材料又は蛍光材料が使用される場合、光学センサ32は、使用される反射性材料又は蛍光材料の種類に適した波長フィルタを含む。手術に使用される1つ以上の医療機器は、様々な反射性材料と、特定波長のフィルタセットとを使用することによって特定される。
追跡システム16は、医用撮像システム(例えば上記CアームX線システム)の一部として又は別箇の追跡ユニットとして手術セットアップに組み込まれる。
以下、本技術の説明を容易とするために、一般に本明細書では光学追跡装置について説明するが、当然ながら、他の追跡装置も本技術の範囲内である。
図2は、医療機器10が中にある関心フィールド12の一例を概略的に示す。
追跡システム100は、関心フィールド12内の線セグメント22(実線で示される)を検出し、図1に示される機器マーカ14又はマーカ14’を検出する。処理ユニット18は、検出された機器マーカに対応する線セグメント24(破線で示される)を、医療機器10として選択し、マーカ位置20を、医療機器先端28の先端位置のオフセット26を決定するための基準として使用する。
「オフセット」との用語は、空間的距離に関する。
医療機器の先端位置は、例えばスクリュードライバに取り付けられた椎弓根スクリューである(堅く)接続された部分の長さといった医療機器の可能な延長部を含む。
次に、図1及び図2の両方を参照するに、手術中、追跡システム16は、関心フィールド12を撮像し、関心フィールド12の画像データを取得する。画像は、現実世界における直線が、画像において直線に見えるようにレンズ歪について補正される。しかし、低歪レンズが使用される場合、このステップは省略される。
処理ユニット18は、例えばハフ(Hough)変換を介して、取得した画像データ内の直線を検出する。
処理ユニット18は更に、検出された各直線の端点を決定する。検出された各直線について、線の端点間に広がる平面及びカメラ中心が記憶される。
処理ユニット18は更に、検出された各直線について、各平面対の交差点を決定する。これは、開始点及び終了点を有する3次元線記述をもたらす。
検出された直線に沿って(又はその延長部上で)、機器マーカ14は、例えばパターン認識によって、少なくとも1つのカメラ画像上で検出される。直線上で取り付けられた機器マーカ14が検出される当該直線は、医療機器として特定され、追跡される。
例えば追跡画像において、追跡される医療機器10と基準マーカ34とのオーバーラップ又は交差が検出されると、つまり、機器10が、基準マーカ34まで、所定閾値未満の距離を有すると、オペレータは、先端位置を初期化することができる。基準マーカ34は、通常、関心フィールド内又は関心フィールドに近いマーカであり、患者の動きを追跡するように使用される。
基準マーカ34は、医療機器先端28によって接触されるように設けられ、追跡装置によって得られた画像内に可視である。基準マーカ34は、例えば円形であるが、医療機器先端28によるマーカ34の接触をより確実に確立するために、他の形状が使用されてもよい。例えば図1に示されるマーカ34は、円形の本体を有し、そこから、機器10がマーカに隣接するときに、追跡画像におけるマーカ34の可視性を更に向上させるために、テール部が延在する。
処理ユニットは更に、選択した線セグメント24に沿った機器マーカ14と接触した基準マーカ34との距離を検出し、検出した距離を、マーカ14と先端位置28とのオフセット26を決定するための入力として使用する。
或いは、追跡装置16は、関心フィールド12の画像データを取得する。処理ユニット18は、取得した画像データから3次元モデルを生成し、マーカ位置20に基づいて、先端位置までのオフセット26を計算する。
一実施形態(図示せず)では、追跡画像は、ディスプレイの画面上でユーザの目に見える形にされる。この場合、機器先端28と基準マーカ34との接触インタラクションに関するフィードバックが拡張現実ビューで与えられる。これにより、ユーザは、機器較正がうまく行われたこと、つまり、先端オフセットが決定されたことの視覚的フィードバックが与えられる。ユーザは、これに基づいて、次に、機器先端が被験者に挿入される介入手順を開始する。
更に、先端オフセットが初期化されると、線セグメントに沿った機器マーカ14と先端位置28との間の保存された距離を使用して、仮想機器(図示せず)が患者データ上に表示される。患者データは、低侵襲介入の前に登録される3次元断層撮影データセットであってよい。3次元断層撮影データセットは、例えばCT/MR(コンピュータ断層撮影/磁気共鳴)データセット又はXperCT/VasoCT/アンギオグラフィデータセットであってよい。
或いは、患者データは、追跡カメラ画像のうちの1つ以上の追跡カメラ画像に加えてユーザに示されるライブX線データであってよい。
図3は、機器追跡方法200の一例の基本ステップを示す。方法は次のステップを含む。
第1のステップ202(ステップa)とも呼ぶ)において、医療機器の先端から離れたマーカ位置で医療機器上に置かれた機器マーカを含む医療機器画像が取得される。
第2のステップ204(ステップb)とも呼ぶ)において、画像内で、関心フィールド内の少なくとも1つの線セグメントが検出される。
第3のステップ206(ステップc)とも呼ぶ)において、機器マーカが検出される。
第4のステップ208(ステップd)とも呼ぶ)において、検出された少なくとも1つの線セグメントから、検出された機器マーカに対応する線セグメントを選択することによって医療機器が検出される。
オプションのステップ210(ステップe)とも呼ぶ)において、選択された線セグメントの向きに基づいて医療機器の向きが決定される。
第5のステップ212(ステップf)とも呼ぶ)において、医療機器を用いて基準マーカを接触することによって、医療機器先端の位置のオフセットが決定される。
図4は、方法200のステップf)が更に、次のサブステップ:f1)基準マーカを提供するステップ222、f2)基準マーカに接触するように医療機器先端を使用するステップ224、f3)選択された線セグメントに沿った機器マーカと接触された基準マーカとの距離を検出するステップ226と、f4)検出した距離をオフセットとして使用するステップ228を含む更なる例を示す。
本発明の別の例示的な実施形態では、上記実施形態のうちの1つによる方法のステップを適切なシステム上で実行するように適応されていることによって特徴付けられるコンピュータプログラム又はコンピュータプログラム要素が提供される。
したがって、コンピュータプログラム要素は、コンピュータユニットに記憶されていてもよい。当該コンピュータユニットも、本発明の一実施形態の一部であってよい。当該コンピュータユニットは、上記方法のステップを行うか又はステップの実行を誘導する。更に、コンピュータユニットは、上記装置のコンポーネントを動作させる。コンピュータユニットは、自動的に動作するか及び/又はユーザの命令を実行する。コンピュータプログラムが、データプロセッサの作業メモリにロードされてよい。したがって、データプロセッサは、本発明の方法を実行する能力を備えている。
本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートによって、既存のプログラムを、本発明を使用するプログラムに変えるコンピュータプログラムとの両方を対象とする。
更に、コンピュータプログラム要素は、上記方法の例示的な実施形態の手順を満たすすべての必要なステップを提供することができる。
本発明の更なる例示的な実施形態によれば、CD−ROMといったコンピュータ可読媒体が提示される。コンピュータ可読媒体に、コンピュータプログラム要素が記憶され、コンピュータプログラム要素は上記セクションに説明されている。
コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光学記憶媒体又は固体媒体といった適切な媒体(具体的には、必ずしもそうである必要はないが、非一時的媒体)上に記憶される及び/又は分散配置されるが、インターネット又は他の有線若しくは無線通信システムを介した形態といった他の形態で分配されてもよい。
しかし、コンピュータプログラムは、ワールドワイドウェブといったネットワークを介して提示され、当該ネットワークからデータプロセッサの作業メモリにダウンロードされてもよい。本発明の更なる例示的な実施形態によれば、ダウンロード用にコンピュータプログラム要素を利用可能にする媒体が提供され、当該コンピュータプログラム要素は、本発明の上記実施形態のうちの1つによる方法を行うように構成される。
なお、本発明の実施形態は、様々な主題を参照して説明されている。具体的には、方法タイプのクレームを参照して説明される実施形態もあれば、デバイスタイプのクレームを参照して説明される実施形態もある。しかし、当業者であれば、上記及び下記の説明から、特に明記されない限り、1つのタイプの主題に属する特徴の任意の組み合わせに加えて、様々な主題に関連する特徴の任意の組み合わせも、本願によって開示されていると見なされると理解できるであろう。しかし、すべての特徴は、特徴の単なる足し合わせ以上の相乗効果を提供する限り、組み合わされることが可能である。
本発明は、図面及び上記説明において詳細に例示され、説明されたが、当該例示及び説明は、例示的に見なされるべきであり、限定的に見なされるべきではない。本発明は、開示される実施形態に限定されない。開示された実施形態の他の変形態様は、図面、開示内容及び従属請求項の検討から、請求項に係る発明を実施する当業者によって理解され、実施される。
請求項において、「含む」との用語は、他の要素又はステップを排除するものではなく、また、「a」又は「an」との不定冠詞も、複数形を排除するものではない。単一のプロセッサ又は他のユニットが、請求項に引用される幾つかのアイテムの機能を果たしてもよい。特定の手段が相互に異なる従属請求項に記載されることだけで、これらの手段の組み合わせを有利に使用することができないことを示すものではない。請求項における任意の参照符号は、範囲を限定するものと解釈されるべきではない。

Claims (13)

  1. 関心フィールド内の細長い医療機器を追跡するシステムであって、
    追跡装置と、
    処理ユニットと、
    を含み、
    前記追跡装置は、前記医療機器の画像を取得し、前記画像は、前記医療機器の先端から離れたマーカ位置で前記医療機器上に置かれた機器マーカを含み、
    前記処理ユニットは、i)取得された前記画像内で少なくとも1つの線セグメント及び前記機器マーカを検出し、ii)検出された前記少なくとも1つの線セグメントから、検出された前記機器マーカに対応する線セグメントを選択することによって前記医療機器を特定し、iii)基準マーカに接触する前記医療機器に基づいて、前記医療機器の前記先端の位置のオフセットを決定する、システム。
  2. 前記処理ユニットは更に、選択された前記線セグメントに沿った前記機器マーカと接触された前記基準マーカとの間の距離を検出し、検出された前記距離を前記オフセットの決定において使用する、請求項1に記載のシステム。
  3. 前記機器マーカは、
    生体適合反射性塗料、
    蛍光塗料、
    固有の反射反応を有し、前記医療機器を形成する材料、及び、
    粘着テープの群のうちの少なくとも1つを含む、請求項1又は2に記載のシステム。
  4. 前記生体適合反射性塗料及び/又は前記蛍光塗料は、帯域幅選択的である発光を持つ、請求項3に記載のシステム。
  5. 前記機器マーカは、前記医療機器の表面に沿って接線方向に延在するパターンを有する、請求項1乃至4の何れか一項に記載のシステム。
  6. 前記機器マーカは、前記医療機器の2つの部分間の境界を含む、請求項1又は2に記載のシステム。
  7. 前記機器マーカは、ニードルのシャフトとハンドルとの間の境界である、請求項6に記載のシステム。
  8. 前記追跡装置は、前記関心フィールドの画像データを取得し、
    前記処理ユニットは、取得された前記画像データから3次元モデルを生成し、前記マーカ位置に基づいて前記先端位置までの前記オフセットを計算する、請求項1乃至7の何れか一項に記載のシステム。
  9. 前記追跡装置は、少なくとも1つのカメラを含む光学追跡システムである、請求項1乃至8の何れか一項に記載のシステム。
  10. 関心フィールド内の医療機器を追跡する方法であって、
    a)前記医療機器の先端から離れたマーカ位置で前記医療機器上に置かれた機器マーカを含む前記医療機器の画像を取得するステップと、
    b)前記画像内で、前記関心フィールド内の少なくとも1つの線セグメントを検出するステップと、
    c)前記機器マーカを検出するステップと、
    d)検出された前記少なくとも1つの線セグメントから、検出された前記機器マーカに対応する線セグメントを選択することによって前記医療機器を特定するステップと、
    f)前記医療機器を用いて基準マーカに接触することによって、医療機器先端の位置のオフセットを決定するステップと、
    を含む、方法。
  11. ステップf)は更に、
    f1)基準マーカを提供するステップと、
    f2)前記基準マーカに接触するように前記医療機器先端を使用するステップと、
    f3)選択された前記線セグメントに沿った前記機器マーカと接触された前記基準マーカとの間の距離を検出するステップと、
    f4)検出された前記距離を前記オフセットとして使用するステップと、
    を含む、請求項10に記載の方法。
  12. プログラムがコンピュータによって実行されると、前記コンピュータに請求項10又は11に記載の方法のステップを行わせる命令を含む、コンピュータプログラム。
  13. 請求項12に記載のコンピュータプログラムを記憶した、コンピュータ可読媒体。
JP2018531406A 2015-12-18 2016-12-16 医療機器の追跡 Active JP6878435B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15201029.4 2015-12-18
EP15201029 2015-12-18
PCT/EP2016/081346 WO2017103046A2 (en) 2015-12-18 2016-12-16 Medical instrument tracking

Publications (3)

Publication Number Publication Date
JP2019501704A true JP2019501704A (ja) 2019-01-24
JP2019501704A5 JP2019501704A5 (ja) 2020-01-30
JP6878435B2 JP6878435B2 (ja) 2021-05-26

Family

ID=55023932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018531406A Active JP6878435B2 (ja) 2015-12-18 2016-12-16 医療機器の追跡

Country Status (5)

Country Link
US (1) US11007014B2 (ja)
EP (1) EP3389538B1 (ja)
JP (1) JP6878435B2 (ja)
CN (1) CN108778178B (ja)
WO (1) WO2017103046A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022080855A1 (ko) * 2020-10-13 2022-04-21 주식회사 고영테크놀러지 의료용 3차원 영상 측정 장치 및 의료 영상 정합 시스템
WO2022080853A1 (ko) * 2020-10-13 2022-04-21 주식회사 고영테크놀러지 휴대용 3차원 영상 측정 장치, 이를 이용한 3차원 영상 측정 방법 및 의료 영상 정합 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018235255A1 (ja) * 2017-06-23 2018-12-27 オリンパス株式会社 医療システムとその作動方法
SG10201807900SA (en) * 2018-09-12 2020-04-29 Techssisted Surgical Pte Ltd System and method for monitoring a device
WO2020226693A1 (en) * 2019-05-03 2020-11-12 Neil Glossop Systems, methods, and devices for registering and tracking organs during interventional procedures

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999038449A1 (en) * 1998-01-28 1999-08-05 Cosman Eric R Optical object tracking system
JP2005046200A (ja) * 2003-07-29 2005-02-24 Olympus Corp 内視鏡下手術システム
JP2009531113A (ja) * 2006-03-31 2009-09-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像誘導手術システム
WO2010067281A1 (en) * 2008-12-11 2010-06-17 Koninklijke Philips Electronics N.V. System and method for generating images of a patient's interior and exterior
US20120259204A1 (en) * 2011-04-08 2012-10-11 Imactis Device and method for determining the position of an instrument in relation to medical images
US20140357989A1 (en) * 2012-01-03 2014-12-04 Koninklijke Philips N.V. Position determining apparatus
US20150032676A1 (en) * 2013-07-23 2015-01-29 Twenty-Ten, Inc. System and method for segmenting social media participants by attitudinal segment

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856826B2 (en) * 2000-04-28 2005-02-15 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US20030076980A1 (en) * 2001-10-04 2003-04-24 Siemens Corporate Research, Inc.. Coded visual markers for tracking and camera calibration in mobile computing systems
GB0204549D0 (en) 2002-02-27 2002-04-10 Depuy Int Ltd A surgical instrument system
US7993353B2 (en) * 2002-06-04 2011-08-09 Brainlab Ag Medical tracking system with universal interface
US7166114B2 (en) 2002-09-18 2007-01-23 Stryker Leibinger Gmbh & Co Kg Method and system for calibrating a surgical tool and adapter thereof
US7809184B2 (en) 2005-05-04 2010-10-05 Brainlab Ag Devices and methods for automatically verifying, calibrating and surveying instruments for computer-assisted surgery
US9867669B2 (en) * 2008-12-31 2018-01-16 Intuitive Surgical Operations, Inc. Configuration marker design and detection for instrument tracking
US8170302B1 (en) * 2005-09-30 2012-05-01 Ut-Battelle, Llc System and method for generating motion corrected tomographic images
EP1952779B1 (de) 2007-02-01 2012-04-04 BrainLAB AG Medizintechnische Instrumenten-Identifizierung
JP5718904B2 (ja) 2009-05-13 2015-05-13 コーニンクレッカ フィリップス エヌ ヴェ 撮像手順の際のグローバルな患者動きを検出するシステム
CN102625669B (zh) * 2009-06-08 2015-09-23 核磁共振成像介入技术有限公司 能够近实时地跟踪和生成柔性体内装置的动态可视化的mri导向的介入系统
CN102481382A (zh) 2009-09-08 2012-05-30 皇家飞利浦电子股份有限公司 灭菌衣
JP5701306B2 (ja) 2009-10-20 2015-04-15 イムリス インク. マーカーを使用する画像システム
US8848977B2 (en) * 2010-01-04 2014-09-30 The Board Of Trustees Of The Leland Stanford Junior University Method for optical pose detection
NL2008205C2 (en) 2012-01-31 2013-08-01 Umc Utrecht Holding Bv Tracking of an endoscopic device.
US8750568B2 (en) 2012-05-22 2014-06-10 Covidien Lp System and method for conformal ablation planning
US10255721B2 (en) * 2012-06-20 2019-04-09 Koninklijke Philips N.V. Multicamera device tracking
CN105377174A (zh) 2013-02-11 2016-03-02 尼奥梅德兹有限责任公司 用于相对于身体跟踪对象的跟踪设备
JP6480938B2 (ja) * 2013-09-06 2019-03-13 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ナビゲーションシステム
IL236003A (en) * 2014-11-30 2016-02-29 Ben-Yishai Rani Model and method for registering a model

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999038449A1 (en) * 1998-01-28 1999-08-05 Cosman Eric R Optical object tracking system
JP2005046200A (ja) * 2003-07-29 2005-02-24 Olympus Corp 内視鏡下手術システム
JP2009531113A (ja) * 2006-03-31 2009-09-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像誘導手術システム
WO2010067281A1 (en) * 2008-12-11 2010-06-17 Koninklijke Philips Electronics N.V. System and method for generating images of a patient's interior and exterior
US20120259204A1 (en) * 2011-04-08 2012-10-11 Imactis Device and method for determining the position of an instrument in relation to medical images
US20140357989A1 (en) * 2012-01-03 2014-12-04 Koninklijke Philips N.V. Position determining apparatus
JP2015504721A (ja) * 2012-01-03 2015-02-16 コーニンクレッカ フィリップス エヌ ヴェ ポジション決定装置
US20150032676A1 (en) * 2013-07-23 2015-01-29 Twenty-Ten, Inc. System and method for segmenting social media participants by attitudinal segment

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022080855A1 (ko) * 2020-10-13 2022-04-21 주식회사 고영테크놀러지 의료용 3차원 영상 측정 장치 및 의료 영상 정합 시스템
WO2022080853A1 (ko) * 2020-10-13 2022-04-21 주식회사 고영테크놀러지 휴대용 3차원 영상 측정 장치, 이를 이용한 3차원 영상 측정 방법 및 의료 영상 정합 시스템

Also Published As

Publication number Publication date
US11007014B2 (en) 2021-05-18
WO2017103046A3 (en) 2017-07-27
WO2017103046A2 (en) 2017-06-22
CN108778178B (zh) 2021-10-01
EP3389538A2 (en) 2018-10-24
EP3389538B1 (en) 2022-11-02
JP6878435B2 (ja) 2021-05-26
US20200281660A1 (en) 2020-09-10
CN108778178A (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
JP6878435B2 (ja) 医療機器の追跡
JP6371729B2 (ja) 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
JP6492200B2 (ja) 組織マッピングおよび可視化システム
JP6243533B2 (ja) イメージングシステムへの光学形状検知システムの放射線のないレジストレーション
CN109199598B (zh) 用于实时三维(3d)心脏成像中玻璃态视图的系统和方法
BR102018077046A2 (pt) Uso de realidade aumentada para ajudar na navegação durante procedimentos médicos
JP6559532B2 (ja) X線透視画像のリアルタイムシミュレーション
JP6961341B2 (ja) 器具を視覚化するための座標系の間の位置合せ
EP3544538B1 (en) System for navigating interventional instrumentation
JP2016539713A5 (ja) イメージングシステムへの光学形状検知システムの放射線のないレジストレーション
JP2020516408A (ja) 内視鏡測定の方法および器具
AU2016269502A1 (en) Ascertaining a position and orientation for visualizing a tool
US11887236B2 (en) Animated position display of an OSS interventional device
JP2009201618A (ja) 体内挿入器具の種類を識別可能な手術支援システム
Ahmadian et al. An efficient method for estimating soft tissue deformation based on intraoperative stereo image features and point‐based registration
JP7330685B2 (ja) 耳鼻咽喉科用剛性ツールの較正
US20230005135A1 (en) Image enhancement based on fiber optic shape-sensing
KR102285008B1 (ko) 마커를 이용한 의료 기구 자세 추적 시스템
CN113614785A (zh) 介入设备跟踪

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210428

R150 Certificate of patent or registration of utility model

Ref document number: 6878435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250