JP2019511931A - 輪郭シグネチャを用いた手術画像獲得デバイスの位置合わせ - Google Patents

輪郭シグネチャを用いた手術画像獲得デバイスの位置合わせ Download PDF

Info

Publication number
JP2019511931A
JP2019511931A JP2018533776A JP2018533776A JP2019511931A JP 2019511931 A JP2019511931 A JP 2019511931A JP 2018533776 A JP2018533776 A JP 2018533776A JP 2018533776 A JP2018533776 A JP 2018533776A JP 2019511931 A JP2019511931 A JP 2019511931A
Authority
JP
Japan
Prior art keywords
contour
anatomical object
image
contour signature
signature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2018533776A
Other languages
English (en)
Inventor
ポール ティエンファラパ
ポール ティエンファラパ
アレクサンドラ ポポヴィッチ
アレクサンドラ ポポヴィッチ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2019511931A publication Critical patent/JP2019511931A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/00048Constructional features of the display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752Contour matching
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • A61B2090/3614Image-producing devices, e.g. surgical cameras using optical fibre
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20108Interactive selection of 2D slice in a 3D data set
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Abstract

解剖学的物体の術前輪郭シグネチャ及び生の輪郭シグネチャを用いた手術画像獲得デバイス(例えば、内視鏡)の位置合わせが説明される。制御ユニットは、リアルタイム輪郭シグネチャを解剖学的物体の術前輪郭シグネチャのデータベースと比較して、最終的な輪郭一致の選択のための輪郭シグネチャ一致候補のグループを生成するように構成されたプロセッサを含む。手術部位への画像獲得デバイスの位置合わせは、選択された最終的な輪郭シグネチャ一致に対応する方向に基づいて実現される。

Description

[0001] 内視鏡などの手術画像獲得デバイスは、臨床医が、解剖学的構造を直接観察のために外科的に露出させることを必要とせずに、患者の内部解剖学的構造を観察することを可能にする、薄く、細長いカメラ組立体を備える。内視鏡は皮膚内の狭い自然開口部又は小切開部を通り抜けることができ、それゆえ、内視鏡の助けを借りない可視化及び介入と比べて患者への外傷を低減する結果をもたらす。
[0002] 何らかの所望の基準系への内視鏡の位置合わせは、解剖学的標的及び病変の位置確認を助けることができる、生の内視鏡映像への術前画像の位置合わせなどの能力を可能にする。術前画像は、コンピュータ断層撮影(computed tomography、CT)、超音波、磁気共鳴映像法(magnetic resonance imaging、MRI)、陽電子放出断層撮影(positron emission tomography 、PET)、単光子放出コンピュータ断層撮影(single−photon emission computed tomography、SPECT)を介して得られるものなどの3D画像を含み得る。
[0003] 内視鏡をその視野内の作業空間に位置合わせするために種々の現行方法が存在する。1つの種類のアプローチは、光学的及び電磁的追跡などの外部位置確認システムを用いる。これは、成熟した商用技術を用いる利点を有するが、また、追加のハードウェア、作業空間、及び作業の流れの複雑さをも伴う。
[0004] 代替的に、位置合わせは、生の内視鏡像内で見える特徴を、術前CTなどの他の仕方を通じて知られた対応する特徴と照合することによって遂行され得る。特徴はユーザによって手動で選択され得るが、これは作業の流れの問題及びユーザエラーを招く。特徴は、当技術分野において知られている自動画像処理アルゴリズムによって選択され得る。このような画像ベースの位置合わせ方法はユーザの観点から合理化されている。しかし、撮像されたシーンに対する感受性のゆえに、技術的には成熟度はあまり高くない。したがって、必要とされているものは、少なくとも、上述された欠点を克服するシステム及び装置である。
[0005] 代表的実施形態によれば、画像獲得デバイスの位置合わせのための制御ユニットは、手術部位における解剖学的物体の生画像を獲得するように構成されている。制御ユニットはプロセッサを備え、このプロセッサは、1つ又は複数の方向からの解剖学的物体の術前画像を受信し、解剖学的物体の術前輪郭シグネチャのデータベースを生成し、獲得された生画像から解剖学的物体のリアルタイム輪郭シグネチャを生成し、リアルタイム輪郭シグネチャを解剖学的物体の術前輪郭シグネチャのデータベースと比較して、最終的な輪郭一致の選択のための輪郭シグネチャ一致候補のグループを生成し、選択された最終的な輪郭シグネチャ一致に対応する方向に基づいて画像獲得デバイスを手術部位に位置合わせするように構成されている。
[0006] 別の代表的実施形態によれば、手術システムは、手術部位における解剖学的物体の生画像を獲得するように構成された画像獲得デバイスと、手術部位の生画像を表示するように構成されたディスプレイと、制御ユニットとを備える。制御ユニットは、獲得された生画像を画像獲得デバイスから受信し、解剖学的物体の術前画像を画像獲得デバイスから受信し、解剖学的物体の輪郭シグネチャ一致候補を少なくとも1つのディスプレイへ提供するように構成された入力/出力(input/output、I/O)回路を備える。プロセッサは、1つ又は複数の方向からの解剖学的物体の術前画像から解剖学的物体の術前輪郭シグネチャのデータベースを生成し、獲得された生画像から解剖学的物体のリアルタイム輪郭シグネチャを生成し、リアルタイム輪郭シグネチャを解剖学的物体の術前輪郭シグネチャのデータベースと比較して、輪郭シグネチャ一致候補のグループを生成し、リアルタイム輪郭シグネチャ、及び輪郭シグネチャ一致候補のグループをユーザによる最終的な輪郭シグネチャ一致の選択のためにディスプレイへ伝送し、選択された最終的な輪郭シグネチャ一致に対応する方向に基づいて画像獲得デバイスを手術部位に位置合わせするように構成されている。
[0007] 別の代表的実施形態によれば、機械可読命令が記憶された非一時的コンピュータ可読記憶媒体は、手術部位における解剖学的物体の生画像を獲得するように構成された画像獲得デバイスを含む手術システムを制御するためにプロセッサによって実行されるように構成されており、機械可読命令は、画像獲得デバイスを手術部位へ位置合わせするための方法を遂行するように構成されている。本方法は、広範な3次元(3D)方向にわたる解剖学的物体の術前画像から解剖学的物体の術前輪郭シグネチャのデータベースを生成するステップと、獲得された生画像から解剖学的物体のリアルタイム輪郭シグネチャを生成するステップと、リアルタイム輪郭シグネチャを解剖学的物体の術前輪郭シグネチャのデータベースと比較して、最終的な輪郭シグネチャ一致の選択のための輪郭シグネチャ一致候補のグループを生成するステップと、選択された最終的な輪郭シグネチャ一致に対応する方向に基づいて画像獲得デバイスを手術部位に位置合わせするステップと、を有する。
[0008] 代表的実施形態は、以下の詳細な説明から、添付の図面とともに読むことで最も深く理解される。様々な特徴は必ずしも原寸に比例しているとは限らないことが強調される。実際に、寸法は、説明を明確にするために任意に増大又は減少させられている場合がある。適用可能且つ実際的である場合は常に、同様の参照符号は同様の要素を指す。
[0009] 本発明の一実施形態の特徴に係る、解剖学的物体の術前輪郭シグネチャ及び術中(若しくは生の)輪郭シグネチャを手術画像獲得デバイスの位置合わせのために用いる手術システムを示す概略ブロック図である。 [0010] 図1の手術システムにおいて用いられる解剖学的物体の術中(若しくは生の)画像を示す図である。 [0011] 図2Aにおける解剖学的物体の輪郭を示す図である。 [0012] 術前画像獲得デバイスからの画像に基づいて生成された解剖学的物体の術前輪郭シグネチャを示す図である。 [0013] 図2Bにおける輪郭から生成された生の輪郭シグネチャと、図2Cの解剖学的物体の術前輪郭シグネチャとの比較の略図である。 [0014] 5つの最も良く一致する輪郭を並置させて表示された解剖学的物体の生画像の一例の略図である。 [0015] 図1の手術システム内のディスプレイ上における腎臓(即ち、解剖学的物体)の生画像上への血管の重畳を示す図である。 [0016] 本発明の一実施形態の特徴に係る、画像獲得デバイスを手術部位に位置合わせするための方法における様々なステップを示すフローチャートである。
[0017] 以下の詳細な説明では、限定ではなく、説明の目的上、本教示の完全な理解を与えるために、具体的詳細を開示する代表的諸実施形態が説明される。しかし、本開示の恩恵を得た当業者には、本明細書において開示される具体的詳細から逸脱する本教示に係る他の諸実施形態も添付の特許請求の範囲内にとどまることが明らかであろう。更に、よく知られた装置及び方法の説明は、代表的諸実施形態の説明を不明瞭にしないために、省略される場合がある。このような方法及び装置は明らかに本教示の範囲内に含まれる。
[0018] 本明細書において用いられる用語法は、特定の実施形態を説明することのみを目的としており、限定を意図されてはいないことを理解されたい。任意の定義された用語は、本教示の技術分野において一般的に理解され、受け入れられているとおりの定義された用語の技術的意味及び科学的意味に追加されるものである。
[0019] 本明細書及び添付の特許請求の範囲において使用する時、用語「a」、「an」及び「the」は、コンテキストが別途明確に指示しない限り、単数の指示対象及び複数の指示対象の両方を含む。それゆえ、例えば、「a device(デバイス)」は、1つのデバイス及び複数のデバイスを含む。
[0020] 本明細書において使用する時、2つ以上の部分又は構成要素が「結合される(coupled)」との記述は、その部分が、直接、又は間接的に、即ち、連係が生じる限り、1つ又は複数の中間部分又は構成要素を通じて、互いに接合されること又は協働することを意味するものとする。
[0021] 方向用語/語句及び相対用語/語句は、添付の図面において示された時の、様々な要素の互いに対する関係を記述するために用いられる。これらの用語/語句は、図面に示される向きに加えて、デバイス及び/又は要素の異なる向きを包含することを意図されている。
[0022] 「〜の上方(above)」、「〜の下方(below)」、「最上部の(top)」、「最下部の(bottom)」、「上部の(upper)」及び「下部の(lower)」などの相対用語は、添付の図面において示された時の、様々な要素の互いに対する関係を記述するために用いられ得る。これらの相対用語は、図面に示される向きに加えて、デバイス及び/又は要素の異なる向きを包含することを意図されている。例えば、デバイスが図面内の像に対して逆さにされた場合には、別の要素「の上方」にあると記述された要素は、例えば、今度は、その要素「の下方」にあることになるであろう。同様に、デバイスが図面内の像に対して90°だけ回転させられた場合には、別の要素の「上方」又は「下方」にあると記述された要素は、今度は、他方の要素に「隣接する(adjacent)」ことになるであろう。ここで、「隣接する」は、他方の要素に当接すること、又は要素との間に1つ又は複数の層、材料、構造などを有することのいずれかを意味する。
[0023] 本明細書及び添付の特許請求の範囲において使用する時、及びそれらの通常の意味に加えて、用語「実質的な(substantial)」又は「実質的に(substantially)」は、許容可能な限度又は程度で、を意味する。例えば、「実質的に相殺される(substantially cancelled)」は、当業者が相殺を許容可能であると見なすであろうということを意味する。
[0024] 本教示は概して、解剖学的物体の輪郭又は外形を、対応する輪郭と照合することに関する。本教示のシステム、装置及び方法は、腹部区域内の臓器(腎臓、肝臓、及び膀胱)などの比較的低密度な視覚特徴を位置合わせする際に有用である。本説明が進むにつれてより明らかになるように、代表的諸実施形態は、解剖学的物体の術前輪郭シグネチャ及び手術間(リアルタイム)輪郭シグネチャを用いた手術画像獲得デバイスの位置合わせのための装置、システム、方法、及び非一時的コンピュータ可読媒体に関する。
[0025] 最初に、腎臓及び肝臓などの臓器は、例えば、心臓などの臓器よりも凹凸が少ないため、可視表面特徴を位置合わせのために用いることが困難になることに留意する。このような場合に、本教示の有益な態様は、さもなければ視覚的に検出可能な特徴を欠くこのような臓器の輪郭を照合することである。輪郭は手動で、又は自動的に描かれ、臓器の完全又は部分的な輪郭である。特定の方向における臓器の像は他の臓器及び方向に対してしばしば固有の形状を有するため、臓器の輪郭又は3D輪郭は、高速なリアルタイム照合及び位置合わせのために、コンパクトな、より低次元のシグネチャに縮約することができる。
[0026] 最初に図1及び図2を参照して、本教示の特徴に係る手術システム100が説明される。具体的には、手術システム100は、限定するものではないが、低侵襲心臓手術(例えば、冠動脈バイパス移植又は僧帽弁置換術)、低侵襲腹部手術(腹腔鏡検査)(例えば、前立腺切除又は胆嚢切除)、並びに自然開口部越経管腔的内視鏡手術を含む多くの異なる医療及び外科手術のために用いられる。言及された医療及び外科手術は単なる例示であり、本開示の利益を得た当業者の範囲内にある他の外科手術も企図されることが強調される。
[0027] 図1は、手術部位Sにおける解剖学的物体(例えば、臓器)又は標的Tの生画像又は生画像群を獲得するように構成された画像獲得デバイス102と、ディスプレイ104と、制御ユニット106とを含む手術システム100を概略的に示す。
[0028] 画像獲得デバイス102は、手術部位Sにおける臓器又は他の標的Tの生画像又は生画像群を獲得するように構成されている。概して、用語「内視鏡的(endoscopic)」は、本明細書において、身体の内部から撮像する能力を有する任意の種類の内視鏡によって獲得される画像の特徴付けとして広義に定義される。本発明の目的のための内視鏡の例としては、限定するものではないが、可撓性又は剛性の、任意の種類の検査鏡(例えば、内視鏡、関節鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、胃鏡、子宮鏡、腹腔鏡、喉頭鏡、神経内視鏡、耳鏡、プッシュ式腸鏡、鼻喉頭鏡、S状結腸鏡、副鼻腔鏡、胸腔鏡など)、並びに画像システムを装備する検査鏡と同様の任意のデバイス(例えば、撮像付きの入れ子になったカニューレ)が挙げられる。撮像は局所的であり、表面画像は、光ファイバ、レンズ、又は小型(例えば、CCDベースの)撮像システムを用いて光学的に得られる。本教示と関連して用いるために企図される内視鏡システムの更なる詳細が、例えば、同一所有者の米国特許出願第20140301618号に見出される。その開示は、本明細書において参照により特に組み込まれる。
[0029] 特定の代表的諸実施形態では、内視鏡は、剛性又は可撓性の管、検査中の臓器又は物体を照明するための光送達システム(例えば、光源は通常、身体の外部にあり、光は通例、光ファイバシステムを介して案内される)、画像を対物レンズから観察者まで伝送するレンズ系、通例、剛性内視鏡の場合には、リレーレンズ系、又はファイバスコープの場合には、光ファイバ束を含む。同様に企図されているのは、カメラが画像を画像キャプチャのためのスクリーンへ伝送する、接眼鏡を有しない、ビデオ内視鏡である。追加のチャネルが医療機器又はマニピュレータの進入を可能にしてもよい。
[0030] ディスプレイ104は、外科手術中に臨床医に有用な種々の画像のうちの1つ又は複数を提供するように構成されている。これらの画像は、以下においてより完全に説明されるように、例えば、画像獲得デバイス102からのリアルタイム画像、及び術前画像を含む。
[0031] ディスプレイ104は、外科医の近くに共同設置された、又は手術システム100の様々な要素に隣接して位置付けられた1つ又は複数のディスプレイを含む。ディスプレイ104は、本明細書においてより完全に説明されるように、画像又はデータを表示するように適合された、出力デバイス、又はユーザインターフェース、或いはこれらの両方を備える。ディスプレイ104は、手術システム100の様々な要素に隣接して位置付けられた臨床医の近くに共同設置された1つ又は複数のディスプレイを含む。ディスプレイ104は、手術部位Sの生画像又は術前画像を表示するように構成されている。
[0032] ディスプレイは、映像データ、音声データ、及び/又は触知データを出力し得る。ディスプレイの例としては、限定するものではないが、コンピュータモニタ、テレビスクリーン、タッチスクリーン、触知電子ディスプレイ、点字スクリーン、陰極線管(Cathode ray tube、CRT)、蓄積管、双安定ディスプレイ、電子ペーパー、ベクトルディスプレイ、フラットパネルディスプレイ、真空蛍光ディスプレイ(Vacuum fluorescent display、VF)、発光ダイオード(Light−emitting diode、LED)ディスプレイ、エレクトロルミネセントディスプレイ(Electroluminescent display、ELD)、プラズマディスプレイパネル(Plasma display panel、PDP)、液晶ディスプレイ(Liquid crystal display、LCD)、有機発光ダイオードディスプレイ(Organic light−emitting diode display、OLED)、プロジェクタ、及び頭部装着ディスプレイが挙げられる。
[0033] 制御ユニット106は概して、手術部位S及び解剖学的物体若しくは標的Tに関連する生画像及び術前画像の獲得及び処理を制御するための1つ又は複数の制御コマンドを提供するように構成されている。制御ユニット106は、以下においてより完全に説明されるように、手術システム100の様々な構成要素からの入力を受信し、それらへ出力を提供するように構成されている。制御ユニット106は入力/出力(I/O)回路108を備える。入力/出力(I/O)回路108は、以下においてより完全に説明されるように、手術システム100の様々な構成要素からの入力を受信し、プロセッサ130へ出力を提供し、そこから入力を受信する。
[0034] プロセッサ130はメモリ132を備える。メモリ132は、解剖学的物体Tの術前輪郭シグネチャのデータベース134、画像獲得デバイス102からの獲得されたデータ、及びプロセッサ130によって実行されるように構成された機械可読命令(プログラム)を含む。
[0035] メモリ内に記憶された術前画像は、コンピュータ断層撮影(CT)、超音波、磁気共鳴映像法(MRI)、陽電子放出断層撮影(PET)、単光子放出コンピュータ断層撮影(SPECT)などを介して得られるものなどの3D画像を含み得る。リアルタイム画像は、例えば、内視鏡検査、X線、超音波、シングルスライスMRIによって得られた画像などの観血手術又は低侵襲手術の間に医療撮像を通じてキャプチャされた静止画像又はビデオ画像を含み得る。
[0036] プロセッサ130は、本明細書において説明される様々な機能を遂行するためのソフトウェア(例えば、マイクロコード)を用いてプログラムされる1つ又は複数のマイクロプロセッサを備える。なお、プロセッサ130は2つ以上のプロセッサ又は処理コアを備え得る。プロセッサ130は、例えば、マルチコアプロセッサである。プロセッサ130はまた、単一のコンピュータシステム(図示されていない)内の、又は手術システム100に関連付けられた複数のコンピュータシステム(図示されていない)の間で分散した、一群のプロセッサを備え得る。本説明が進むにつれて理解されることになるように、多くのプログラムはそれらの命令を、同じコンピューティングデバイス内にある、又は更に、複数のコンピューティングデバイスにわたって分散したプロセッサ130によって遂行させる。
[0037] 本開示の様々な実施形態においてプロセッサ130として採用される構成要素の例としては、限定するものではないが、従来のマイクロプロセッサ、マイクロ制御ユニット、特定用途向け集積回路(application specific integrated circuit、ASIC)、及びフィールドプログラマブルゲートアレイ(field−programmable gate array、FPGA)が挙げられる。
[0038] メモリ132は、プロセッサに有用なソフトウェア、及び手術システム100の様々な構成要素の機能の過程で収集された様々な種類のデータを記憶するように構成されている。これらのデータは、以下においてより完全に説明されるとおりに収集された画像データ及び追跡データを含む。メモリ132はまた、術前画像データなどの術前データを記憶する。
[0039] 更に、メモリ132は、手術システム100を制御するためにプロセッサ130によって実行されるように構成された機械可読命令を記憶する。これらの命令(プログラム)はメモリ132内に符号化され、プロセッサ130上で実行されると、本明細書において説明される機能のうちの少なくともいくつかを遂行する。用語「プログラム」又は「コンピュータプログラム」は、本明細書において、制御ユニット106をプログラムするために利用することができる任意の種類のコンピュータコード(例えば、ソフトウェア又はマイクロコード)を指すよう、総称的な意味で用いられる。例えば、本明細書においてより完全に説明されるように、メモリ132内に記憶された機械可読命令は、手術部位Sにおける解剖学的物体の生画像を獲得するように構成された画像獲得デバイス102を含む手術システム100を制御するためにプロセッサ130によって実行されるように構成されている。更に、機械可読命令は、プロセッサ130を通じて、以下においてより完全に説明される、術前及び手術間画像の両方を用いて画像獲得デバイス102を手術部位Sに位置合わせするための方法を遂行するように構成されている。
[0040] メモリ132は、限定するものではないが、フロッピーディスク、磁気ハードディスクドライブ、ソリッドステートハードディスク、フラッシュメモリ、USBサムドライブ、ランダムアクセスメモリ(Random Access Memory、RAM)、リードオンリーメモリ(read−only memory、ROM)、プログラマブルリードオンリーメモリ(programmable read−only memory、PROM)、電気的プログラマブルリードオンリーメモリ(electrically programmable read−only memory、EPROM)、電気的に消去可能なプログラマブルリードオンリーメモリ(electrically erasable and programmable read only memory、EEPROM)、ユニバーサルシリアルバス(universal serial bus、USB)ドライブ、フロッピーディスク、コンパクトディスク(compact disk、CD)、光ディスク、磁気テープなど)、スマートカード、デジタル多用途ディスク(digital versatile disc、DVD)、CD−ROM、ソリッドステートハードドライブ、光ディスク、光磁気ディスク、及びプロセッサのレジスタファイルを含む、不揮発性コンピュータメモリ、又は揮発性コンピュータメモリ、或いはその両方を含み得る。光ディスクの例としては、コンパクトディスク(CD)及びデジタル多用途ディスクディスク(DVD)、例えば、CD−ROM、CD−RW、CD−R、DVD−ROM、DVD−RW、又はDVD−Rディスクが挙げられる。様々な記憶媒体はプロセッサ130内に固定されるか、又は運搬可能であり、それにより、記憶媒体上に記憶された1つ又は複数のプログラムを、本明細書において説明される本教示の様々な態様を実施するためにプロセッサ130上にロードすることができる。
[0041] 入力/出力(I/O)回路108は、制御ユニット106の外部の要素及びデバイスへの通信を制御する。I/O回路108は、プロセッサ130への/からの入力及び出力信号又はデータを解釈するために必要なロジックを含むインターフェースの役割を果たす。I/O回路108は、例えば、有線又は無線接続を介して、獲得された生画像を画像獲得デバイス102から受信するように構成されている。I/O回路108はまた、解剖学的物体Tの術前画像を術前輪郭シグネチャデータベース134から受信し、制御ユニット106において決定された解剖学的物体Tの輪郭シグネチャ一致候補をディスプレイ104へ提供するように構成されている。
[0042] 手術システム100はユーザインターフェース110を備える。ユーザインターフェース110は、当業者によって理解されるように、ディスプレイ104と同様、ハードウェアインターフェース(図示されていない)及びI/O回路108を介して制御ユニット106に例示的に結合されている。ハードウェアインターフェースは、プロセッサ130が、手術システム100の様々な構成要素と対話すること、並びに外部コンピューティングデバイス(図示されていない)及び/又は装置を制御することを可能にする。ハードウェアインターフェースは、プロセッサ130が、制御信号又は命令を手術システム100の様々な構成要素、並びに外部コンピューティングデバイス及び/又は装置へ送信することを可能にし得る。ハードウェアインターフェースはまた、プロセッサ130が、データを手術システムの様々な構成要素と、並びに外部コンピューティングデバイス及び/又は装置と交換することを可能にし得る。ハードウェアインターフェースの例としては、限定するものではないが、ユニバーサルシリアルバス、IEEE1394ポート、パラレルポート、IEEE1284ポート、シリアルポート、RS−232ポート、IEEE−488ポート、Bluetooth(登録商標)接続、無線ローカルエリアネットワーク接続、TCP/IP接続、イーサネット(登録商標)接続、制御電圧インターフェース、MIDIインターフェース、アナログ入力インターフェース、及びデジタル入力インターフェースが挙げられる。
[0043] ユーザインターフェース110は、臨床医が、コンピュータ又はコンピュータシステム(図示されていない)を通じて手術システム100と対話することを可能にする。ユーザインターフェース110は、例えば、タッチスクリーン、キーボード、マウス、トラックボール又はタッチパッドを備える。概して、ユーザインターフェース110は、情報若しくはデータを臨床医へ提供し、及び/又は情報若しくはデータを臨床医から受け取る。ユーザインターフェース110は、コンピュータによって受け取られるべき臨床医からの入力を受け取るように構成されており、出力をコンピュータからユーザへ提供する。換言すれば、及び本説明が進むにつれてより明らかになるように、ユーザインターフェース110は、操作者が、コンピュータを制御又は操作することを可能にするように構成されており、ユーザインターフェース110は、コンピュータが、臨床医の制御又は操作の効果を指示することを可能にするように構成されている。ディスプレイ104又はそのグラフィカルユーザインターフェース上におけるデータ又は情報の表示は、情報を臨床医へ提供することの一例である。タッチスクリーン、キーボード、マウス、トラックボール、タッチパッド、ポインティングスティック、グラフィックスタブレット、ジョイスティック、ゲームパッド、ウェブカメラ、ヘッドセット、ギアスティック、ステアリングホイール、ワイヤードグローブ、無線遠隔制御装置、及び加速度計を通じたデータの受け取りは全て、操作者からの情報又はデータの受け取りを可能にする、ユーザインターフェース110の構成要素の例である。
[0044] プロセッサ130は、1つ又は複数の方向からの解剖学的物体Tの術前画像を処理し、解剖学的物体Tの術前輪郭シグネチャの術前輪郭シグネチャデータベース134を生成するように構成されている。プロセッサ130は、獲得された生画像を処理し、解剖学的物体Tのリアルタイム輪郭シグネチャを生成するように構成されている。
[0045] 代表的実施形態によれば、プロセッサ130は、輪郭シグネチャベースの位置合わせを遂行するように構成されている。輪郭シグネチャベースの位置合わせは、特定の医療又は外科手術の術前部分及び術中(リアルタイム)部分の両方についての輪郭シグネチャの生成を含む。以下においてより完全に説明されるように、代表的実施形態の位置合わせ手順の一部として用いられる輪郭シグネチャの生成はシルエットの抽出を含む。カメラの像は3D臓器の最大領域2D投影であり、そのため、解剖学的物体のシルエットは、観察される方向における解剖学的物体の輪郭を表す。これが、輪郭を規定する点のサンプリングを作り出す。
[0046] 次に、輪郭シグネチャの生成は最高解像度までの点の再サンプリングを含む。なお、規定された輪郭に沿った点は、変化する曲率のゆえに不均等に離間している場合があり、そのため、可能な最高解像度におけるサンプル点の間の補間が遂行され、そのため、結果は、スケール変更することができる比較的滑らかな輪郭となる。この補間は、その目的のために生成され、メモリ132内に記憶された特定のプログラムを通じたプロセッサ130による1つ又は複数の知られた補間技法を用いる。
[0047] 次に、輪郭シグネチャの生成は、輪郭に沿った局所曲率としてシグネチャを決定することを含む。結果が、観察された方向における臓器/物体を識別する限り、所与の(再サンプリングされた)輪郭からシグネチャを計算することができる様々な仕方が存在する。本説明は、臓器の物理形状をキャプチャする輪郭シグネチャに焦点を当てているが、他の符号化方式も可能である。
[0048] 選択される方法が何であれ、輪郭シグネチャの生成はプロセッサ130によって、画像獲得デバイス102から収集された画像、解剖学的物体Tの術前輪郭シグネチャの術前輪郭シグネチャデータベース134を用いて、及びメモリ132内に記憶された関連プログラム(命令)の実行によって実施される。最終的に、プロセッサ130は、輪郭に沿った局所曲率としてシグネチャを計算することによって輪郭シグネチャの生成をする。
[0049] 物理的輪郭シグネチャの一例は局所曲率である。局所曲率は、湾曲の程度と比例して、直線区分においてはより低い値、及び曲線区分においてはより高い値を有することになる。点iにおける輪郭に沿った局所曲率sは、点の位置pから、輪郭に沿って両側の隣接点へ延びるベクトル同士の外積として計算することができる。これらのベクトルはv及びvと表記される。この計算が下式に示される。ここで、cは、サンプルにノイズがある場合には隣接点を飛ばすように調整することができるパラメータである。
=p−pi−c
=pi+c−p
=|v×v|/||v||||v||
[0050] プロセッサ130は、以下において更に詳細に説明されるように、リアルタイム輪郭シグネチャを解剖学的物体Tの術前輪郭シグネチャの術前輪郭シグネチャデータベース134と比較して、一致を自動的に生成するか、又は輪郭シグネチャ一致候補のグループを生成し、リアルタイム輪郭シグネチャ、及び輪郭シグネチャ一致候補のグループをユーザによる最終的な輪郭シグネチャ一致の選択のためにディスプレイ104へ伝送する。プロセッサ130は、選択された最終的な輪郭シグネチャ一致に対応する方向に基づいて画像獲得デバイス102を手術部位Sに位置合わせする。
[0051] 図示のように、プロセッサ130は、術前輪郭シグネチャデータベース134の記憶を含むメモリ132を含む。このようなメモリ132はまた、後述されるように、非一時的コンピュータ可読媒体へのアクセスを含むか、又はそれを有する。
[0052] したがって、術前輪郭シグネチャデータベース134は、個々の術前輪郭シグネチャを集めることによって術前に生成される。代表的実施形態では、これらの術前輪郭シグネチャは、広範な3D方向にわたるCT画像のものである。概して、術前輪郭シグネチャは、プロセッサ130によって、コンピュータ断層撮影(CT)、超音波、磁気共鳴映像法(MRI)、陽電子放出断層撮影(PET)、単光子放出コンピュータ断層撮影(SPECT)などを介して得られるものなどの3D画像を含み得る術前画像に基づいて生成される。
[0053] CTスキャンは、異なる角度から得られた多くのX線画像のコンピュータ処理による結合を利用し、スキャンされた物体の特定の区域の断面(断層撮影)画像(仮想「スライス」)を作成し、ユーザが、切開を行うことなく物体の内部を見ることを可能にする。単一の回転軸の周りで得られた大規模な一連の2次元X線画像から物体の内部の3次元画像を生成するために、デジタルジオメトリ処理が用いられる。CTは、様々な身体構造物を、X線ビームを阻止する身体構造物の能力に基づいて示すために操作することができるデータボリュームを作成する。通例、画像は軸平面又は横断平面内で生成されるが、このデータボリュームは、様々な平面内で、又は更に、構造の立体(3D)表現として再フォーマットすることができる。
[0054] 目下の例示的なアプローチでは、CT画像を仮想的に回転させることは、カメラの視野の方向を変更することと同等であり、そのため、術前輪郭シグネチャデータベース134は、位置合わせのリアルタイム部分の間に画像獲得デバイス102(例えば、内視鏡)を介して見出され得るであろう、あり得るシグネチャを包含する。この機能性は、適正で使用可能な仮定であると見なされる、CT(術前)及び内視鏡検査(リアルタイム)から生成された輪郭の間の同等性に依存する。
[0055] 代表的実施形態に係る術前輪郭シグネチャデータベース134の生成が図2A〜図2Cに関して説明される。
[0056] 図2Aでは、特定の既知の方向における腎臓のCT(術前)画像が示される。なお、解剖学的標的Tとしての腎臓の使用は単なる例示であり、決して本教示の限定ではない。
[0057] 図2Bでは、腎臓のシルエットから、対応する輪郭が抽出される。また、その後の照合プロセスを高速化するために、長方形の外形Bも計算される。
[0058] 図2Cでは、腎臓の一連のCTの方向からの輪郭シグネチャの集合がグラフ内に示される。輪郭シグネチャのこの集合はこの特定の解剖学的標的についての術前輪郭シグネチャデータベース134を形成する。これが術前輪郭シグネチャデータベース134を表す。更に、計算された外形(長方形又は任意の他の形状)を術前輪郭シグネチャデータベース134内に含めることができる。
[0059] CTボリュームから各シグネチャを生成する方向が分かっているため、以下において更に詳細に説明されるように、リアルタイムで生成されたシグネチャと術前輪郭シグネチャデータベース134内のものとの間の最良の一致を見出すと、画像獲得デバイス102又は内視鏡の対応する方向、並びにそれゆえ、位置合わせが得られる。
[0060] 代表的実施形態では、輪郭シグネチャは、例示的に内視鏡である、画像獲得デバイス102によってキャプチャされた手術間画像を用いて計算される。生の内視鏡検査の下で、カメラスナップショット又は静止画像を用いて単一のリアルタイム輪郭シグネチャCSを生成する。このような単一のリアルタイム輪郭シグネチャの生成は、以上においてより完全に説明されたとおりの術前輪郭シグネチャデータベース134を生成するために用いられるものと同様の方法を用いて実行することができる。しかし、輪郭の区分化は環境又は手術部位S内における他の物体の存在のゆえにより困難になり得る。それゆえ、当技術分野において知られているより洗練されたアプローチが自動若しくは半自動区分化を遂行することができるか、又は臓器の輪郭(若しくはその何らかのサブセット)は、従来のコンピュータマウス、ペン型マウス、タッチスクリーン、又はその他の入力デバイス(例えば、ユーザインターフェース110)を用いてソフトウェア内で手動で描画することができる。
[0061] 単一の生の輪郭シグネチャが収集された後に、生画像と術前輪郭シグネチャデータベース134内の輪郭シグネチャとの間の相互相関が、プロセッサ130によって、メモリ132内に記憶されたこの目的のための特定のプログラムを用いてアルゴリズム的に実行される。例えば、単一の生の輪郭シグネチャCSは、プロセッサによって、事前にまとめられた術前輪郭シグネチャデータベース134に対して照合される。知られている位置合わせ方法を上回る代表的実施形態の本記載の方法の技法の1つの利点が実現される。この目的を達成するために、外部位置確認システムが存在しなければ、時間のかかる作業になる可能性がある、3D物体を同じ物体の2D投影に位置合わせする問題は、信号のリストに対する比較的高速な1D相互相関に縮約される。プロセスは、図2Bに示される長方形ボックスの計算によって決定されるとおり、明らかに一致しない方向については術前輪郭シグネチャデータベース134の探索から除外することによって、更に加速される。このようなボックスを計算するために示される目下の代表的実施形態の方法は、臓器形状の主成分分析を用いるが、その他の技法も本教示によって企図されている。例えば、球面調和関数形状モデル化技法、及びReebグラフなどの知られた方法を用いて実現される他の形状記述子も本教示における使用のために企図されている。
[0062] 図3は、代表的実施形態の照合プロセスを示す。このプロセスでは、リアルタイム輪郭シグネチャCSが画像獲得デバイス102からの画像(例えば、内視鏡画像)から生成され、この画像がプロセッサ130によって、相互相関を用いてCTから生成された術前輪郭シグネチャの術前輪郭シグネチャデータベース134内に記憶された画像と比較される。
[0063] プロセッサ130は、メモリ132からの特定のプログラムを用いて、最良の一致に基づき、例えば、既定の確実性を達成することによって、術前輪郭シグネチャデータベース134内に記憶されたものに対する生画像の最良の一致を決定した。代替的に、相互相関距離メトリックによって決定されたとおりの以前のステップにおいて見出された最良のN個の一致を最終選択のためにユーザに提示することができる。換言すれば、生画像及び最良のN個の一致がディスプレイ104上に表示される。
[0064] 図4は、5つの最も良く一致する輪郭を並置させて表示された生画像の一例を示す。臨床医による選択後、対応する方向が、内視鏡画像とCT画像とを位置合わせするために用いられる。
[0065] 位置合わせが完了すると、例えば、ディスプレイ104上における腎臓(即ち、解剖学的物体T)の生画像上への血管BVの重畳を示す図5に示されるように、解剖学的コンテキスト情報を臨床医に提供するために、CT画像を内視鏡映像上に重畳することができる。
[0066] 位置合わせは、前のステップを自動的に繰り返すことによって維持することも、又は内視鏡が再位置付されるたびに要望に応じて実行することもできる。
[0067] 特定の諸実施形態では、プロセッサ130は、ユーザによる最終的な輪郭シグネチャ一致の選択のためのユーザインターフェース110からの選択信号を処理するように更に構成されている。換言すれば、生画像及び最良の5つの一致が、図4に示されるディスプレイ104上に表示されると、外科医又は臨床医は、次に、例えば、ユーザインターフェース110を介して最良の一致を選ぶ。特定の実施形態では、プロセッサ130は、位置合わせモードを活性化するためのユーザインターフェース110からの活性化信号を処理するように更に構成されている。
[0068] 特定の諸実施形態では、プロセッサ130は、例えば、図5に示されるように、画像獲得デバイス102からの生画像を術前画像で増強するように更に構成されている。
[0069] 特定の諸実施形態では、プロセッサ130は、獲得された生画像を処理し、解剖学的物体Tの輪郭の区分又は部分を用いて解剖学的物体Tのリアルタイム輪郭シグネチャを生成するように更に構成されている。
[0070] 本アプローチの特徴に係る方法600の更なる詳細が、図6の概略図を追加的に参照して説明される。本発明の諸実施形態はまた、メモリ132内に格納され、手術部位Sにおける解剖学的物体Tの生画像を獲得するように構成された画像獲得デバイス102を含む手術システム100を制御するためにプロセッサ130によって実行されるように構成された機械可読命令が記憶された非一時的コンピュータ可読記憶媒体に関する。機械可読命令を用いて、プロセッサ130は、画像獲得デバイス102を手術部位Sに位置合わせするための方法600を遂行する。本方法は、1つ又は複数の方向からの解剖学的物体の術前画像を処理し、解剖学的物体Tの術前輪郭シグネチャデータベース134を生成するステップ602と、獲得された生画像を処理し、解剖学的物体Tのリアルタイム輪郭シグネチャを生成するステップ604と、リアルタイム輪郭シグネチャを解剖学的物体の術前輪郭シグネチャの術前輪郭シグネチャデータベース134と比較して、最終的な輪郭シグネチャ一致の選択のための輪郭シグネチャ一致候補のグループを生成するステップ606と、選択された最終的な輪郭シグネチャ一致に対応する方向に基づいて画像獲得デバイス102を手術部位Sに位置合わせするステップ608とを有する。
[0071] 特定の諸実施形態では、本方法は、リアルタイム輪郭シグネチャ、及び輪郭シグネチャ一致候補のグループをユーザ又は臨床医による最終的な輪郭シグネチャ一致の選択のためにディスプレイ104へ伝送するステップを更に有する。
[0072] 特定の諸実施形態では、本方法は、ユーザによる最終的な輪郭シグネチャ一致の選択のためのユーザインターフェース110からの選択信号を処理するステップを更に有する。本方法は、位置合わせモードを活性化するためのユーザインターフェース110からの活性化信号を処理するステップを更に有する。
[0073] 特定の諸実施形態では、本方法は、画像獲得デバイス102からの生画像を術前画像で増強するステップを更に有する。
[0074] 特定の諸実施形態では、本方法は、獲得された生画像を処理し、解剖学的物体Tの輪郭の区分を用いて解剖学的物体Tのリアルタイム輪郭シグネチャを生成するステップを更に有する。
[0075] 特定の諸実施形態では、本方法は、例えば、図2Bを参照して上述されたとおり、リアルタイム輪郭シグネチャを解剖学的物体Tの術前輪郭シグネチャの術前輪郭シグネチャデータベース134と比較して、解剖学的物体の形状に基づいていくつかの術前輪郭シグネチャを除外して輪郭シグネチャ一致候補のグループを生成するステップを更に有する。
[0076] 本アプローチは、スマートシステム及びデバイスを目指す技術的進歩の一環である。生の内視鏡検査と術前画像(例えばCT画像)との間のリアルタイム位置合わせの可能な適用としては、術前CTによる生映像の増強現実感、(特に、作業空間が視野から隠蔽される低侵襲手術における)手術ナビゲーション、並びに解剖学的標的及び腫瘍の発見が挙げられる。
[0077] 本開示は内視鏡手術の状況における輪郭シグネチャベースの位置合わせを説明しているが、本方法は、他の撮像(例えば、超音波)モダリティ又は形状感知(例えば、光学的形状感知、赤外領域感知)モダリティを用いる手術にも同様に適用可能である。更に、これらの代替的なモダリティは、内視鏡検査によく見られる照合のための特徴の稠密なセットを提供しない場合があり、コンピュータ支援による外科的介入において画像、デバイス、及び解剖学的構造を位置合わせするための輪郭シグネチャの重要性が高くなる。
[0078] 本開示に照らして、様々な半導体構造及び活性半導体デバイスは種々の材料及び異なる構造で実施することができることが留意される。更に、様々な材料、構造及びパラメータは、単なる例として含まれているにすぎず、決して限定的な意味で含まれているわけではない。本開示に照らして、当業者は、添付の特許請求の範囲内にとどまりつつ、独自の適用、並びにこれらの適用を実施するために必要な材料及び機器を決定するために本教示を実施することができる。

Claims (23)

  1. 手術部位における解剖学的物体の生画像を獲得する画像獲得デバイスの位置合わせのための制御ユニットであって、前記制御ユニットは、
    プロセッサを備え、前記プロセッサは、
    1つ又は複数の方向からの前記解剖学的物体の術前画像から前記解剖学的物体の術前輪郭シグネチャのデータベースを生成し、
    獲得された前記生画像から前記解剖学的物体のリアルタイム輪郭シグネチャを生成し、
    前記リアルタイム輪郭シグネチャを前記解剖学的物体の術前輪郭シグネチャの前記データベースと比較して、最終的な輪郭シグネチャ一致の選択のための輪郭シグネチャ一致候補のグループを生成し、
    選択された前記最終的な輪郭シグネチャ一致に対応する方向に基づいて前記画像獲得デバイスを前記手術部位に位置合わせする、
    制御ユニット。
  2. 入力/出力(I/O)回路を更に備え、前記入力/出力(I/O)回路は、
    獲得された前記生画像を前記画像獲得デバイスから受信する第1の入力と、
    前記解剖学的物体の前記術前画像を前記画像獲得デバイスから受信する第2の入力と、
    前記解剖学的物体の前記輪郭シグネチャ一致候補をディスプレイへ提供する第1の出力と、
    前記画像獲得デバイスからの前記手術部位の生画像を前記ディスプレイへ提供する第2の出力と、
    を備える、請求項1に記載の制御ユニット。
  3. 前記プロセッサが更に、前記リアルタイム輪郭シグネチャ、及び前記輪郭シグネチャ一致候補のグループを、ユーザによる前記最終的な輪郭シグネチャ一致の選択のためにディスプレイへ伝送する、請求項1に記載の制御ユニット。
  4. 前記プロセッサが更に、前記ユーザによる前記最終的な輪郭シグネチャ一致の選択のためユーザインターフェースからの選択信号を処理する、請求項3に記載の制御ユニット。
  5. 前記プロセッサが更に、位置合わせモードを活性化するためユーザインターフェースからの活性化信号を処理する、請求項1に記載の制御ユニット。
  6. 前記プロセッサが更に、前記画像獲得デバイスからの生画像を前記術前画像で増強する、請求項1に記載の制御ユニット。
  7. 前記プロセッサが更に、獲得された前記生画像を処理して、前記解剖学的物体の輪郭の区分を用いて前記解剖学的物体の前記リアルタイム輪郭シグネチャを生成する、請求項1に記載の制御ユニット。
  8. 前記プロセッサが更に、前記リアルタイム輪郭シグネチャを前記解剖学的物体の術前輪郭シグネチャの前記データベースと比較して、前記解剖学的物体の形状に基づいていくつかの術前輪郭シグネチャを除外して前記輪郭シグネチャ一致候補のグループを生成する、請求項1に記載の制御ユニット。
  9. 手術部位における解剖学的物体の生画像を獲得する画像獲得デバイスと、
    前記手術部位の生画像を表示するディスプレイと、
    制御ユニットと、
    を備える手術システムであって、前記制御ユニットは、
    獲得された前記生画像を前記画像獲得デバイスから受信し、前記解剖学的物体の術前画像を前記画像獲得デバイスから受信し、前記解剖学的物体の輪郭シグネチャ一致候補を前記ディスプレイへ提供する入力/出力(I/O)回路と、
    プロセッサと、
    を備え、前記プロセッサは、
    1つ又は複数の方向からの前記解剖学的物体の術前画像から前記解剖学的物体の術前輪郭シグネチャのデータベースを生成し、
    獲得された前記生画像から前記解剖学的物体のリアルタイム輪郭シグネチャを生成し、
    前記リアルタイム輪郭シグネチャを前記解剖学的物体の術前輪郭シグネチャの前記データベースと比較して、輪郭シグネチャ一致候補のグループを生成し、
    前記リアルタイム輪郭シグネチャ、及び前記輪郭シグネチャ一致候補のグループを、ユーザによる最終的な輪郭シグネチャ一致の選択のために前記ディスプレイへ伝送し、
    選択された前記最終的な輪郭シグネチャ一致に対応する方向に基づいて前記画像獲得デバイスを前記手術部位に位置合わせする、
    手術システム。
  10. 前記ディスプレイが、
    前記手術部位の前記生画像を表示する第1のディスプレイと、
    前記リアルタイム輪郭シグネチャ、及び前記輪郭シグネチャ一致候補のグループを、前記ユーザによる前記最終的な輪郭シグネチャ一致の選択のために表示する第2のディスプレイと、
    を含む、請求項9に記載の手術システム。
  11. 前記I/O回路が、
    前記生画像を前記画像獲得デバイスから受信する第1の入力と、
    前記解剖学的物体の前記術前画像を前記画像獲得デバイスから受信する第2の入力と、
    前記リアルタイム輪郭シグネチャ、及び前記解剖学的物体の前記輪郭シグネチャ一致候補のグループを前記第2のディスプレイへ提供する第1の出力と、
    前記画像獲得デバイスからの前記手術部位の前記生画像を前記第1のディスプレイへ提供する第2の出力と、
    を備える、請求項10に記載の手術システム。
  12. ユーザインターフェースを更に備え、前記プロセッサが更に、前記ユーザによる前記最終的な輪郭シグネチャ一致の選択のため前記ユーザインターフェースからの選択信号を処理する、請求項9に記載の手術システム。
  13. ユーザインターフェースを更に備え、前記プロセッサが更に、位置合わせモードを活性化するため前記ユーザインターフェースからの活性化信号を処理する、請求項9に記載の手術システム。
  14. 前記プロセッサが更に、前記画像獲得デバイスからの生画像を前記術前画像で増強する、請求項9に記載の手術システム。
  15. 前記プロセッサが更に、獲得された前記生画像を処理して、前記解剖学的物体の輪郭の区分を用いて前記解剖学的物体の前記リアルタイム輪郭シグネチャを生成する、請求項9に記載の手術システム。
  16. 前記プロセッサが更に、前記リアルタイム輪郭シグネチャを前記解剖学的物体の術前輪郭シグネチャの前記データベースと比較して、前記解剖学的物体の形状に基づいていくつかの術前輪郭シグネチャを除外して前記輪郭シグネチャ一致候補のグループを生成する、請求項9に記載の手術システム。
  17. 手術部位における解剖学的物体の生画像を獲得する画像獲得デバイスを含む手術システムを制御するためにプロセッサによって実行される機械可読命令が記憶された非一時的コンピュータ可読記憶媒体であって、前記機械可読命令は、前記画像獲得デバイスを前記手術部位へ位置合わせするための方法を遂行し、前記方法は、
    ある範囲の3次元(3D)方向にわたる前記解剖学的物体の術前画像から前記解剖学的物体の術前輪郭シグネチャのデータベースを生成するステップと、
    獲得された前記生画像から前記解剖学的物体のリアルタイム輪郭シグネチャを生成するステップと、
    前記リアルタイム輪郭シグネチャを前記解剖学的物体の術前輪郭シグネチャの前記データベースと比較して、最終的な輪郭シグネチャ一致の選択のための輪郭シグネチャ一致候補のグループを生成するステップと、
    選択された前記最終的な輪郭シグネチャ一致に対応する方向に基づいて前記画像獲得デバイスを前記手術部位に位置合わせするステップと、
    を有する、非一時的コンピュータ可読記憶媒体。
  18. 前記方法が、前記リアルタイム輪郭シグネチャ、及び前記輪郭シグネチャ一致候補のグループを、ユーザによる前記最終的な輪郭シグネチャ一致の選択のためにディスプレイへ伝送するステップを更に有する、請求項17に記載の非一時的コンピュータ可読記憶媒体。
  19. 前記方法が、前記ユーザによる前記最終的な輪郭シグネチャ一致の選択のためユーザインターフェースからの選択信号を処理するステップを更に有する、請求項18に記載の非一時的コンピュータ可読記憶媒体。
  20. 前記方法が、位置合わせモードを活性化するためユーザインターフェースからの活性化信号を処理するステップを更に有する、請求項17に記載の非一時的コンピュータ可読記憶媒体。
  21. 前記方法が、前記画像獲得デバイスからの生画像を前記術前画像で増強するステップを更に有する、請求項17に記載の非一時的コンピュータ可読記憶媒体。
  22. 前記方法が、獲得された前記生画像を処理して、前記解剖学的物体の輪郭の区分を用いて前記解剖学的物体の前記リアルタイム輪郭シグネチャを生成するステップを更に有する、請求項17に記載の非一時的コンピュータ可読記憶媒体。
  23. 前記リアルタイム輪郭シグネチャを前記解剖学的物体の術前輪郭シグネチャの前記データベースと比較して、前記輪郭シグネチャ一致候補のグループを生成する前記ステップが、前記解剖学的物体の形状に基づいていくつかの術前輪郭シグネチャを除外する、請求項17に記載の非一時的コンピュータ可読記憶媒体。
JP2018533776A 2015-12-29 2016-12-27 輪郭シグネチャを用いた手術画像獲得デバイスの位置合わせ Ceased JP2019511931A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562272493P 2015-12-29 2015-12-29
US62/272,493 2015-12-29
PCT/EP2016/082704 WO2017114828A1 (en) 2015-12-29 2016-12-27 Registration of a surgical image acquisition device using contour signatures

Publications (1)

Publication Number Publication Date
JP2019511931A true JP2019511931A (ja) 2019-05-09

Family

ID=57860791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018533776A Ceased JP2019511931A (ja) 2015-12-29 2016-12-27 輪郭シグネチャを用いた手術画像獲得デバイスの位置合わせ

Country Status (5)

Country Link
US (1) US11564748B2 (ja)
EP (1) EP3398169A1 (ja)
JP (1) JP2019511931A (ja)
CN (1) CN108475436A (ja)
WO (1) WO2017114828A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
EP4241694A3 (en) 2016-05-16 2023-12-20 Cathworks Ltd. Selection of vascular paths from images
EP3716879A4 (en) * 2017-12-28 2022-01-26 Changi General Hospital Pte Ltd MOTION COMPENSATION PLATFORM FOR IMAGE-GUIDED PERCUTANEOUS ACCESS TO BODY ORGANS AND STRUCTURES
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US10872690B2 (en) * 2018-11-28 2020-12-22 General Electric Company System and method for remote visualization of medical images
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
CN112634309B (zh) * 2020-11-30 2023-08-15 上海联影医疗科技股份有限公司 图像处理方法、装置、电子设备及存储介质
DE102021103411A1 (de) * 2021-02-12 2022-08-18 Aesculap Ag Chirurgisches Assistenzsystem und Darstellungsverfahren
EP4169474A1 (en) 2021-10-25 2023-04-26 Erbe Vision GmbH System and method for image registration
CN114224448B (zh) * 2021-12-21 2023-11-10 武汉大学 穿刺路径规划装置、设备和计算机可读存储介质
CN114343873B (zh) * 2022-01-07 2023-04-18 苏州康多机器人有限公司 一种内窥镜手术监测系统及方法
CN114299072B (zh) * 2022-03-11 2022-06-07 四川大学华西医院 一种基于人工智能的解剖变异识别提示方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050272991A1 (en) * 2004-04-22 2005-12-08 Chenyang Xu Method and system for registering pre-procedural images with intra-procedural images using a pre-computed knowledge base
JP2007209531A (ja) * 2006-02-09 2007-08-23 Hamamatsu Univ School Of Medicine 手術支援装置、方法及びプログラム
WO2009109874A1 (en) * 2008-03-07 2009-09-11 Koninklijke Philips Electronics N.V. Ct surrogate by auto-segmentation of magnetic resonance images
US20100091035A1 (en) * 2008-10-15 2010-04-15 Siemens Corporation Combined Segmentation And Registration Framework For Parametric Shapes
US20140301618A1 (en) * 2011-10-26 2014-10-09 Koninklijke Philips N.V. Endoscopic registration of vessel tree images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7903849B2 (en) * 2005-04-15 2011-03-08 Kabushiki Kaisha Toshiba Medical image processing apparatus
CN101518447A (zh) * 2009-03-02 2009-09-02 北京积水潭医院 一种提高脊柱外科手术计算机导航系统精度的方法
WO2011031134A1 (en) * 2009-09-14 2011-03-17 Erasmus University Medical Center Rotterdam Image processing method and system
CN104540439B (zh) * 2012-08-14 2016-10-26 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050272991A1 (en) * 2004-04-22 2005-12-08 Chenyang Xu Method and system for registering pre-procedural images with intra-procedural images using a pre-computed knowledge base
JP2007209531A (ja) * 2006-02-09 2007-08-23 Hamamatsu Univ School Of Medicine 手術支援装置、方法及びプログラム
WO2009109874A1 (en) * 2008-03-07 2009-09-11 Koninklijke Philips Electronics N.V. Ct surrogate by auto-segmentation of magnetic resonance images
US20100091035A1 (en) * 2008-10-15 2010-04-15 Siemens Corporation Combined Segmentation And Registration Framework For Parametric Shapes
US20140301618A1 (en) * 2011-10-26 2014-10-09 Koninklijke Philips N.V. Endoscopic registration of vessel tree images
JP2015501183A (ja) * 2011-10-26 2015-01-15 コーニンクレッカ フィリップス エヌ ヴェ 血管ツリー画像の内視鏡的位置合わせ

Also Published As

Publication number Publication date
CN108475436A (zh) 2018-08-31
EP3398169A1 (en) 2018-11-07
US20190008592A1 (en) 2019-01-10
US11564748B2 (en) 2023-01-31
WO2017114828A1 (en) 2017-07-06

Similar Documents

Publication Publication Date Title
US11564748B2 (en) Registration of a surgical image acquisition device using contour signatures
JP7293265B2 (ja) 管状網のナビゲーション
JP6122875B2 (ja) 血管ツリー画像内での見えない分岐部の検出
US10772684B2 (en) Spatial visualization of internal mammary artery during minimally invasive bypass surgery
CN103108602B (zh) 从血管树图像对内窥镜的机器人控制
EP2747695B1 (en) Endoscopic registration of vessel tree images
US20130250081A1 (en) System and method for determining camera angles by using virtual planes derived from actual images
US20110282151A1 (en) Image-based localization method and system
EP2996617B1 (en) Robotic control of an endoscope from anatomical features
CN106572887B (zh) X射线套件中的图像整合和机器人内窥镜控制
US20150112126A1 (en) Enhanced visualization of blood vessels using a robotically steered endoscope
JP2015514492A (ja) 術前及び術中3d画像を用いて内視鏡を手動操作するガイダンスツール
JP2019517291A (ja) 内視鏡画像及び超音波画像の画像ベースの融合
JP7041068B2 (ja) 剛性近位部及びフレキシブル遠位部を有するハイブリッドロボットを制御するための制御ユニット、システム、及び方法
CN107847111B (zh) 根据体积图像的交互式平面切片的内窥镜引导
JP2021509987A (ja) 血管特徴を使用して異常な組織を検出するためのシステム及び方法
EP3782529A1 (en) Systems and methods for selectively varying resolutions
Zampokas et al. Augmented reality toolkit for a smart robot-assisted MIS platform
WO2024107628A1 (en) Systems and methods for robotic endoscope system utilizing tomosynthesis and augmented fluoroscopy
Mountney et al. Recovering tissue deformation and laparoscope motion for minimally invasive surgery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210930

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220105

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20220530