JP2020168374A - 位置特定データをフィルタリングするシステム及び方法 - Google Patents

位置特定データをフィルタリングするシステム及び方法 Download PDF

Info

Publication number
JP2020168374A
JP2020168374A JP2020070786A JP2020070786A JP2020168374A JP 2020168374 A JP2020168374 A JP 2020168374A JP 2020070786 A JP2020070786 A JP 2020070786A JP 2020070786 A JP2020070786 A JP 2020070786A JP 2020168374 A JP2020168374 A JP 2020168374A
Authority
JP
Japan
Prior art keywords
instrument
spatial
spatial data
information
spatial information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020070786A
Other languages
English (en)
Other versions
JP7296341B2 (ja
Inventor
キュー ドンホウィ，ケイトリン
Q Donhowe Caitlin
キュー ドンホウィ，ケイトリン
バルバグリ，フェデリコ
Barbagli Federico
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of JP2020168374A publication Critical patent/JP2020168374A/ja
Application granted granted Critical
Publication of JP7296341B2 publication Critical patent/JP7296341B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Robotics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Radiology & Medical Imaging (AREA)
  • Urology & Nephrology (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)

Abstract

【課題】従来技術の問題を解決する。【解決手段】コンピュータシステムによって行われる方法は、遠隔操作アセンブリに指令を提供して、命令される速度プロファイルに従って解剖学的通路内で器具を動かすことを含む。方法は、解剖学的通路内に位置付けられる器具から空間情報のセットを受信することや、空間情報のセットをフィルタリングして、命令される速度プロファイルに比例する空間情報のセットからのある量の空間データ記録を選択することも含む。【選択図】図４Ｂ

Description

（関連出願の参照）
この特許出願は、２０１４年１１月１３日に出願された「SYSTEMS AND METHODS FOR FILTERING LOCALIZATION DATA」という名称の米国仮特許出願第６２／０７９，１３９号の優先権及び出願日の利益を主張し、その全文を本明細書中に参照として援用する。
本開示は、画像誘導手術のためのシステム及び方法に関し、より具体的には、患者解剖学的構造に対して手術器具を位置特定する(localizing)方法及びシステムに関する。
最小侵襲的医療技法は、医療処置の間に損傷される組織の量を減少させることにより、患者の回復時間、不快感、及び有害な副作用を減少させることを意図する。そのような最小侵襲的技法は、患者解剖学的構造にある自然開口部を通じて或いは１つ又はそれよりも多くの外科切開部を通じて行われてよい。これらの自然開口部又は切開部を通じて、臨床医は（手術、診断、治療、又は生検器具を含む）最小侵襲的医療器具を挿入して、標的組織場所に到達する。器具は、肺、結腸、腸、腎臓、心臓、循環系、又は類似器官のような解剖学的系統内の、自然に又は外科的に創られる通路を進んでよい。標的組織場所に到達するのを助けるために、医療器具の位置、向き、形状、及び／又は動きが、患者解剖学的構造の術前又は術中画像と相関させられてよい。画像誘導器具は、例えば、電磁（ＥＭ）、機械、光学、又は超音波トラッキングシステムを用いて、患者解剖学的構造に対して位置特定されて(localized)よい。一般的に、器具についてのより多くの空間情報が受信されると、位置特定(localization)の精度は増大させられる。しかしながら、器具の場所についての冗長な又は不正確な情報を受信することは、位置特定の精度を減じることがあり、或いは位置特定プロセスを遅くさせることがある。解剖学的構造に対する位置特定を改良するために、空間情報をフィルタリングする技法の改良が必要とされている。
本発明の実施態様は、以下に続く請求項によって要約される。
１つの実施態様では、コンピュータシステムによって実行される方法が、遠隔操作アセンブリに指令を提供して、命令される速度プロファイルに従って解剖学的通路内で器具を動かすことを含む。方法は、解剖学的通路内に位置付けられる器具から空間情報のセットを受信することや、空間情報のセットをフィルタリングして、命令される速度プロファイルに比例する量の空間データ記録(a quantity of spatial data records)を空間情報のセットから選択することも含む。
他の実施態様では、コンピュータシステムによって実行される方法が、解剖学的通路内に位置付けられる器具から第１のセットの空間情報を受信することを含む。第１のセットの空間情報は、複数の時間期間での器具の遠位端についての位置情報を含む複数の空間データ記録を含む。方法は、複数の空間データ記録を時間的に収集される順序で順序付けることや、複数の空間データ記録のうちの第１及び第２の連続的な空間データ記録の間の空間関係を評価することも含む。方法は、評価される空間関係に基づき第１のセットの空間情報をフィルタリングすることも含む。
他の実施態様では、コンピュータシステムによって実行される方法が、解剖学的通路内に位置付けられる器具から第１のセットの空間情報を受信することを含む。第１のセットの空間情報は、複数の時間期間での器具の遠位端についての位置情報を含む複数の空間データ記録を含む。方法は、複数の空間データ記録の各々についての信頼度係数を生成することや、生成される信頼度係数に基づき第１のセットの情報をフィルタリングすることも含む。
他の実施態様では、コンピュータシステムによって実行される方法が、解剖学的通路内に位置付けられる器具から第１のセットの空間情報を受信することを含む。第１のセットの空間情報は、複数の時間期間での器具の遠位端についての位置情報を含む複数の空間データ記録を含む。方法は、器具内に配置される形状センサから形状データを受信することや、受信する形状データに基づき複数の空間データ記録のうちの少なくとも１つを除去することによって第１のセットの空間情報をフィルタリングすることも含む。
本開示の特徴は、添付の図面と共に判読されるときに、以下の詳細な記述から最良に理解されるであろう。様々な構成は業界の標準的な慣行に従って原寸通りに描かれていないことが強調される。実際には、様々な構成の寸法は、議論の明瞭性のために、任意に増大させられ或いは減少させられることがある。加えて、本開示は、様々な実施例において参照番号及び／又は文字を繰り返すことがある。この繰返しは単純性及び明瞭性のためであり、それ自体は議論する様々な実施態様及び／又は構成の間の関係を決定しない。
本明細書中に記載する原理の１つの実施例に従った、例示的な遠隔操作医療システムを示す図である。
本明細書中に記載する原理の１つの実施例に従った、例示的な医療器具システムを示す図である。
本明細書中に記載する原理の１つの実施例に従った、モデル患者解剖学的構造に位置合わせされた器具を示す図である。
本明細書中に記載する原理の１つの実施例に従った、位置合わせプロセスを行う例示的な方法を示すフローチャートである。
空間情報をフィルタリングする例示的な方法を示すフローチャートである。
解剖学的通路を通じて進む器具の遠位端からの位置特定信号を例示するよう空間的に配置されたデータ地点として示された空間データ記録のセットを例示している。
図５Ａの空間データ記録の表である。
解剖学的通路を通じて進む器具の遠位端からの位置特定信号を例示するよう空間的に配置されたデータと点として示された空間データ記録の他のセットを例示している。
解剖学的通路の形状と関連付けられるセグメント化マップと共にデータ地点として示される空間データ記録のセットを例示している。
図６Ｂのデータ地点の部分を例示している。
この開示の実施態様に従った命令される速度を例示している。
解剖学的通路を通じて進む器具の遠位端からの位置特定信号を例示するよう空間的に配置されたデータ地点として示された空間データ記録のセットを例示している。 解剖学的通路を通じて進む器具の遠位端からの位置特定信号を例示するよう空間的に配置されたデータ地点として示された空間データ記録のセットを例示している。 解剖学的通路を通じて進む器具の遠位端からの位置特定信号を例示するよう空間的に配置されたデータ地点として示された空間データ記録のセットを例示している。
解剖学的通路内に位置付けられる形状センサから受信する形状プロファイルを例示している。
本開示の原理の理解を促進させる目的のために、次に、図面に例示する実施態様を参照し、特定の言語を用いて実施態様を記載する。それにも拘わらず、開示の範囲の限定は意図されていないことが理解されるであろう。本発明の特徴の以下の詳細な記述では、開示の実施態様の網羅的な理解をもたらすために、様々な特定の詳細を示す。しかしながら、この開示の実施態様は、これらの特定の詳細がなくても実施されることがあることが、当業者に明らかであろう。他の場合には、本発明の実施態様の特徴を不必要に曖昧にしないよう、周知の方法、手順、コンポーネント、及び回路を詳細に記載しない。
記載するデバイス、器具、方法に対するあらゆる変更及び更なる修正、並びに本開示の原理のあらゆる更なる用途は、本開示が関係する当業者の心に普通に思い浮かぶように十分に想定される。具体的には、１つの実施態様に関して記載する構成、コンポーネント、及び／又はステップは、本開示の他の実施態様に関して記載する構成、コンポーネント、及び／又はステップと組み合わせられてよいことが十分に理解される。加えて、本明細書中で提供される寸法は特定の実施態様に関するものであり、異なる大きさ、寸法、及び／又は比率を利用して本開示の着想を実施してよいことが想定される。不要な記述上の繰返しを避けるために、１つの例示的な実施態様に従って記載する１つ又はそれよりも多くのコンポーネント又は行為は、他の例示的な実施態様から適用可能なものとして用いられ或いは省略され得る。簡潔性のために、これらの実施態様の数多くの反復を別個に記載しない。単純性のために、幾つかの場合には、図面を通じて同じ参照番号を用いて、同一の又は類似の部品に言及する。
以下の実施態様は、三次元空間内のそれらの状態に関して、様々な基部及び基部の部分を記載する。本明細書中で用いられるとき、「位置」という用語は、三次元空間（例えば、デカルトＸ，Ｙ，Ｚ座標に沿う３つの並進自由度）内の物体又は物体の部分の場所を指す。本明細書中で用いられるとき、「向き」という用語は、物体又は物体の部分の回転的な配置（３つの回転自由度、例えば、ロール、ピッチ、及びヨー）を指す。本明細書中で用いられるとき、「姿勢」という用語は、少なくとも１つの並進自由度における物体又は物体の部分の位置及び少なくとも１つの回転自由度（最大で６つの自由度）における物体又は物体の部分の向きを指す。本明細書中で用いられるとき、「形状」という用語は、物体に沿って測定される姿勢、位置、又は向きのセットを指す。
図面の図１を参照すると、例えば、診断、治療、又は手術処置を含む、医療処置における使用のための、遠隔操作医療システムが、参照番号１００によって概ね示されている。記載されるように、この開示の遠隔操作医療システムは、外科医の遠隔操作制御の下にある。代替的な実施態様において、遠隔操作医療システムは、処置又は下位処置を行うようプログラムされたコンピュータの部分的な制御の下にあってよい。更に他の代替的な実施態様では、処置又は下位処置を行うようプログラムされたコンピュータの完全制御の下で完全に自動化された医療システムを用いて処置又は下位処置を行ってよい。
図１に示すように、遠隔操作システム１００は、一般的に、患者Ｐに様々な処置を行う際に医療器具システム１０４を操作する遠隔操作アセンブリ１０２を含む。アセンブリ１０２は、患者Ｐを位置付ける手術台Ｏ又はその付近に取り付けられる。医療器具システム１０４は、遠隔操作アセンブリ１０２に動作的に連結される。操作者入力システム１０６は、外科医又は他の種類の臨床医Ｓが、手術部位の画像又は手術部位を表す画像を見て、医療器具システム１０４の操作を制御するのを可能にする。
代替的な実施態様において、遠隔操作システムは、１つよりも多くのマニピュレータアセンブリを含んでよい。マニピュレータアセンブリの正確な数は、数ある要因の中でも、外科処置及び手術室内の空間制約に依存する。
操作者入力システム１０６は、外科医コンソールＣに配置されてよく、外科医コンソールＣは、普通、手術台Ｏと同じ室内に配置される。しかしながら、外科医Ｓは患者Ｐと異なる部屋又は完全に異なる建物内に位置し得ることが理解されるべきである。操作者入力システム１０６は、一般的に、医療器具システム１０４を操作する１つ又はそれよりも多くの制御デバイスを含む。（複数の）制御デバイスは、握り、ジョイスティック、トラックボール、データグローブ、トリガガン、手動コントローラ、音声認識デバイス、タッチスクリーン、身体動作又は存在センサ、及び同等物のような、任意の数の様々な入力デバイスのうちの１つ又はそれよりも多くを含んでよい。幾つかの実施態様において、（複数の）制御デバイスは、遠隔操作アセンブリの医療器具と同じ自由度を備えることで、外科医にテレプレゼンス、即ち、器具が恰も手術部位に存在しているかのように、外科医が器具を直接的に制御しているという強い感覚を有するよう、（複数の）制御デバイスが器具と一体であるという知覚をもたらす。他の実施態様において、（複数の）制御デバイスは、関連する医療器具よりも多くの又は少ない自由度を有してよく、外科医に依然としてテレプレゼンスをもたらしてよい。幾つかの実施態様において、（複数の）制御デバイスは、６つの自由度で動く手動入力デバイスであり、手動入力デバイスは、器具を作動させるための（例えば、把持ジョーを閉じる、電極に電位を加える、医療処置を施す、及び同等のことのための）作動可能なハンドルも含んでよい。
遠隔操作アセンブリ１０２は、医療器具システム１０４を支持し、１つ又はそれよりも多くの非サーボ制御リンク（例えば、手動で位置付けられて所定の場所に係止されてよく、一般的にセットアップ構造と呼ばれる、１つ又はそれよりも多くのリンク）の運動学的構造と、遠隔操作マニピュレータとを含んでよい。遠隔操作アセンブリ１０２は、制御システム（例えば、制御システム１１２）からの命令に応答して医療器具システム１０４への入力を駆動する複数のアクチュエータ又はモータを含む。モータは、医療器具システム１０４に連結されるときに、医療器具を自然に又は外科的に創られる解剖学的開口部内に前進させることがある、駆動システムを含む。他の電動駆動システムは、３つの線形自由度（例えば、Ｘ，Ｙ，Ｚデカルト軸に沿う線形運動）及び３つの回転自由度（例えば、Ｘ，Ｙ，Ｚデカルト軸についていの回転）を含んでよい多数の自由度において、医療器具の遠位端を動かしてよい。加えて、モータを用いて、生検デバイス又は同等物のジョー内で組織を掴む器具の関節作動可能なエンドエフェクタを作動させ得る。
遠隔操作医療システム１００は、遠隔操作アセンブリの器具に関する情報を受信する１つ又はそれよりも多くのサブシステムを備えるセンサシステム１０８を含んでよい。そのようなサブシステムは、位置センサシステム（例えば、電磁（ＥＭ）センサシステム）、カテーテル先端の及び／又は器具システム１０４のフレキシブルな本体に沿う１つ又はそれよりも多くのセグメントの位置、向き、速さ、速度、姿勢、及び／又は形状を決定する形状センサシステム、及び／又はカテーテルシステムの遠位端から画像を取り込む（キャプチャする）視覚化システムを含んでよい。
視覚化システム（例えば、図２の視覚化システム２３１）は、手術部位の同時又は実時間画像が外科医に提供されるよう、（以下に詳細に記載する）視認スコープアセンブリを含んでよい。同時画像は、例えば、手術部位内に位置付けられる内視鏡によって取り込まれる二次元又は三次元画像であってよい。この実施態様において、視覚化システムは、医療器具１０４に一体的に又は取外し可能に連結されてよい内視鏡コンポーネントを含む。しかしながら、代替的な実施態様では、別個のマニピュレータアセンブリに取り付けられる別個の内視鏡を医療器具と共に用いて、手術部位を撮像してよい。視覚化システムは、１つ又はそれよりも多くのコンピュータプロセッサと相互作用する或いはその他の方法で実行される、ハードウェア、ファームウェア、ソフトウェア又はそれらの組み合わせとして実施されてよく、コンピュータプロセッサは、（以下に記載する）制御システム１１２のプロセッサを含んでよい。
遠隔操作医療システム１００は、センサシステム１０８のサブシステムによって生成される（複数の）医療器具１０４及び手術部位の画像又は表現を表示するディスプレイシステム１１０も含む。ディスプレイ１１０及び操作者入力システム１０６は、操作者がテレプレゼンスの知覚を伴って医療器具システム１０４及び操作者入力システム１０６を制御し得るよう、方向付けられてよい。
ディスプレイシステム１１０は、視覚化システムによって取り込まれる医療器具及び手術部位の画像を表示してもよい。ディスプレイ１１０及び制御デバイスは、操作者が作業空間を恰も実質的に真実存在(true presence)において見ているかのように医療器具１０４及び手動制御装置を操作し得るよう、医療器具及びスコープアセンブリ内の撮像デバイスの相対位置が外科医の両眼及び両手の相対位置と類似するように、方向付けられてよい。真実存在とは、画像の表現が、器具１０４を物理的に操作する操作者の視点を真似る真正の透視画像(true perspective image)であることを意味する。
代替的に又は追加的に、ディスプレイ１１０は、コンピュータ断層撮影法（ＣＴ）、磁気共鳴映像法（ＭＲＩ）、蛍光透視法、サーモグラフィ、超音波、光コヒーレンストモグラフィ（ＯＣＴ）、熱映像法、インピーダンス映像法、レーザ映像法、又はナノチューブＸ線映像法のような、撮像技術を用いて術前に記録され且つ／或いはモデル化される、手術部位の画像を提示してよい。提示される術前画像は、二次元、三次元、又は四次元画像を含んでよい。提示される術前又は術中画像は、二次元、三次元、又は（例えば、時間ベース又は速度ベースの情報を含む）四次元画像、及び画像を再現するための関連する画像データセットを含んでよい。
幾つかの実施態様において、ディスプレイ１１０は、医療器具１０４の実際の場所が術前又は同時画像と位置合わせされる(registered)(即ち、動的に関係づけられる(referenced))仮想ナビゲーション画像を表示して、外科医に器具１０４の先端の場所での内部手術部位の仮想画像を提示してよい。器具１０４の先端の画像又は他の図式的若しくは文字数次式インジケータが仮想画像の上に重ね合わせられて、医療器具を制御する外科医を支援してよい。代替的に、器具１０４は、仮想画像中に見えなくてよい。
他の実施態様において、ディスプレイ１１０は、医療器具の実際の場所が術前又は同時画像と位置合わせされる仮想ナビゲーション画像を表示して、外科医Ｓに外部視点からの手術部位内の医療器具の仮想画像を提示してよい。医療器具の部分の画像又は他の図式的若しくは文字数次式インジケータが仮想画像の上に重ね合わせられて、器具１０４を制御する外科医を支援してよい。
遠隔操作医療システム１００は、制御システム１１２も含む。制御システム１１２は、少なくとも１つのメモリ及び少なくとも１つのプロセッサ（図示せず）を含み、典型的には、医療器具システム１０４、操作者入力システム１０６、センサシステム１０８、及びディスプレイシステム１１０の間の制御をもたらす、複数のプロセッサを含む。制御システム１１２は、本明細書中に開示する特徴に従った方法の一部又は全部を実施するようプログラムされた指令（例えば、指令を格納するコンピュータ可読媒体）も含む。制御システム１１２は、図１の簡略図において単一のブロックとして示されているが、システムは、２つ又はそれよりも多くのデータ処理回路を含んでよく、処理の一部は、遠隔操作アセンブリ１０２で又は遠隔操作アセンブリ１０２に近接して任意的に行われ、処理の他の部分は、操作者入力システム１０６及び同等物で行われる。多種多様の集中型又は分散型のデータ処理アーキテクチャが利用されてよい。同様に、プログラムされる指令は、多数の別個のプログラム又はサブルーチンとして実施されてよく、或いは、プログラムされる指令は、本明細書中に記載する遠隔操作システムの多数の他の特徴に統合されてよい。１つの実施態様において、制御システム１１２は、Bluetooth（登録商標）、IrDA、HomeRF、IEEE 802.11、DECT、及びWireless Telemetryのような、無線通信プロトコルをサポートする。
幾つかの実施態様において、制御システム１１２は、医療器具システム１０４から力及び／又はトルクフィードバックを受信する１つ又はそれよりも多くのサーボコントローラを含んでよい。フィードバックに応答して、サーボコントローラは、操作者入力システム１０６に信号を送信する。（複数の）サーボコントローラは、遠隔操作アセンブリ１０２に指令する信号も送信して、体の開口を介して患者内の内部手術部位に延びる（複数の）医療器具システム１０４を動かしてよい。任意の適切な従来的な又は特殊なサーボコントローラが用いられてよい。サーボコントローラは、遠隔操作アセンブリ１０２と別個でよく或いは一体でよい。幾つかの実施態様において、サーボコントローラ及び遠隔操作アセンブリは、患者の体に近接して位置付けられる遠隔操作アームカートの部分として提供される。
制御システム１１２は、（複数の）医療器具システム１０４にナビゲーション支援をもたらす仮想視覚化システムを更に含んでよい。仮想視覚化システムを用いる仮想ナビゲーションは、解剖学的通路の三次元構造と関連付けられて取得されるデータセットへの参照に基づく。より具体的には、仮想視覚化システムは、コンピュータ断層撮影法（ＣＴ）、磁気共鳴映像法（ＭＲＩ）、蛍光透視法、サーモグラフィ、超音波、光コヒーレンストモグラフィ（ＯＣＴ）、熱映像法、インピーダンス映像法、レーザ映像法、ナノチューブＸ線映像法、又は同等物のような、撮像技術を用いて撮像される、手術部位の画像を処理する。ソフトウェアを単独で又は手動入力との組み合わせにおいて用いて、記録される画像を、部分的又は全体的な解剖学的器官又は解剖学的領域のセグメント化された二次元又は三次元の複合表現(composite representation)に変換する。画像データセットは、複合表現と関連付けられる。複合表現及び画像データセットは、通路及びそれらの接続性の様々な場所及び形状を記述する。複合表現を生成するために用いられる画像は、術前に又は臨床処置の間に術中に記録されてよい。代替的な実施態様では、仮想視覚化システムが、標準的な表現（即ち、患者特異でない表現）又は標準的な表現及び患者特異データの混成を用いてよい。複合表現及び複合表現によって生成されるあらゆる仮想画像は、運動の１つ又はそれよりも多くの位相の間（例えば、肺の吸息／呼息周期の間）の変形可能な解剖学的領域の静止的な姿勢を提示してよい。
画像誘導処置の間に、センサシステム１０８を用いて患者解剖学的構造(patient anatomy)に対する器具の近似場所を計算してよい。その場所を用いて患者解剖学的構造のマクロレベルトラッキング画像及び患者解剖学的構造の仮想内部画像の両方を生成し得る。光ファイバセンサを用いて仮想視覚化システムからの画像のような術前に記録された手術画像と共に医療器具(medical implement)を位置合わせし且つ表示することは知られている。例えば、その全文を本明細書中に参照として援用する（２０１１年５月１３日に出願された）（「Medical System Providing Dynamic Registration of a Model of an Anatomical Structure for Image-Guided Surgery」を開示する）米国特許出願第１３／１０７，５６２は、１つのそのようなシステムを開示している。
遠隔操作医療システム１００は、照明システム、操縦制御システム、洗浄システム、及び／又は吸引システムのような、任意的な操作及びサポートシステム（図示せず）を更に含んでよい。代替的な実施態様において、遠隔操作システムは、１つよりも多くの遠隔操作アセンブリ及び／又は１つよりも多くの操作者入力システムを含んでよい。マニピュレータアセンブリの正確な数は、数ある要因の中でも、外科処置及び手術室内の空間制約に依存する。操作者入力システムは並置されてよく、或いは操作者入力システムは別個の場所に位置付けられてよい。多数の操作者入力システムは、１人よりも多くの操作者が様々な組み合わせにおける１つ又はそれよりも多くのマニピュレータアセンブリを制御するのを可能にする。
図２は、遠隔操作医療システム１００の医療器具システム１０４として用いられてよい医療器具システム２００を例示している。代替的に、医療器具システム２００は、非遠隔操作診査処置のために又は内視鏡のような従来的な手動制御医療器具を含む処置において用いられてよい。
器具システム２００は、器具本体２０４に連結されたカテーテルシステム２０２を含む。カテーテルシステム２０２は、近位端２１７と遠位端又は先端部分２１８とを有する細長いフレキシブルなカテーテル本体２１６を含む。１つの実施態様において、フレキシブルな本体２１６は、約３ｍｍの外径を有する。他のフレキシブルな本体の外径は、より大きくてよく或いはより小さくてよい。カテーテルシステム２０２は、遠位端２１８でのカテーテル先端の又は本体２１６に沿う１つ又はそれよりも多くのセグメントの、位置、向き、速さ、速度、姿勢、及び／又は形状を決定するために、形状センサ２２２を任意的に含んでよい。遠位端２１８と近位端２１７との間の本体２１６の全長は、セグメント２２４に効果的に分割されてよい。器具システム２００が遠隔操作医療システム１００の医療器具システム１０４であるならば、形状センサ２２２は、センサシステム１０８のコンポーネントであってよい。器具システム２００が手動操作され或いは非遠隔操作処置のためのその他の方法で用いられるならば、形状センサ２２２は、トラッキングシステム２３０に連結されてよく、トラッキングシステム２３０は、形状センサに呼び掛け(interrogate)、受信する形状データを処理する。
形状センサ２２２は、（例えば、内部通路（図示せず）内に設けられる或いは外部的に取り付けられる）フレキシブルなカテーテル本体２１６と整列させられる光ファイバを含んでよい。１つの実施態様において、光ファイバは、約２００μｍの直径を有する。他の実施態様において、直径はより大きくてよく或いはより小さくてよい。
形状センサシステム２２２の光ファイバは、カテーテルシステム２０２の形状を決定する光ファイバ曲げセンサを形成する。１つの代替では、ファイバ・ブラッグ・グレーティング（ＦＢＧｓ）を含む光ファイバを用いて、１つ又はそれよりも多くの次元における構造のひずみ測定値を提供する。三次元における光ファイバの形状及び相対位置をモニタリングする様々なシステム及び方法が、（２００５年７月１３日に出願された）（「Fiber optic position and shape sensing device and method relating thereto」を開示する）米国特許出願第１１／１８０，３８９号、（２００４年７月１６日に出願された）（「Fiber-optic shape and relative position sensing」を開示する）米国特許出願第１２／０４７，０５６号、及び（１９９８年６月１７日に出願された）（「Optical Fibre Bend Sensor」を開示する）米国特許第６，３８９，１８７号中に記載されており、それらの全文を本明細書中に参照として援用する。代替的な実施態様におけるセンサは、レイリー散乱、ラマン散乱、ブリルアン散乱、及び蛍光散乱のような、他の適切なひずみ検知技法を利用してよい。他の実施態様において、カテーテルの形状は、他の技法を用いて決定されてよい。例えば、カテーテルの遠位先端姿勢の履歴を用いて、時間の間隔に亘ってデバイスの形状を再構築し得る。他の例として、履歴的な姿勢、位置、又は向きデータが、呼吸のような交互の運動の周期に沿う器具システム既知の地点について格納されてよい。この格納されるデータを用いてカテーテルについての形状情報を発展させ得る。代替的に、カテーテルに沿って位置付けられるＥＭセンサのような一連の位置センサを形状検知のために用い得る。代替的に、特に、解剖学的通路が静止的であるならば、処置中の器具システム上のＥＭセンサのような位置センサからのデータの履歴を用いて器具の形状を提示してよい。代替的に、位置又は向きが外部磁場によって制御される無線デバイスが形状検知のために用いられてよい。無線デバイスの位置の履歴を用いてナビゲートされる通路についての形状を決定してよい。
形状センサ２２２の光ファイバを用いてカテーテルシステム２０２の少なくとも部分の形状をモニタリングしてよい。より具体的には、光ファイバを通過する光を処理してカテーテルシステム２０２の形状を検出し、その情報を利用して外科処置を支援してよい。センサシステム（例えば、センサシステム１０８）は、カテーテルシステム２０２の形状を決定するために用いられる光を生成し且つ検出する呼掛けシステム(interrogation system)を含んでよい。次に、この情報を用いて医療器具システムの部分の速度及び加速度のような他の変数を決定し得る。検知は遠隔操作システムによって作動させられる自由度にのみ限定されてよく、或いは検知は受動的な（例えば、ジョイントの間の剛性部材の作動させられない曲げ）自由度及び能動的な（例えば、器具の作動させられる動き）自由度の両方に適用されてよい。
医療器具システムは、任意的に、位置センサシステム２２０を含んでよい。位置センサは、外部的に生成される電磁場に晒されることがある１つ又はそれよりも多くの導電性コイルを含むセンサ２２０を備えるＥＭセンサシステムのコンポーネントであってよい。その場合、ＥＭセンサシステム２２０の各コイルは、外部的に生成される電磁場に対するコイルの位置及び向きに依存する特性を有する誘導電気信号を生成する。１つの実施態様において、ＥＭセンサシステムは、６つの自由度、例えば、３つの位置座標Ｘ，Ｙ，Ｚ、並びにベース地点のピッチ、ヨー、及びロールを示す３つの向き角度、又は５つの自由度、例えば、３つの位置座標Ｘ，Ｙ，Ｚ、並びに２つのベース地点のピッチ及びヨーを示す２つの向き角度を測定するように、構成され且つ位置付けられてよい。ＥＭセンサシステムの更なる記述は、（１９９９年８月１１日に出願された）（「Six-Degree of Freedom Tracking System Having a Passive Transponder on the Object Being Tracked」を開示する）米国特許第６，３８０，７３２号中に提供されており、その全文を本明細書中に参照として援用する。
トラッキングシステム２３０が、遠位端２１８の及び器具２００に沿う１つ又はそれよりも多くのセグメント２２４の位置、向き、速さ、速度、及び／又は形状を決定するために、位置センサシステム２２０及び形状センサシステム２２２を含んでよい。トラッキングシステム２３０は、１つ又はそれよりも多くのコンピュータプロセッサと相互作用する或いは１つ又はそれよりも多くのコンピュータプロセッサによってその他の方法で実行される、ハードウェア、ファームウェア又はこれらの組み合わせとして実施されてよく、１つ又はそれよりも多くのコンピュータプロセッサは、制御システム１１６のプロセッサを含んでよい。
フレキシブルな本体２１６は、補助的な器具２２６を受け入れるような大きさ及び形状とされる通路を含む。補助的な器具は、例えば、画像取込みプローブ（画像キャプチャプローブ）、生検器具、レーザアブレーションファイバ、又は他の手術、診断、若しくは治療ツールを含んでよい。補助的なツールは、メス、鈍らブレード、光ファイバ、又は電極のような、単一の作業部材を有する、エンドエフェクタを含んでよい。他のエンドエフェクタは、例えば、鉗子、グラスパ、ハサミ、又はクリップアプライヤを含んでよい。電気的にアクティブ化されるエンドエフェクタの実施例は、電気外科電極、変換器（トランスデューサ）、センサ、及び同等物を含む。様々な実施態様において、補助的なツール２２６は、画像取込みプローブであってよく、画像取込みプローブは、表示のために視覚化システム２３１によって処理される（ビデオ画像を含む）画像を取り込むフレキシブルなカテーテル本体２１６の遠位端２１８に又はその付近に立体視又は平面視カメラを備える遠位部分を含む。画像取込みプローブは、取り込まれる画像データを送信するために、カメラに連結されるケーブルを含んでよい。代替的に、画像取込み器具は、視覚化システムに繋がる、ファイバスコープのような、光ファイバの束(fiber-optic bundle)であってよい。画像取込み器具は、例えば、可視スペクトル、赤外スペクトル、又は紫外スペクトルのうちの１つ又はそれよりも多くにおいて画像データを取り込む、単スペクトル又は多スペクトルであってよい。
補助的な器具２２６は、器具の遠位端を制御可能に曲げるために器具の近位端と遠位端との間に延びる、ケーブル、リンケージ、又は他の作動制御装置（図示せず）を収容してよい。操縦可能な器具は、（２００５年１０月４日に出願された）（「Articulated Surgical Instrument for Performing Minimally Invasive Surgery with Enhanced Dexterity and Sensitivity」を開示する）米国特許第７，３１６，６８１号及び（２００８年９月３０日に出願された）（「Passive Preload and Capstan Drive for Surgical Instrument」を開示する）米国特許出願第１２／２８６，６４４号に詳細に記載されており、それらの全文を本明細書中に参照として援用する。
フレキシブルなカテーテル本体２１６は、例えば、遠位端の破線描写２１９によって示されるように、遠位端２１８を制御可能に曲げるために、ハウジング２０４と遠位端２１８との間に延びる、ケーブル、リンケージ、又は他の操縦制御装置（図示せず）も収容してよい。操縦可能なカテーテルは、（２０１１年１０月１４日に出願された）（「Catheter with Removable Vision Probe」を開示する）米国特許出願第１３／２７４，２０８号に詳細に記載されており、その全文を本明細書中に参照として援用する。器具システム２００が遠隔操作アセンブリによって作動させられる実施態様において、ハウジング２０４は、遠隔操作アセンブリの電動駆動要素に取り外し可能に繋がり且つ遠隔操作アセンブリの電動駆動要素から電力を受ける駆動入力部を含んでよい。器具システム２００が手動で作動させられる実施態様において、ハウジング２０４は、握り構成、手動アクチュエータ、又は器具システムの動きを手動で制御する他のコンポーネントを含んでよい。カテーテルシステムは、操縦可能であってよく、或いは、代替的に、カテーテルシステムは操縦不能であってよく、器具曲げの操作者制御のための統合的な機構を備えない。その上又は代替的に、医療器具を配置し得る並びに標的手術場所で用い得る１つ又はそれよりも多くの管腔が、フレキシブルな本体２１６の壁に定められる。
様々な実施態様において、医療器具システム２００は、肺の検査、診断、生検、又は治療における使用のために、気管支鏡又は気管支カテーテルのような、フレキシブルな気管支器具を含んでよい。システム２００は、結腸、腸、腎臓、脳、心臓、循環系、及び同等器官を含む、様々な解剖学的系統のうちのいずれかにおける、自然の又は外科的に創られる接続される通路を介した、他の組織のナビゲーション及び治療にも適する。
トラッキングシステム２３０からの情報はナビゲーションシステム２３２に送信されてよく、それはナビゲーションシステム２３２で視覚化システム２３１からの情報及び／又は術前に得られるモデルと組み合わせられて、器具２００の制御における使用のためにディスプレイシステム１１０上で外科医又は他の操作者に実時間位置情報を提供する。制御システム１１６は、器具２００を位置付けるためのフィードバックとして位置情報を利用してよい。手術器具を手術画像と位置合わせし且つ表示するために光ファイバセンサを用いるための様々なシステムが、２０１１年５月１３日に出願され、「Medical System Providing Dynamic Registration of a Model of an Anatomical Structure for Image-Guided Surgery」を開示する、米国特許出願第１３／１０７，５６２号に提供されており、その全文を本明細書中に参照として援用する。
図２の実施態様において、器具２００は、遠隔操作医療システム１００内で遠隔操作される。代替的な実施態様において、遠隔操作アセンブリ１０２は、直接操作者制御によって置換されてよい。直接操作代替では、様々なハンドル及び操作者インターフェースが器具の手持ち式操作のために含められてよい。
図３は、肺の外部の視点からの人間の肺１５２の解剖学的モデルの複合画像(composite image)を提供するディスプレイシステム１５０（例えば、ディスプレイシステム１１０）を描写している。そのような画像は、解剖学的通路１５６を通じて標的場所１５３に至る例示的な経路を示している。モデル肺１５１は、カテーテルシステム２０２のような、フレキシブルな器具の器具画像１５４と位置合わせされる。
図４Ａは、図３の複合画像のような複合画像を生成するプロセスを例示するフローチャート４００を提供する。プロセス４０２で、患者解剖学的構造の関連部分の術前又は術中画像（例えば、ＣＴ又はＭＲＩ）が得られてよい。プロセス４０４で、セグメント化プロセスのようなモデル化機能を用いて、解剖学的構造(anatomy)のモデルが画像のセットから生成されてよい。手作業の及び／又はコンピュータソフトウェアベースのセグメント化プロセスを通じて、画像は、色(color)、密度(density)、強さ(intensity)、及び組織(texture)のような、特定の特徴又は計算される特性を共有する、セグメント又は要素（例えば、ピクセル又はボクセル）に分割される。このセグメント化プロセスは、得られる画像に基づき標的解剖学的構造のモデルを形成する二次元又は三次元再構築をもたらす。モデルを提示するために、セグメント化プロセスは、標的解剖学的構造を表現するボクセルのセットを描写し、次に、マーチングキューブ関数のような関数を適用して、ボクセルを取り囲む３Ｄ表面を得てよい。
プロセス４０６で、操作者又は自動制御システムは、モデルを通じて標的構造又は領域（例えば、腫瘍又は閉塞）に至る経路を計画してよい。例示されていないが、経路計画プロセスは、処置４００中の様々な段階に起こることがあり、そして、再び起こることがある。プロセス４０８で、モデルは、患者解剖学的構造と位置合わせされる。より具体的には、ボクセルを取り囲む３Ｄ表面は、患者解剖学的構造に動的に関連付けられる(referenced)。モデルは、基準系(frame of reference)と、関連するモデル座標系(model coordinate system)とを有する。モデル内で特定される解剖学的構成(anatomic
structures)の場所を、実際の患者及びインターベンショナル器具が存在する患者基準系に変換し得るよう、モデル基準系は、患者基準系と位置合わせされる。
プロセス４１０で、器具は、患者解剖学的構造に対して位置特定される(localized)。より具体的には、器具が解剖学的構造を通じて動くときに、器具トラッキングシステム（例えば、システム２３０）は、患者解剖学的構造に対する器具の場所をトラッキングする。トラッキングシステムは、ツールの遠位端のようなツールの部分の場所をトラッキングしてよい。器具上の１つよりも多くの場所がトラッキングされてよい。プロセス４１２で、トラッキングされる器具は、解剖学的モデル位置合わせされ、任意的に、図３に示されるように、表示される画像が生成される。より具体的には、モデル化される解剖学的構造に対する器具の動きをトラッキングし且つ表示し得るよう、患者基準系内のインターベンショナル器具についての場所、向き、形状、動き、又は他の空間基準データを調和させて、モデル基準系に変換し得る。様々な技法を用いて器具の位置をモデルと位置合わせし得る。１つの実施例では、ＩＣＴ(Iterative Closest Point)技法が用いられる。ＩＣＰは、対応する地点の間の累計差(total sum difference)が減少させられるよう、第１のセットの空間基準点が第２のセットの地点に対して変換される、技法である。変換は、２つのセットの地点が互いに最小の距離にあるよう、反復的に修正される。ＩＣＰを用いて解剖学的構造内の器具の地点と関連付けられるデータを解剖学的構造のモデルに位置合わせするとき、第１のセットの地点は、モデルを表す地点又は空間データ情報に対応する。第２のセットの地点は、器具と関連付けられる様々な種類のトラッキングシステムから得られる地点又は空間データ記録に対応する。トラッキングシステムから得られる空間データ記録は、記録が創り出される時間又は順序についての情報を提供してよく、器具についての位置、向き、形状、動き又は他の空間情報を含んでよい。器具から得られる地点は、器具の動きの故に更新されるときに、空間内の第２のセットの地点は、モデルからの第１のセットの地点に対して反復的に変換される。よって、器具がプロセス４１４中に標的に向かって通路を進むときに、器具はモデルと位置合わせされたままである。
一般的に、器具についてのより多くの空間情報が受信されるときに、器具位置特定及び位置合わせの精度は増大する。しかしながら、器具の場所についての不正確な空間情報を受信することは、位置特定の精度を減少させることがあり、或いは位置特定プロセスを遅くさせることがある。例えば、トラッキングシステムのセンサシステムにおける不規則性に起因する整合性のない(inconsistent)空間データ記録が得られることがある。これらのアウトライアデータ地点(outlier data points)を用いて位置特定及び位置合わせを計算するならば、結果は不正確なことがある。他の実施例において、空間データ記録が特定の時間間隔で得られ、器具が停止させられるようになるならば、特定の解剖学的領域についてより大きなセットの空間データ記録があることがある。これはＩＣＰ機能がその領域に過度の重量を与える原因となり得るし、位置合わせプロセスにおける誤差を増大させ得る。
本明細書中に記載する原理によれば、ＩＣＰ又は他の位置合わせ技法のために用いられるとき、特定の記録が取り除かれ或いはより低い重みが与えられるよう、器具のトラッキングシステムから得られる空間データ記録のセットはフィルタリングされ得る。フィルタリングは、解析のために、ある基準を満足する空間データ記録のみを選択することを含んでもよい。しかしながら、本明細書中に記載する原理は、位置合わせにおける使用に限定されず、解剖学的通路を通じる器具の動きをトラッキングすることによってモデルを構築し或いは修正することのような他の目的のために用いられてよいことが理解されよう。フィルタリングは、本明細書中に記載されるような様々な方法において行われてよい。
図４Ｂは、フィルタリングされたデータを用いて位置合わせを行う例示的な方法４５０を示すフローチャートである。任意的なプロセス４５２で、空間情報のセットが患者解剖学的構造のモデルから受信される。この空間情報のセットは、患者解剖学的構造内の通路に対応する要素のセットを含んでよい。それらの要素は、例えば、ボクセル、通路中心線地点(passageway centerline points)、又はメッシュモデル(mesh model)として表されてよい。モデルからの空間情報のセットは、ボクセルを取り囲む三次元表面を含んでもよい。プロセス４５４で、空間情報のセットが器具トラッキングシステムから得られる。この空間情報のセットは、連続的な記録が創り出された時間又は順序についての情報を提供するトラッキングシステムから得られる空間データ記録のセットであってよく、器具についての位置、向き、形状、動き又は他の空間情報を含んでよい。プロセス４５６で、トラッキングシステムからの空間情報のセットは、変形された形状又は特定の空間データ記録若しくは空間データ記録のサブセットを好ましくなくさせる或いは好ましくさせることがある他の理由と関連付けられる、周期的な解剖学的運動の特定の周期中に得られる、望ましくない時間期間（例えば、古すぎる又は新しすぎる時間期間）からの、より低い信頼度(confidence)又は品質の冗長なアウトライア(outliers)であると見做される、空間データ記録への重み係数(weighting factor)を選択し、除去し、或いは提供することによって、フィルタリングされる。任意的に、プロセス４５８で、トラッキングシステムからの空間データ記録のフィルタリングされたセットは位置合わせされてよい。任意的に、解剖学的構造に位置合わせさた器具の画像が表示されてよい。
図５Ａは、器具（例えば、器具システム２００）から得られる空間データ記録５０２，５０４，５０６，５０８に対応する空間内の地点を含む地点のセット５００を例示している。図５Ｂは、空間データ記録５０２，５０４，５０６，５０８の表５１０を例示している。空間データ記録は、例えば、器具の遠位部分に配置されるセンサ（例えば、ＥＭセンサ）から得られてよい。各空間データは、様々な時での器具の遠位部分についての空間情報をもたらす。例えば、空間データ記録５０２は、時間Ｔ１での器具の遠位端の位置Ｐ１及び向きＯ１を記載している。重み係数Ｗ１が空間データ記録５０２と関連付けられてよい。重み係数は、フィルタリングプロセスがデータのセットについて行われた後に適用されてよい。例えば、１の重みＷ１は、空間データ記録５０２が位置合わせの目的のために使用可能である或いは他の点で好ましくない場合がないことを示してよい。０の重みＷ１は、空間データ記録５０２が廃棄される或いは器具の位置合わせのために用いられないことを示してよい。空間データ記録５０２における信頼度レベルが不確定であるか或いは低いならば、０〜１の間の重みＷ１が適用されてよい。よって、記録５０２は、位置合わせアルゴリズムにおいて考慮されるが、強い信頼度レベル及び１の重みを有した記録ほど強く重み付けられない。記録５０４が時間Ｔ１に続く時間Ｔ２で得られ、器具について新しい地点Ｐ２及び向きＯ２と関連付けられる。図示していないが、空間データ記録５０２は、時間Ｔ１での器具についての形状データ、速度データ、モータトルク、力、又は他の空間情報を含む、他のフィールドを含んでよい。
様々な他の実施態様では、器具から得られる空間情報のセットが、フルセットの記録を位置合わせ又はモデル構築のために用いるときの不正確性に寄与する空間データ記録を含むことがある。器具から得られる空間データ記録をフィルタリングする様々な技法が、位置合わせ又はモデル化手順において用いられてよい。以下に記載するフィルタリング方法のいずれか１つ又は組み合わせを用いて空間データ記録をフィルタリングしてよい。
（冗長データのフィルタリング）
様々な実施態様において、空間データ記録は、廃棄することによって、或いは、冗長である減少された重み係数を、従前に得られた、よって、追加的な空間情報をもたらさない記録に適用することによって、フィルタリングされてよい。図５Ｃは、器具（例えば、器具システム２００）から得られた記録５２２，５２４，５２６，５２８，５３０を含む空間データ記録に対応する、空間内の地点のセット５２０を例示している。フィルタリングプロセスをセット５２０に適用することは、記録５２８及び５３０を記録５２６の冗長（例えば、同一又は類似の空間情報を提供すること）として認識させることがある。冗長データ記録は、記録が規則的な時間間隔で得られるが、器具の動きがバックトラッキングされる、或いは、例えば、器具の大きさ（例えば、狭い通路内で大きすぎる）、解剖学的障害、又は命令エラーの故に、解剖学的構造内で失速させられるときに、起こることがある。従って、器具位置合わせプロセスにおけるそれらの記録の使用を最小にするよう、記録５２８，５３０は、ゼロ又はゼロに近い値で重み付けられてよい。冗長さは、様々な異なる方法において決定されてよい。１つの実施態様において、冗長さは、様々なボクセル又は他の空間容器(spatial containers)に対応する空間データ記録の間の空間関係に基づくことがある。例えば、図６Ａに示すように、解剖学的モデルは、例えば、撮像された又はセグメント化された解剖学的通路に対応するボクセル６０１のセット（例えば、ボクセルマップ）によって表される、複数の要素で構成されてよい。器具から得られる空間データ記録のセット６００内の各空間データ記録は、ボクセル６０１のセット内のボクセルと関連付けられ或いは調和させられてよい。よって、ボクセルマップを用いて、三次元空間内のどの領域が空間データ記録を得るためにサンプリングされたかをトラッキングし得る。例えば、ボクセルマップ６０１内のボクセル６０８は、複数６０４の得られた空間データ記録と関連付けられてよい。単一のボクセルと関連付けられる空間データ記録の数が１よりも大きい任意の値であってよい閾値を超えるならば、余分な空間記録は、廃棄される（例えば、ゼロの重み値を付与する）ことによって或いは低い（例えば、１よりも少ない）重み値が提供されることによって、フィルタリングされてよい。代替的に、単一のボクセルと関連付けられる重み付けられた或いは重み付けられない空間データ記録は平均化されてよい。
他の実施態様において、冗長さは、データ記録間で測定される距離のような空間関係に基づくことがある。例えば、冗長さは、複数の空間データ記録を収集時間的に収集された順序(collection time-gathered order)で順序付けることによって決定されてよい。例えば、図６Ｂに示すように、第１の連続的な空間データ記録６１０と第２の連続的な空間データ記録６１２との間の距離Ｄ１が測定されてよい。距離Ｄ１が閾値よりも下である（近すぎる）ならば、第２の連続的な記録６１２は、第１の値６１０の冗長と考えられてよい。従って、第１又は第２の連続的な記録の一方が、廃棄される（例えば、ゼロの重み値を付与する）ことによって或いは低い（例えば、１よりも少ない）重み値が提供されることによって、フィルタリングされてよい。連続的な記録を評価するこのプロセスは、ｋ次元ツリー解析を用いて最適化されることがある。
（命令される位置フィルタリング）
様々な実施態様において、空間データ記録は、廃棄することによって、減少された重み係数を適用することによって、或いは器具の遠隔操作命令される位置、向き、又は速度に基づき記録を選択することによって、フィルタリングされてよい。器具の命令される位置は、特定の時間期間の間に器具が進むと予測される距離の表示をもたらす。命令される速度は、その命令される位置に達するための命令される位置及び命令される時間期間（例えば、命令される位置／時間期間の差）に基づいてよい。図７に示すように、上述のような器具を用いる医療処置のために、命令される速度プロファイル７００が提供されてよい。時間期間Ｔ１に亘って、器具は速度Ｖ１で動くように命令される。時間期間Ｔ２に亘って、器具はより遅い速度Ｖ２で動くように命令される。時間期間Ｔ３に亘って、器具は速度Ｖ１及びＶ２の間の移行期にあってよい。命令される速度プロファイルは、操作者入力システム（例えば、システム１０６）での操作者入力デバイスの動きから生成されてよい。器具の命令される速度に基づき、フィルタによって選択されるべき空間データ記録の量が設定されてよい。フィルタは、命令される速度プロファイルに比例する空間データ記録の量を選択してよい。例えば、器具が速く（例えば、Ｖ１で）動いているならば、動作期間中にフィルタによって選択されるべき空間データ記録セットの量（Ｑ１）は、器具がゆっくり（例えば、Ｖ２で）動いている場合に同じ動作期間中にフィルタによって選択される量（Ｑ２）よりも大きくてよい。ほんの一例として、Ｖ１がＶ２の速さの二倍（Ｖ１＝２×Ｖ２）であるならば、Ｑ１は、記録の量Ｑ２の二倍（Ｑ１＝２×Ｑ２）であってよい。器具の動作の速度と収集されるデータ記録の量との間の他の比例した又は比例しない関係が想定され且つ理解される。移行期間Ｔ３の間に、フィルタリングは比例した速度で継続してよく、或いは一定の速度に再び達するまで一時的に終了されてよい。様々な実施態様において、命令される位置フィルタリング技法は、器具の動きが周期的な解剖学的運動の特定の段階で失速させられ或いは信号データ記録を選択しないならば、フィルタアルゴリズムが得られる空間データ記録を選択しないように、修正されてよい。例えば、器具は、器具の遠位端が動きを遅らせ或いは妨げることがある組織と接触しているか否かを決定し得る、力センサを備えてよい。力センサからの信号が、器具が障害物に直面したことを示すならば、フィルタアルゴリズムは、空間データ記録が位置合わせ又はモデル構築における使用のために選択されない状態に適応してよい。様々な実施態様において、器具は、患者の周期的な解剖学的運動（例えば、呼吸、心臓運動）又は肉眼で見える動作(gross movement)を検出するために用いられる、力センサ、位置センサ、向きセンサ、又は他のセンサを備えてよい。フィルタリングアルゴリズムは、運動が最小にされるときに（例えば、呼吸の完全吸息状態のときに）解析のための空間データ記録を選択してよい。図７と同様に、命令される位置及び向きプロファイルを用いて、空間データ記録をフィルタリングしてよい。空間データ記録は、器具で測定される力及び／又は器具を動かすための関連するモータトルクに基づきフィルタリングされてもよい。例えば、測定されるモータトルクが特定の姿勢を創るために予想される閾値よりも大きいならば、余分なモータトルクと関連付けられるデータは廃棄されてよい。
（アウトライアフィルタリング）
様々な実施態様において、空間データ記録は、廃棄することによって、減少された重み係数を適用することによって、或いは空間データ記録がアウトライア記録として特定されるか否かに基づいてデータを選択することによって、フィルタリングされてよい。図８は、器具（例えば、器具システム２００）から得られる記録７５２，７５４，７５６を含む空間データ記録に対応する空間内の地点のセット７５０を例示している。フィルタリングプロセスをセット７５０に適用することは、記録７５４をアウトライアデータ地点として認識させることがある。アウトライア地点は、ＥＭセンサのばらつき、周期的な解剖学的運動（例えば、呼吸）、又は他の患者動作、操作者操縦の非整合性(inconsistencies)、柔軟性(flexibility)若しくは柔軟性の欠如のような器具特性によって引き起こされることがある。従って、記録７５４は、その記録を器具位置合わせプロセスにおいて用いるのを最小にするよう、ゼロ又はゼロに近い値で重み付けられてよい。データ記録７５４は、位置又は向き情報を提供しているセンサ（例えば、ＥＭセンサ）についての品質測定法(quality metric)に基づきアウトライアとして特定されてよい。センサ品質測定法は、センサの精度の表示を提供することがある。例えば、６つの自由度のＥＭセンサは、互いに対してある角度で取り付けられる２個の５つの自由度のＥＭセンサで構成されてよい。重なり合う自由度が互いに整合しないならば、センサと関連付けられる品質測定法は低い又は不十分であると決定されることがある。他の例として、光ファイバ精度は、関心の領域に近接するファイバ曲げの堅さ(tightness)の関数であってよい。曲げが極めて堅いと決定されるならば、その領域又は曲げの遠位の領域からのデータは廃棄され或いは減少させられてよい。センサノイズを用いて、データを記録する特定の時に亘るセンサ精度を決定してもよい。
追加的に又は代替的に、データ記録７５４は、器具動作の測定される速さを考慮して先行データ記録からの又は後続データ記録への位置の距離又は向きの変化に基づきアウトライアとして特定されてよい。例えば、記録７５４と後続の連続的な記録７５６との間の距離７５８及び記録７５４と一対の後続の記録７５２との間の距離７６０が測定されてよい。距離７５８及び７６０が、器具の最大速度に基づき予測される距離よりも大きいならば、記録７５４はアウトライアとして特定されてよい。代替的に、距離７５８及び７６０が、記録７５４が記録される前後の器具の速度に基づき予測される距離よりも大きいならば、記録７５４はアウトライアとして特定されてよい。代替的に、距離７５８及び７６０が、セット内の他の記録の間の平均距離よりも大きく、器具が一貫した速度で動いているならば、記録７５４は、アウトライアとして特定されてよい。代替的に又は追加的に、先行する記録７５２及び後続の記録７５６と比較された記録７０４についての器具の間の向きが測定されてよい。向きの差がセット７５０ナインお他の記録の間の平均的な向きの差と実質的に異なるならば、記録７５４は、アウトライアとして特定されてよい。
（信頼度フィルタリング）
様々な実施態様において、空間データ記録は、廃棄することによって、減少された重み係数を適用することによって、或いは各空間データ記録についての信頼度値に基づき記録を選択することによって、フィルタリングされてよい。低い信頼度値の記録は、より積極的にデータセットから除去されてよい。信頼度値は、センサから又は器具上で受信する信号の変動の量に基づき各空間データ記録について決定されてよい。例えば、受信される信号から決定されるような器具の遠位端の向きの大きな変動は、空間データ地点に低い信頼度値が付与される原因となることがある。器具の遠位端の向きの変動が小さいならば、空間データ地点は、より高い信頼度値を付与されてよい。図９に示すように、データ記録８００のセットは、地点８０２，８０４，８０６についての空間データ記録を含む。各空間データ記録８０２，８０４，８０６は、向き値Ｏ８０２，Ｏ８０４，Ｏ８０６をそれぞれ含む。解析が、向き値Ｏ８０６が先行する及び後続の向き値Ｏ８０２，Ｏ８０４と有意に異なるならば、データ記録８０６は廃棄されてよく、或いはより低い重み値が提供されてよい。
他の例として、空間データ記録と器具についての主要な進行方向との間の距離（例えば、距離の垂直成分）の大きな変動は、空間データ地点に低い信頼度値が付与される原因となることがある。距離の変動がより小さいならば、空間データ地点はより高い信頼度値を付与されてよい。空間データ記録のセットについての信頼度値が閾値よりも下に降下するならば、低い信頼度はセット内の記録を平均化することによって順応させられることがある。信頼度値は、上述のボクセルマップと共に用いられてよい。一例として、特定の要素又はボクセルと関連付けられる記録の全てについて、データ記録は信頼度値によって重み付けられてよく、重み付けられた記録は平均化させられてよい。他の例として、特定の要素又はボクセルと関連付けられる記録の全てについて、向きが評価されてよい。変動の量は、解剖学的通路の管腔の大きさと相関することがある。換言すれば、変動が大きいならば、管腔は大きくてよい。何故ならば、器具の遠位端は、多数の方向からある場所に接近し得るからである。変動が小さいならば、管腔は小さくてよい。何故ならば、きつい(tight)通路は器具の遠位端の角形成(angulation)を制限するからである。大きな管腔は、より低い信頼度値と関連付けられることがある。十分な記録を得て位置合わせプロセスを行うために、低い信頼度値の記録が選択されなければならないならば、低い信頼度記録は平均化されてよく、或いは中間の記録がフィルタによって選択されてよい。
（一時的なフィルタリング）
様々な実施態様において、空間データ記録は、廃棄することによって、減少された重み係数を適用することによって、或いは各空間データ記録についての一時的な情報に基づいて記録を選択することによって、フィルタリングされてよい。例えば、より古い記録（例えば、他の空間データ記録と比べてより早期の値を備える空間データ記録）が廃棄され或いはより低い重み値が付与されてよい。外科処置が変形を引き起こす可能性が高いならば、早期の非変形状態の解剖学的構造からのより古い空間データ記録が好ましいことがある。その場合には、より新しい記録（例えば、他の空間データ記録と比べてより後の時の値を備える空間データ記録）が廃棄され或いはより低い重み値が付与されてよい。他の例として、周期的な解剖学的運動の周期内の選択的な時（例えば、呼吸周期の完全吸息と関連付けられる時）についての空間データ記録がフィルタによって選択されてよい。代替的に、記録は、選択された時から経過した時間の量に基づく重み値が提供されてよい。図１０は、記録９０２及び９０４を含む空間データ記録９００のセットを例示している。解剖学的通路９０６が、周期的な解剖学的運動の非変形状態Ｕ及び変形状態Ｄにおいて示されている。変形状態と関連付けられる時についての記録９０４よりもむしろ非変形状態と関連付けられる時についての記録９０２を選択するように、フィルタリングアルゴリズムが設定されてよい。
（変形ベースのフィルタリング）
様々な実施態様において、空間データ記録は、廃棄することによって、減少された重み係数を適用することによって、或いは空間データ記録が解剖学的変形と関連付けられるか否かに基づき記録を選択することによって、フィルタリングされてよい。この技法は、フィルタリングを用いて変形されたモデル構築するとき又は変形された解剖学的構造を術前の変形されていないモデルにどのように位置合わせするかを決定するときに特に適する。図１０に示すように、解剖学的通路内に位置付けられる器具内に延在する形状センサが変形されていない形状プロファイル１０００を戻してよい。解剖学的通路が器具又は通路に対する他の力によって変形させられていないならば、器具及び形状センサの更なる前進は、形状プロファイル１０００からの形状を含む形状プロファイル１００２を戻す。代替的に、解剖学的通路が器具又は通路に対する他の力によって変形させられているならば、器具及び形状センサの更なる前進は、変形させられた形状プロファイル１００４を戻す。形状プロファイルによって観察されるような通路の変形を用いて、器具によって得られた空間データ記録をフィルタリングするか否かを決定してよい。例えば、変形されていない解剖学的構造のモデルが空間データ記録から構築されるならば、器具が変形させられたプロファイル１００４にある間に得られるデータ記録がデータセットから除去されてよい。変形させられた解剖学的構造のモデルに関心があるならば、器具が変形させられたプロファイル１００４にある間に得られたデータ記録が維持され或いは選択されるが、形状プロファイル１００２と関連付けられる空間データ記録は除去されてよい。
この開示のシステム及び方法は、肺の接続された気管支通路のために用いられてよい。システム及び方法は、結腸、腸、腎臓、脳、心臓、循環系、又は同等器官を含む、様々な解剖学的系統のいずれかにおける、自然の又は外科的に創られた接続された通路を介した、他の組織のナビゲーション及び治療にも適することがある。システム及び方法は、器官のトレース可能な表面の周りのナビゲーションにも適することがある。この開示の方法及び実施態様は、非外科的な用途にも適する。
本発明の実施態様における１つ又はそれよりも多くの要素は、制御処理システム１１２のようなコンピュータシステムのプロセッサ上で実行するソフトウェア内で実施されてよい。ソフトウェア内で実施されるとき、本発明の実施態様の要素は、本質的に、所要のタスクを行うコードセグメントである。プログラム又はコードセグメントは、送信媒体又は通信リンクを通じて搬送波において具現されるコンピュータデータ信号を経由してダウンロードされてよいプロセッサ可読記憶媒体又はデバイス内に格納され得る。プロセッサ可読記憶デバイスは、光媒体、半導体媒体、及び磁気媒体を含む、情報を格納し得るあらゆる媒体を含んでよい。プロセッサ可読記憶デバイスの例は、電子回路、半導体デバイス、半導体メモリデバイス、読出し専用記憶装置（ＲＯＭ）、フラッシュメモリ、消去可能なプログラム可能読取り専用記憶装置（ＥＰＲＯＭ）、フロッピーディスケット、ＣＤ−ＲＯＭ、光ディスク、ハードディスク、又は他の格納デバイスを含む。コードセグメントは、インターネット、イントラネット等のような、コンピュータネットワークを介して、ダウンロードされてよい。
提示される処理及び表示は本来的に如何なる特定のコンピュータ又は他の装置にも関連付けられなくてよいことに留意のこと。様々な汎用システムが本明細書中の教示に従ったプログラムと共に用いられてよく、或いは記載する操作を行うためにより特殊な装置を構築するのが便利であると分かることがある。様々なこれらの装置のための所要の構造は、請求項中に要素として現れる。加えて、本発明の実施態様は、如何なる特定のプログラミング言語を参照して記載されてもいない。様々なプログラミング言語を用いて本明細書中に記載するような本発明の教示を実施してよいことが理解されるであろう。
本発明の特定の例示的な実施態様を記載し且つ添付の図面中に示したが、そのような実施態様は広義の発明の例示であるに過ぎず、広義の発明に対する限定でないこと、並びに、本発明の実施態様は図示し且つ記載する特殊な構造及び配置に限定されないことが、理解されるべきである。何故ならば、様々な他の変形が当業者の心に思い浮かぶことがあるからである。

Claims (10)

  1. コンピュータプログラムであって、
    コンピュータシステムによって実行されるときに、前記コンピュータシステムのプロセッサに、
    解剖学的通路内に少なくとも部分的に位置付けられる器具を移動させるステップと、
    複数の時間期間での前記器具の遠位端についての位置情報を含む複数の空間データ記録を含む第１のセットの空間情報を前記器具から受信させるステップと、
    前記器具内に配置される形状センサから形状データを受信させるステップと、
    該受信する形状データに基づいて前記複数の空間データ記録のうちの少なくとも１つを除去することによって前記第１のセットの空間情報をフィルタリングさせるステップと、
    を実行させる、
    コンピュータプログラム。
  2. 前記複数の空間データ記録のうちの少なくとも１つを除去することは、前記受信する形状データとの整合性に基づく、請求項１に記載のコンピュータプログラム。
  3. 前記複数の空間データ記録のうちの少なくとも１つを除去することは、前記受信する形状データとの非整合性に基づく、請求項１に記載のコンピュータプログラム。
  4. 前記プロセッサに、
    前記解剖学的通路のモデルから第２のセットの空間情報を受信するステップと、
    前記フィルタリングされる第１のセットの空間情報を前記第２のセットの空間情報に位置合わせするステップと、
    を更に実行させる、
    請求項１に記載のコンピュータプログラム。
  5. 前記第２のセットの空間情報は、前記解剖学的通路に対応する複数のボクセルを含む、請求項４に記載のコンピュータプログラム。
  6. 前記空間情報は、位置情報及び／又は向き情報を含む、請求項１乃至５のうちのいずれか１項に記載のコンピュータプログラム。
  7. 前記空間情報は、前記器具上の電磁センサから受信される、請求項１乃至６のうちのいずれか１項に記載のコンピュータプログラム。
  8. 前記プロセッサに、前記解剖学的通路の画像で共通のディスプレイ上に前記フィルタリングされる第１のセットの空間情報に基づく前記器具の画像を表示させるステップを更に実行させる、請求項１に記載のコンピュータプログラム。
  9. 前記第１のセットの空間情報をフィルタリングさせるステップは、前記複数の空間データ記録から少なくとも１つの空間データ記録を除去するステップを含む、請求項１に記載のコンピュータプログラム。
  10. 前記第１のセットの空間情報をフィルタリングさせるステップは、前記複数の空間データ記録からの少なくとも１つの空間データ記録を前記空間データ記録の他の空間データ記録と異なって重み付けさせるステップを含む、請求項１に記載のコンピュータプログラム。
JP2020070786A 2014-11-13 2020-04-10 位置特定データをフィルタリングするシステム及び方法 Active JP7296341B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462079139P 2014-11-13 2014-11-13
US62/079,139 2014-11-13
JP2017525882A JP7017931B2 (ja) 2014-11-13 2015-11-11 位置特定データをフィルタリングするシステム及び方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017525882A Division JP7017931B2 (ja) 2014-11-13 2015-11-11 位置特定データをフィルタリングするシステム及び方法

Publications (2)

Publication Number Publication Date
JP2020168374A true JP2020168374A (ja) 2020-10-15
JP7296341B2 JP7296341B2 (ja) 2023-06-22

Family

ID=55954972

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017525882A Active JP7017931B2 (ja) 2014-11-13 2015-11-11 位置特定データをフィルタリングするシステム及び方法
JP2020070786A Active JP7296341B2 (ja) 2014-11-13 2020-04-10 位置特定データをフィルタリングするシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017525882A Active JP7017931B2 (ja) 2014-11-13 2015-11-11 位置特定データをフィルタリングするシステム及び方法

Country Status (6)

Country Link
US (3) US20170325896A1 (ja)
EP (2) EP3217911B1 (ja)
JP (2) JP7017931B2 (ja)
KR (2) KR102540633B1 (ja)
CN (1) CN107111684A (ja)
WO (1) WO2016077419A1 (ja)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US10039473B2 (en) * 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9901406B2 (en) 2014-10-02 2018-02-27 Inneroptic Technology, Inc. Affected region display associated with a medical device
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
JP7017931B2 (ja) 2014-11-13 2022-02-09 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 位置特定データをフィルタリングするシステム及び方法
US10188467B2 (en) 2014-12-12 2019-01-29 Inneroptic Technology, Inc. Surgical guidance intersection display
US10548564B2 (en) * 2015-02-26 2020-02-04 Rivanna Medical, LLC System and method for ultrasound imaging of regions containing bone structure
US9949700B2 (en) * 2015-07-22 2018-04-24 Inneroptic Technology, Inc. Medical device approaches
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
EP4070723A1 (en) 2015-09-18 2022-10-12 Auris Health, Inc. Navigation of tubular networks
US10143526B2 (en) * 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
US10529088B2 (en) * 2016-12-02 2020-01-07 Gabriel Fine Automatically determining orientation and position of medically invasive devices via image processing
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
EP3576662A4 (en) * 2017-02-01 2020-12-23 Intuitive Surgical Operations Inc. SYSTEMS AND METHODS FOR DATA FILTERING OF CONTINUOUS SENSOR DATA
CN110225710B (zh) 2017-02-01 2022-12-30 直观外科手术操作公司 用于图像引导的程序的配准的系统和方法
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
US11490782B2 (en) * 2017-03-31 2022-11-08 Auris Health, Inc. Robotic systems for navigation of luminal networks that compensate for physiological noise
KR20240035632A (ko) * 2017-05-12 2024-03-15 아우리스 헬스, 인코포레이티드 생검 장치 및 시스템
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
KR102578978B1 (ko) 2017-06-28 2023-09-19 아우리스 헬스, 인코포레이티드 전자파 왜곡 검출
EP3644885B1 (en) 2017-06-28 2023-10-11 Auris Health, Inc. Electromagnetic field generator alignment
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
KR20230163594A (ko) 2017-08-10 2023-11-30 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격 수술 시스템에서 사용 가능한 기구 수명 증가
EP3694412A4 (en) 2017-10-10 2021-08-18 Covidien LP SYSTEM AND METHOD FOR IDENTIFYING AND MARKING A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10341456B2 (en) * 2017-11-20 2019-07-02 Marc Berger Caching sticker profiles within a sticker communication system
AU2018384820A1 (en) 2017-12-14 2020-05-21 Auris Health, Inc. System and method for estimating instrument location
WO2019125964A1 (en) 2017-12-18 2019-06-27 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
CN111542890B (zh) * 2017-12-28 2024-05-24 爱惜康有限责任公司 具有用于过滤器和排烟装置之间进行通信的通信电路的外科排抽系统
CN108469429B (zh) * 2018-02-06 2020-11-24 西安电子科技大学 一种双模态拉曼-光学投影断层成像系统
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
KR102489198B1 (ko) * 2018-03-28 2023-01-18 아우리스 헬스, 인코포레이티드 위치 센서의 정합을 위한 시스템 및 방법
JP7225259B2 (ja) 2018-03-28 2023-02-20 オーリス ヘルス インコーポレイテッド 器具の推定位置を示すためのシステム及び方法
WO2019198061A1 (en) 2018-04-13 2019-10-17 Universidade Do Minho Guidance system, method and devices thereof
US10872449B2 (en) 2018-05-02 2020-12-22 Covidien Lp System and method for constructing virtual radial ultrasound images from CT data and performing a surgical navigation procedure using virtual ultrasound images
EP3801190A4 (en) 2018-05-30 2022-03-02 Auris Health, Inc. SYSTEMS AND METHODS FOR SENSOR-BASED BRANCH LOCATION PREDICTION
US10898286B2 (en) 2018-05-31 2021-01-26 Auris Health, Inc. Path-based navigation of tubular networks
CN110831538B (zh) * 2018-05-31 2023-01-24 奥瑞斯健康公司 基于图像的气道分析和映射
CN112236083A (zh) 2018-05-31 2021-01-15 奥瑞斯健康公司 用于导航检测生理噪声的管腔网络的机器人系统和方法
WO2019245818A1 (en) * 2018-06-19 2019-12-26 Intuitive Surgical Operations, Inc. Systems and methods related to registration for image guided surgery
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
CN114340540B (zh) 2019-08-30 2023-07-04 奥瑞斯健康公司 器械图像可靠性系统和方法
KR20220058569A (ko) 2019-08-30 2022-05-09 아우리스 헬스, 인코포레이티드 위치 센서의 가중치-기반 정합을 위한 시스템 및 방법
KR20220056220A (ko) 2019-09-03 2022-05-04 아우리스 헬스, 인코포레이티드 전자기 왜곡 검출 및 보상
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
US11298195B2 (en) 2019-12-31 2022-04-12 Auris Health, Inc. Anatomical feature identification and targeting
WO2021137109A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Alignment techniques for percutaneous access
EP4084722A4 (en) 2019-12-31 2024-01-10 Auris Health Inc ALIGNMENT INTERFACES FOR PERCUTANE ACCESS
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11701492B2 (en) 2020-06-04 2023-07-18 Covidien Lp Active distal tip drive
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
US20220202500A1 (en) * 2020-12-30 2022-06-30 Canon U.S.A., Inc. Intraluminal navigation using ghost instrument information

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130303892A1 (en) * 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Systems and Methods for Navigation Based on Ordered Sensor Records

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2567149B1 (fr) 1984-07-06 1986-12-05 Solvay Procede pour l'extraction de poly-beta-hydroxybutyrates au moyen d'un solvant a partir d'une suspension aqueuse de micro-organismes
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
WO1998036236A1 (en) 1997-02-13 1998-08-20 Super Dimension Ltd. Six-degree tracking system
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
US6584465B1 (en) 2000-02-25 2003-06-24 Eastman Kodak Company Method and system for search and retrieval of similar patterns
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US7824328B2 (en) * 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
US7894871B2 (en) 2006-12-29 2011-02-22 St. Jude Medical, Atrial Fibrillation Division, Inc. Filtering method for surface modeling
WO2012014212A2 (en) * 2010-07-29 2012-02-02 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US20100030063A1 (en) * 2008-07-31 2010-02-04 Medtronic, Inc. System and method for tracking an instrument
US9259274B2 (en) 2008-09-30 2016-02-16 Intuitive Surgical Operations, Inc. Passive preload and capstan drive for surgical instruments
DE102009030731A1 (de) * 2009-06-26 2010-12-30 Fiagon Gmbh Verfahren zum Erzeugen von Positionsdaten eines Instrumentes
US8668638B2 (en) * 2010-02-11 2014-03-11 Intuitive Surgical Operations, Inc. Method and system for automatically maintaining an operator selected roll orientation at a distal tip of a robotic endoscope
JP6138699B2 (ja) * 2011-02-18 2017-05-31 デピュイ・シンセス・プロダクツ・インコーポレイテッド 一体化されたナビゲーション及び誘導システムを備えるツール、並びに関連する装置及び方法
US8827934B2 (en) * 2011-05-13 2014-09-09 Intuitive Surgical Operations, Inc. Method and system for determining information of extrema during expansion and contraction cycles of an object
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
US9138165B2 (en) * 2012-02-22 2015-09-22 Veran Medical Technologies, Inc. Systems, methods and devices for forming respiratory-gated point cloud for four dimensional soft tissue navigation
CN108042092B (zh) * 2012-10-12 2023-02-28 直观外科手术操作公司 确定医疗器械在分支解剖结构中的位置
US9820677B2 (en) * 2013-01-03 2017-11-21 St. Jude Medical, Atrial Fibrillation Division, Inc. Cointegration filter for a catheter navigation system
US10912523B2 (en) 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
JP7017931B2 (ja) 2014-11-13 2022-02-09 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 位置特定データをフィルタリングするシステム及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130303892A1 (en) * 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Systems and Methods for Navigation Based on Ordered Sensor Records

Also Published As

Publication number Publication date
JP7017931B2 (ja) 2022-02-09
EP3217911A1 (en) 2017-09-20
US20200188038A1 (en) 2020-06-18
EP4140432A1 (en) 2023-03-01
US20230420107A1 (en) 2023-12-28
EP3217911A4 (en) 2018-07-11
JP7296341B2 (ja) 2023-06-22
KR20220112849A (ko) 2022-08-11
KR20170083093A (ko) 2017-07-17
JP2017535341A (ja) 2017-11-30
KR102425170B1 (ko) 2022-07-26
US11791032B2 (en) 2023-10-17
KR102540633B1 (ko) 2023-06-07
US20170325896A1 (en) 2017-11-16
CN107111684A (zh) 2017-08-29
EP3217911B1 (en) 2023-01-04
WO2016077419A1 (en) 2016-05-19

Similar Documents

Publication Publication Date Title
JP7296341B2 (ja) 位置特定データをフィルタリングするシステム及び方法
JP7072603B2 (ja) 手術中のセグメンテーションについてのシステム及び方法
US11423542B2 (en) Systems and methods of registration for image-guided surgery
US20240041531A1 (en) Systems and methods for registering elongate devices to three-dimensional images in image-guided procedures
US20220071715A1 (en) Systems and methods of registration for image-guided surgery
US20240090963A1 (en) Systems and methods of continuous registration for image-guided surgery
KR20190105107A (ko) 화상 안내식 시술을 위한 정치 시스템 및 방법
JP2017522975A (ja) 多数のインターベンショナル処置を計画するシステム及び方法
US20210259783A1 (en) Systems and Methods Related to Registration for Image Guided Surgery
US11514591B2 (en) Systems and methods related to registration for image guided surgery
US20220142714A1 (en) Systems for enhanced registration of patient anatomy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210924

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220228

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220228

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220304

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220308

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220401

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220412

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220705

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221214

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230612

R150 Certificate of patent or registration of utility model

Ref document number: 7296341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150