JP2021529593A - 肝臓手術のための位置合わせシステム - Google Patents

肝臓手術のための位置合わせシステム Download PDF

Info

Publication number
JP2021529593A
JP2021529593A JP2020572689A JP2020572689A JP2021529593A JP 2021529593 A JP2021529593 A JP 2021529593A JP 2020572689 A JP2020572689 A JP 2020572689A JP 2020572689 A JP2020572689 A JP 2020572689A JP 2021529593 A JP2021529593 A JP 2021529593A
Authority
JP
Japan
Prior art keywords
image
coordinate
subset
landmark
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020572689A
Other languages
English (en)
Other versions
JP7269538B2 (ja
Inventor
リャンイン ユ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2021529593A publication Critical patent/JP2021529593A/ja
Application granted granted Critical
Publication of JP7269538B2 publication Critical patent/JP7269538B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T3/14—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pulmonology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

臓器の３Ｄ及び２Ｄ画像におけるランドマークの自動位置合わせ方法が、臓器の３Ｄ表面表現から導出された、臓器の識別された第１、第２及び第３のランドマークの第１の座標セットと、臓器の２Ｄ腹腔鏡画像から導出されたランドマークの第２の座標セットとを使用して、３Ｄ表面表現において識別された３つのランドマークを２Ｄ画像において識別された前記３つのランドマークと位置合わせするステップを含む。第３のランドマークは、第１及び第２のランドマークを特徴付ける２つの点間の経路を定める複数の点を含む。３Ｄ表現及び２Ｄ画像における第１、第２及び第３のランドマークの識別、第１及び第２の座標セットの導出、並びに導出された第１及び第２の座標セットに基づく位置合わせは自動的に行われる。【選択図】 図１

Description

腹腔鏡手術は、外科手術中にビデオモニタにリアルタイム画像を送信する光学イメージングシステムである腹腔鏡の使用を伴う低侵襲タイプの腹部手術である。正しい手術の実行に備えて手術前にＣＴ撮像を行い、この結果を、患者が実際に手術台に載っている時に取得される２−Ｄ腹腔鏡ビデオ画像に関連付けて使用する必要がある。
現在の実務では、手術中にリアルタイムで取得される２−Ｄ画像と、典型的には関心臓器の３−Ｄ表現を作成するように再構成される事前に生成されたＣＴ画像とを位置合わせするタスクが、手動又は半自動のいずれかで行われる。どちらの場合にも、このことは、手術中に困難で厄介な画像処理タスクを手術自体に加えて個人又はチームのスキルに依拠して行う必要があることを意味する。手術中に頻繁に発生する臓器変形が生じた場合、この画像位置合わせの問題はさらに困難になる。
従って、手術前に取得されるＣＴ ３−Ｄ画像と手術中に取得される２−Ｄビデオ画像との位置合わせを行う完全に自動的な方法を提供することが必要とされている。肝臓手術は、このような自動画像位置合わせ法が大きな価値を発揮する１つの用途にすぎない。
本発明の実施形態は、一般に臓器の３Ｄ及び２Ｄ画像におけるランドマークの自動位置合わせを行う方法及びシステムに関する。１つの実施形態では、方法が、臓器の３Ｄ表面表現から導出された、臓器の識別された第１、第２及び第３のランドマークの第１の座標セットと、臓器の２Ｄ腹腔鏡画像から導出された、臓器の識別された第１、第２及び第３のランドマークの第２の座標セットとを使用して、３Ｄ表面形状において識別されたランドマークを２Ｄ画像において識別されたランドマークと位置合わせするステップを含む。３Ｄ及び２Ｄ画像における第１、第２及び第３のランドマークの識別は自動的に行われ、第１及び第２の座標セットの導出は自動的に行われ、導出された第１及び第２の座標セットに基づく位置合わせは自動的に行われる。
別の実施形態では、装置が、１又は２以上のプロセッサと、１又は２以上の非一時的媒体に符号化されて１又は２以上のプロセッサによって実行されるロジックとを含む。このロジックは、実行時に、臓器の３Ｄ及び２Ｄ画像におけるランドマークを自動的に位置合わせし、この自動位置合わせは、臓器の３Ｄ表面表現から導出された、臓器の識別された第１、第２及び第３のランドマークの第１の座標セットと、臓器の第１及び第２の２Ｄ腹腔鏡画像から導出された、臓器の識別された第１、第２及び第３のランドマークの第２の座標セットとを使用して、３Ｄ表面画像において識別されたランドマークを２Ｄ画像において識別されたランドマークと位置合わせするステップを含む。３Ｄ及び２Ｄ画像における第１、第２及び第３のランドマークの識別は自動的に行われ、第１及び第２の座標セットの導出は自動的に行われ、導出された第１及び第２の座標セットに基づく位置合わせは自動的に行われる。
本明細書の残りの部分及び添付図面を参照することにより、本明細書に開示する特定の実施形態の性質及び利点のさらなる理解を実現することができる。
本発明の１つの実施形態による位置合わせ法の概略図である。 本発明の１つの実施形態による位置合わせ法のフローチャートである。 本発明の１つの実施形態において使用される１つのタイプの３Ｄ再構成を概略的に示す図である。 本発明の１つの実施形態において使用される、基準系間におけるランドマーク座標の転換方法を概略的に示す図である。 本発明の１つの実施形態における３Ｄ表現とリアルタイム２Ｄ画像との間のランドマーク座標位置合わせ法を概略的に示す図である。
本明細書で説明する実施形態は、腹腔鏡手術中の外科医又は外科チームに、現在の２Ｄ腹腔鏡視点に実用的な高精度まで位置合わせされた関心臓器又は関心領域の３Ｄランドマークの２Ｄ表現を提供するものである。この臓器又は領域の３−Ｄ表現は、検討のために手術前に取得されて利用可能になったものであり、この臓器又は領域の２−Ｄ腹腔鏡画像は、手術中にリアルタイムで取得されているものであると想定する。
本発明は、長時間及び専門的スキルを必要とする現在の位置合わせ法を凌ぐ利点をもたらす。画像位置合わせプロセスの様々な段階で人間オペレータからのかなりの入力を必要とするのではなく、自動的に動作するコンピュータベースの処理システムによって実施されるのに特に適した、これらの段階の新たな実行方法を開発した。さらに、この方法は、現在の実務が一般に行っているように、超音波イメージングシステム及びトラッキングツールなどのさらなる特殊な設備の使用に依存するものでもない。
以下の説明における「自動」という単語は、対応する処理がプロセスの開始後に人間の介在を必要とすることなくソフトウェアによって実行されることを意味すると解釈されたい。
図１に、本発明の１つの実施形態による位置合わせ法の概観を示す。手術に先立ち、関心臓器を示す一連のＣＴ画像１０１が生成され、３Ｄ表面再構成１０２が自動的に形成される。表面再構成上には少なくとも３つのランドマークが識別され、第１及び第２のランドマークＸ1及びＸ2は点であり、第３のランドマークは、例えばＸ1及びＸ2間の隆線（ｒｉｄｇｅ）又は皺（ｆｕｒｒｏｗ）とすることができる容易に識別可能な経路Ｃに沿って位置する複数の点である。３つのランドマークの第１の座標セットが自動的に導出され、これを注釈付きの３Ｄ表面再構成１０３に示すことができる。別個に考慮される各ランドマークの座標は、対応する座標「サブセット」と呼ぶことができる。
手術中には、腹腔鏡カメラを含むとともに任意に１又は２以上のトラッキングセンサを含むこともできるイメージングシステム１０４を使用して、関心臓器と一般に体内の周囲物質とを示す一連の少なくとも３つの２Ｄ画像を生成する。画像内の関心臓器の区別を補助するために、臓器位置確認（ｏｒｇａｎ ｌｏｃａｌｉｚａｔｉｏｎ）プロセス１０５を実行することができる。位置確認を行うための周知の方法は複数存在するので、本開示ではこの位置確認プロセスについてはさらに説明しない。各２Ｄ画像では、同じ３つのランドマークＸ1、Ｘ2及びＣのうちの１つ又は２つ以上が自動的に識別される。これらの３つの２Ｄ画像から、３つのランドマークの第２の座標セットが導出される。ここでも、別個に考慮される各ランドマークの座標は、対応する座標「サブセット」と呼ぶことができる。
その後、３Ｄ及び２Ｄ画像から導出された座標を「一致させる」意味で、第１及び第２の座標セットに対して自動的に位置合わせ計算（ｒｅｇｉｓｔｒａｔｉｏｎ ｃａｌｃｕｌａｔｉｏｎｓ）を実行する。最終結果は、（姿勢及び配向面での）腹腔鏡カメラの主要視点（ｐｒｉｍａｒｙ ｖｉｅｗｐｏｉｎｔ）から見た、この視点に位置合わせされた３Ｄランドマークを示す臓器の２Ｄ表現１０７である。
図２は、本発明の１つの実施形態による、比較的粗いステップ２１０、２２０及び２３０を示す位置合わせ法２００の高水準フローチャートである。ステップ２１０において、手術前に、３Ｄ表面表現において第１、第２及び第３のランドマークを自動的に識別して第１の座標セットを自動的に決定する。ステップ２２０において、一連の少なくとも３つの２Ｄ画像において第１、第２及び第３のランドマークを自動的に識別して第２の座標セットを自動的に決定する。図４にステップ２２０のさらなる詳細を示しており、これについては以下で説明する。ステップ２３０において、第１及び第２の座標セットを使用して、３つの２Ｄ画像のうちの主要画像が取り込まれた姿勢及び配向に対応するように３Ｄ表面表現上で自動的にランドマークを位置合わせする。図５にステップ２３０のさらなる詳細を示しており、これについては以下で説明する。
ステップ２１０への入力として使用される３Ｄ表面表現は、複数のＣＴ画像を使用して周知の画像処理法を用いて生成される。図３に、本発明の１つの実施形態において使用される１つのタイプの３Ｄ再構成を概略的に示す。この３Ｄ再構成は、図２の表現１０２に対応する３０３Ａ又は３０３Ｂなどの３Ｄ表面表現を出力として生じるドロネー（Ｄｅｌａｕｎａｙ）法である。
当業で周知のコンピュータビジョン及びグラフィック法により、３Ｄ表面表現１０２上で（少なくとも２つの点、及びこれらの間の１つの経路の）ランドマークが自動的に識別される。その後、ランドマークの第１の座標セットを自動的に生成することができる。
手術中には、第１の位置に主要姿勢及び配向で配置された腹腔鏡カメラが、図４に示す実施形態に見られるＸ1などの点ランドマークのうちの少なくとも１つを示す関心臓器又は関心領域の主要２Ｄ画像を取り込む。この実施形態では、第１のカメラ４０２が主要２Ｄ画像４０３を取り込み、画像内の左下隅付近に（白い円によって示す）ランドマークＸ1がはっきりと見える。この図の中心の概略表現４０４に示すように、カメラ４０２は、関心臓器に対して第１の位置に配置される。なお、画像４０３では、右上隅付近のランドマークＸ2は介在する臓器組織などによって隠れて通常は部分的に見えなくなっている。画像４０３では、ランドマークＣの一部もこのように隠れている。
ランドマークＸ1は、肝臓境界における高曲率の特徴を識別するコンピュータビジョン及びコンピュータグラフィック法を使用して識別され、その２Ｄ座標は、軸Ｘ、Ｙ、Ｚによって示すカメラ４０２の基準系内に自動的に生成される。
次に、第１のカメラ４０２を、（白い破線Ｐ１によって示す）経路に沿って実際に可能な限り第２のカメラ４０６の近くの第２の位置に動かし、光学的又は電磁的ツールトラッカー（ｔｏｏｌ ｔｒａｃｋｅｒ）などの当業で周知のセンシング技術を使用して、２つの位置間における第１のカメラ４０２の動きを３Ｄで追跡する。
図示の実施形態ではステレオカメラを含む第２のカメラ４０６は、第２の基準系であるＸstereo、Ｙstereo、Ｚstereo内で動作して、図の右上の（画像を重ね合わせることによって形成される）合成画像に４０８及び４１０として示す２つの２Ｄ画像を取り込む。これらの画像４０８、４１０の各々では、第２のランドマークＸ2は見えるが、第１のランドマークＸ1は部分的に隠れていることもある。ランドマークＸ2は、Ｘ1を識別するために使用した方法と同一又は同様の方法を使用して識別され、そのＸstereo、Ｙstereo、Ｚstereo基準系における座標は自動的に生成される。
図示の実施形態では、画像４０８、４１０がステレオカメラによって、従って横方向にわずかに変位したポジションから撮影されるので、各画像の平面内だけでなくカメラからの深度に関してもランドマークＸ2の位置情報を決定することができる。この情報の分析及びカメラ４０２に関する追跡データの分析により、Ｘstereo、Ｙstereo、Ｚstereo基準系から第１の２Ｄ画像を撮影した時のカメラ４０２のＸ、Ｙ、Ｚ基準系へのＸ2の座標の変換を可能にする、典型的には変換行列の形のデータがもたらされる。破線Ｔ１は、第２のランドマークの座標の変換を示す。その後、Ｘ、Ｙ、Ｚ基準系におけるカメラ４０２の画像平面上に３Ｄ座標情報を投影することによってＸ2の２Ｄ座標を取得する。
上述したように、図４には、ランドマーク座標を１つの基準系から別の基準系に転換又は変換する方法を示す本発明の１つの実施形態を概略的に示しており、この場合、第１のランドマークを示す第１の画像を第１のカメラが第１の位置において取り込んだ後に第２の位置に移動し、そこでそれぞれが第２のランドマークを示す一対の立体画像を第２のステレオカメラが取り込む。
別の実施形態では、第２のカメラをそれ自体ステレオカメラではなく標準的なカメラとし、このカメラを第２及び第３の画像の取り込み間に第２の位置の近傍でわずかに移動させて各画像がわずかに異なる第２のランドマークのビューを示すようにし、これによってやはり深度データの生成を可能にすることもできる。
本発明のさらに別の実施形態では、第２のカメラが、第２の位置の近傍で一対の画像だけでなく３又は４以上の画像を撮影する。これらの３又は４以上の画像の各々を第２の位置の近傍のわずかに異なるポジションから取り込めば、これらの画像の分析により、場合によっては一対の画像のみを撮影した場合に提供されるよりも高精度でやはりランドマーク座標を３Ｄで生成することができる。
他の実施形態では、第２のカメラの代わりに第１のカメラを使用して、第１の位置における第１の主要２Ｄ画像だけでなく、第２の位置の近傍で第２及び第３の（及び任意にさらに多くの）２Ｄ画像も取り込む。
なお、本開示全体を通じて使用する「〜の近傍に」という用語は、対象の１又は複数のカメラのポジションが十分に近づくことにより、これらのポジションから取り込まれた画像が、当業で周知の三角測量法を適用してこれらの画像内に見える特徴の深度に関する情報を取得できるように重なり合うことを意味するものであると理解されたい。
図５に、本発明の１つの実施形態における、３Ｄ表現とリアルタイム２Ｄ画像との間でランドマーク座標を位置合わせする方法を概略的に示す。後述するような最適化プロセスから導出される、カメラ取り込み（ｃａｍｅｒａ ｃａｐｔｕｒｉｎｇ）５０４（上記で使用した用語では第１の２Ｄ画像）のポジション及び配向の推定値を使用して、３Ｄ表現５０２から事前に確立されているランドマークＸ１及びＸ２のポジションをリアルタイム腹腔鏡２Ｄ画像５０４の平面上に投影する。通常は、カメラ射影行列（ｃａｍｅｒａ ｐｒｏｊｅｃｔｉｏｎ ｍａｔｒｉｘ）が生成され、この投影を実行する際に使用される。画像５０４には、画像５０４から直接決定されるＸ１のポジションと、上述したように第２及び第３の２Ｄ画像から確立された座標の変換によって決定されるＸ２のポジションとを示す（白い環で示す）マーカーが重ね合わされる。
画像５０４の右下の説明図には、ランドマークＸ１及びＸ２の投影されたポジションを示す円形ゾーンＳ１及びＳ２と、第３のランドマークの投影Ｐ（ＬC）と、最初の２つのランドマーク間の３Ｄ経路とを示す。２Ｄ腹腔鏡画像から導出された、第３のランドマークを表す破線ｌ（２Ｄ）も示す。手術前の３Ｄ表現から投影される経路とリアルタイム２Ｄ画像から決定される経路との間の誤差は、周知の数学的手法を使用して、３つの全てのランドマークの最適な位置合わせが得られるように最小化される。
本明細書で説明した実施形態は、３Ｄ表現と２Ｄ画像との間のランドマークの位置合わせを必要とする用途に様々な利益をもたらす。とりわけ、実施形態は、手術前の３Ｄ再構成において識別されたランドマークを手術中に取り込まれた２Ｄ腹腔鏡画像に見られるようなランドマークに自動的に位置合わせする高速で効率的な方法に関する。実施形態は、手術前及び手術中に外科チームが見る画像内のランドマークの正確な位置合わせを達成するために、比較的単純なカメラポジション追跡技術、及び周知の数学的変換を用いた画像処理しか必要としない。従って、画像方向の解釈又はさらなるイメージング及びトラッキング設備の操作に関連する不必要な妨げ又は複雑さを伴わずに外科手術中の外科チームの活動がサポートされる。
特定の実施形態に関して説明を行ったが、これらの特定の実施形態は例示にすぎず、限定的なものではない。例えば、手術前に行う３Ｄ再構成には、ドロネー法以外の方法を使用することもできる。３Ｄ腹腔鏡検情報は、モーション又はビジュアルオドメトリによって得られる構造から導出することもできる。いくつかの実施形態では、さらなる点又は線ランドマークを使用することもできる。
特定の実施形態のルーチンの実行には、Ｃ、Ｃ＋＋、Ｊａｖａ、アセンブリ言語などを含むあらゆる好適なプログラム言語を使用することができる。手続き型又はオブジェクト指向型などの異なるプログラミング法を使用することもできる。これらのルーチンは、単一の処理装置又は複数のプロセッサ上で実行することができる。ステップ、動作又は計算については特定の順序で示しているが、異なる特定の実施形態ではこの順序を変更することもできる。いくつかの特定の実施形態では、本明細書に逐次的なものとして示す複数のステップを同時に実行することもできる。
特定の実施形態は、命令実行システム、装置、システム又はデバイスが使用する、或いはこれらに関連するコンピュータ可読記憶媒体に実装することができる。特定の実施形態は、ソフトウェア、ハードウェア又はこれらの組み合わせにおける制御ロジックの形で実装することができる。制御ロジックは、１又は２以上のプロセッサによって実行された時に、特定の実施形態において説明した内容を実行することができる。
特定の実施形態は、特定用途向け集積回路、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、光学、化学、生物学、量子又はナノエンジニアリングシステム、コンポーネント及び機構を使用してプログラムされた汎用デジタルコンピュータを使用することによって実装することができる。一般に、特定の実施形態の機能は、当業で周知のいずれかの手段によって実現することができる。分散システム、ネットワークシステム、コンポーネント及び／又は回路を使用することもできる。データの通信又は転送は、有線、無線、又は他のいずれかの手段によるものとすることができる。
また、特定の用途に従って有用である時には、図面／図に示す要素のうちの１つ又は２つ以上をより分離又は統合された形で実装し、或いはいくつかの事例では除去又は動作不能とすることもできると理解されるであろう。上述した方法のいずれかをコンピュータが実行できるようにする、機械可読媒体に記憶できるプログラム又はコードを実装することも本発明の趣旨及び範囲に含まれる。
「プロセッサ」は、データ、信号又はその他の情報を処理するあらゆる好適なハードウェア及び／又はソフトウェアシステム、機構又はコンポーネントを含む。プロセッサは、汎用中央処理装置、複数の処理装置、機能を実現するための専用回路又はその他のシステムを有するシステムを含むことができる。処理は、地理的位置に制限される必要も、又は時間的制限を有する必要もない。例えば、プロセッサは、その機能を「リアルタイム」、「オフライン」、「バッチモード」などで実行することができる。処理の一部は、異なる（又は同じ）処理システムが異なる時点に異なる場所で実行することもできる。処理システムの例は、サーバ、クライアント、エンドユーザ装置、ルータ、スイッチ、ネットワークストレージなどを含むことができる。コンピュータは、メモリと通信するあらゆるプロセッサとすることができる。メモリは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、磁気又は光学ディスク、或いはプロセッサが実行する命令を記憶するのに適した他の非一時的媒体などのあらゆる好適なプロセッサ可読記憶媒体とすることができる。
本明細書及び以下の特許請求の範囲全体を通じて使用する「１つの（英文不定冠詞）」及び「その（英文定冠詞）」は、文脈において別途明確に示していない限り複数形の照応を含む。また、本明細書及び以下の特許請求の範囲全体を通じて使用する「〜内（ｉｎ）」の意味は、文脈において別途明確に示していない限り、「〜内（ｉｎ）」及び「〜上（ｏｎ）」の意味を含む。
以上、本明細書では特定の実施形態について説明したが、上述した開示では修正、様々な変更及び置換の自由が意図されており、いくつかの例では、記載した範囲及び趣旨から逸脱することなく、特定の実施形態のいくつかの特徴が対応する他の特徴の使用を伴わずに使用されると理解されたい。従って、特定の状況又は材料を基本的範囲及び趣旨に適合させるように多くの修正を行うことができる。
１０１ ＣＴ画像
１０２ ３Ｄ表面再構成
１０３ 注釈付き３Ｄ表面再構成
１０４ イメージングシステム
１０５ 臓器位置確認プロセス
１０７ 臓器の２Ｄ表現

Claims (20)

  1. 臓器の３Ｄ及び２Ｄ画像におけるランドマークの自動位置合わせ方法であって、
    前記臓器の３Ｄ表面表現から導出された、前記臓器の識別された第１、第２及び第３のランドマークの第１の座標セットと、前記臓器の２Ｄ腹腔鏡画像から導出された、前記臓器の前記識別された第１、第２及び第３のランドマークの第２の座標セットとを使用して、前記３Ｄ表面表現において識別された前記３つのランドマークを前記２Ｄ画像において識別された前記３つのランドマークと位置合わせするステップを含み、
    前記第３のランドマークは、前記第１及び第２のランドマークを特徴付ける２つの点間の経路を定める複数の点を含み、
    前記３Ｄ表現及び前記２Ｄ画像における前記第１、第２及び第３のランドマークの前記識別は自動的に行われ、
    前記第１及び第２の座標セットの前記導出は自動的に行われ、
    前記導出された第１及び第２の座標セットに基づく前記位置合わせは自動的に行われる、
    ことを特徴とする方法。
  2. 前記第１の座標セットは、
    前記第１のランドマークのための第１の位置座標サブセットと、
    前記第２のランドマークのための第２の位置座標サブセットと、
    前記第３のランドマークを特徴付ける複数の位置座標を含む第３の位置座標サブセットと、
    を含み、前記第２の座標セットは、
    前記第１のランドマークのための第４の位置座標サブセットと、
    前記第２のランドマークのための第５の位置座標サブセットと、
    前記第３のランドマークを特徴付ける複数の位置座標を含む第６の位置座標サブセットと、
    を含む、請求項１に記載の方法。
  3. 前記２Ｄ画像は、第１、第２及び第３の２Ｄ画像を含み、
    前記第１及び第２の座標セットは、前記第１の２Ｄ画像を取り込むカメラの第１の位置及び第１の配向に対応する第１の基準系で表され、
    前記第５の位置座標サブセットは、前記第２及び第３の２Ｄ画像を取り込むカメラの第２の位置及び第２の配向に対応する第２の基準系で表される前記第２のランドマークの第７の位置座標サブセットを変換することによって導出される、
    請求項２に記載の方法。
  4. 前記第１の位置において前記第１の２Ｄ画像を取り込む前記カメラは、前記第１の位置と前記第２の位置との間を移動した後に前記第２の位置の近傍の第２のポジションにおいて前記第２の２Ｄ画像を取り込み、前記第２の位置の近傍の前記第２のポジションとは異なる第３のポジションにおいて前記第３の２Ｄ画像を取り込む前記カメラであり、
    前記第１の位置及び第１の配向と前記第２の位置及び第２の配向との間における前記カメラの前記動きを３Ｄで追跡することによって提供されるトラッキングデータの分析と組み合わせた前記第２及び第３の２Ｄ画像の分析は、前記第１の位置及び前記第１の配向と前記第２の位置及び前記第２の配向との間の空間的３Ｄ関係の決定を可能にして、前記第７のサブセットの前記第５のサブセットへの前記変換を達成するのに必要な変換データを提供する、
    請求項３に記載の方法。
  5. 前記第１の位置において前記第１の２Ｄ画像を取り込む前記カメラは、後で前記第２の位置に移動する第１のカメラであり、
    前記第２の位置の近傍の第２のポジションにおいて前記第２の２Ｄ画像を取り込み、前記第２の位置の近傍の前記第２のポジションとは異なる第３のポジションにおいて前記第３の２Ｄ画像を取り込む前記カメラは第２のカメラであり、
    前記第１の位置及び第１の配向と前記第２の位置及び第２の配向との間における前記第１のカメラの前記動きを３Ｄで追跡することによって提供されるトラッキングデータの分析と組み合わせた前記第２及び第３の２Ｄ画像の分析は、前記第１の位置及び前記第１の配向と前記第２の位置及び前記第２の配向との間の前記空間的３Ｄ関係の決定を可能にして、前記第７のサブセットの前記第５のサブセットへの前記変換を達成するのに必要な変換データを提供する、
    請求項３に記載の方法。
  6. 前記臓器の前記３Ｄ表面表現は、前記臓器の複数のＣＴスキャンから計算的に再構成される、
    請求項１に記載の方法。
  7. 前記再構成は、ドロネーの画像処理法を使用することを含む、
    請求項６に記載の方法。
  8. 前記３Ｄ表面表現の前記再構成は手術前に行われ、前記２Ｄ画像は、手術中に腹腔鏡カメラシステムを使用して取り込まれる、
    請求項６に記載の方法。
  9. 前記第１及び第２の座標セットを使用して前記３つのランドマークを位置合わせするステップは、
    前記２Ｄ画像のうちの１つを取り込むカメラの位置及び配向の推定値を使用して、３Ｄ空間からの前記第１の座標セットを前記２Ｄ画像の前記画像平面に投影するステップと、
    前記第３のランドマークを特徴付ける前記第３の位置座標サブセットの前記投影と前記第６の位置座標サブセットとの間の前記誤差を最小化しながら、前記第１及び第２の位置座標サブセットの前記投影を所定の限界値内で前記第４及び第５の位置座標サブセットにそれぞれ位置合わせするステップと、
    を含む、請求項１に記載の方法。
  10. 前記臓器は肝臓である、
    請求項１に記載の方法。
  11. １又は２以上のプロセッサと、
    １又は２以上の非一時的媒体に符号化されて前記１又は２以上のプロセッサによって実行され、実行時に臓器の３Ｄ及び２Ｄ画像におけるランドマークを自動的に位置合わせするロジックと、
    を備えた装置であって、前記自動位置合わせは、
    前記臓器の３Ｄ表面表現から導出された、前記臓器の識別された第１、第２及び第３のランドマークの第１の座標セットと、前記臓器の第１及び第２の２Ｄ腹腔鏡画像から導出された、前記臓器の前記識別された第１、第２及び第３のランドマークの第２の座標セットとを使用して、前記３Ｄ表面表現において識別された前記３つのランドマークを前記２Ｄ画像において識別された前記３つのランドマークと位置合わせするステップを含み、
    前記第３のランドマークは、前記第１及び第２のランドマークを特徴付ける２つの点間の経路を定める複数の点を含み、
    前記３Ｄ及び２Ｄ画像における前記第１、第２及び第３のランドマークの前記識別は自動的に行われ、
    前記第１及び第２の座標セットの前記導出は自動的に行われ、
    前記導出された第１及び第２の座標セットに基づく前記位置合わせは自動的に行われる、
    ことを特徴とする装置。
  12. 前記第１の座標セットは、
    前記第１のランドマークのための第１の位置座標サブセットと、
    前記第２のランドマークのための第２の位置座標サブセットと、
    前記第３のランドマークを特徴付ける複数の位置座標を含む第３の位置座標サブセットと、
    を含み、前記第２の座標セットは、
    前記第１のランドマークのための第４の位置座標サブセットと、
    前記第２のランドマークのための第５の位置座標サブセットと、
    前記第３のランドマークを特徴付ける複数の位置座標を含む第６の位置座標サブセットと、
    を含む、請求項１１に記載の装置。
  13. 前記２Ｄ画像は、第１、第２及び第３の２Ｄ画像を含み、
    前記第１及び第２の座標セットは、前記第１の２Ｄ画像を取り込むカメラの第１の位置及び第１の配向に対応する第１の基準系で表され、
    前記第５の位置座標サブセットは、前記第２及び第３の２Ｄ画像を取り込むカメラの第２の位置及び第２の配向に対応する第２の基準系で表される前記第２のランドマークの第７の位置座標サブセットを変換することによって導出される、
    請求項１２に記載の装置。
  14. 前記第１の位置において前記第１の２Ｄ画像を取り込む前記カメラは、前記第２の位置の近傍の第２のポジションにおいて前記第２の２Ｄ画像を取り込むとともに、前記第２の位置の近傍の前記第２のポジションとは異なる第３のポジションにおいて前記第３の２Ｄ画像も取り込み、
    前記第１の位置及び第１の配向と前記第２の位置及び第２の配向との間における前記カメラの前記動きを３Ｄで追跡することによって、前記第７のサブセットの前記第５のサブセットへの前記変換を達成するために必要なデータが決定される、
    請求項１３に記載の装置。
  15. 前記第１の２Ｄ画像を取り込む前記カメラは第１のカメラであり、
    第２のカメラが、前記第２の位置の近傍の第２のポジションにおいて前記第２の２Ｄ画像を取り込むとともに、前記第２の位置の近傍の前記第２のポジションとは異なる第３のポジションにおいて前記第３の２Ｄ画像を取り込み、
    前記第２及び第３の２Ｄ画像の立体ペアの分析は、前記第１の位置及び前記第１の配向と前記第２の位置及び前記第２の配向との間の空間的３Ｄ関係の決定を可能にして、前記第７のサブセットの前記第５のサブセットへの前記変換を達成するのに必要なデータを提供する、
    請求項１３に記載の装置。
  16. １又は２以上のプロセッサと、
    １又は２以上の非一時的コンピュータ可読媒体に符号化されて前記１又は２以上のプロセッサによって実行され、実行時に臓器の３Ｄ及び２Ｄ画像におけるランドマークを自動的に位置合わせするソフトウェアと、
    を備えた装置であって、前記方法は、
    前記臓器の３Ｄ表面表現から導出された、前記臓器の識別された第１、第２及び第３のランドマークの第１の座標セットと、前記臓器の第１及び第２の２Ｄ画像から導出された、前記臓器の前記識別された第１、第２及び第３のランドマークの第２の座標セットとを使用して、前記３Ｄ表面表現において識別された前記３つのランドマークを前記２Ｄ画像において識別された前記３つのランドマークと位置合わせするステップを含み、
    前記第３のランドマークは、前記第１及び第２のランドマークを特徴付ける２つの点間の経路を定める複数の点を含み、
    前記３Ｄ及び２Ｄ画像における前記第１、第２及び第３のランドマークの前記識別は自動的に行われ、
    前記第１及び第２の座標セットの前記導出は自動的に行われ、
    前記導出された第１及び第２の座標セットに基づく前記位置合わせは自動的に行われる、
    ことを特徴とする装置。
  17. 前記第１の座標セットは、
    前記第１のランドマークのための第１の位置座標サブセットと、
    前記第２のランドマークのための第２の位置座標サブセットと、
    前記第３のランドマークを特徴付ける複数の位置座標を含む第３の位置座標サブセットと、
    を含み、前記第２の座標セットは、
    前記第１のランドマークのための第４の位置座標サブセットと、
    前記第２のランドマークのための第５の位置座標サブセットと、
    前記第３のランドマークを特徴付ける複数の位置座標を含む第６の位置座標サブセットと、
    を含む、請求項１６に記載の装置。
  18. 前記２Ｄ画像は、第１、第２及び第３の２Ｄ画像を含み、
    前記第１、第２、第３、第４、第５及び第６の位置座標サブセットは、前記第１の２Ｄ画像を取り込むカメラの第１の位置及び第１の配向に対応する第１の基準系で表され、
    前記第５の位置座標サブセットは、前記第２及び第３の２Ｄ画像を取り込むカメラの第２の位置及び第２の配向に対応する第２の基準系で表される前記第２のランドマークの第７の位置座標サブセットを変換することによって導出される、
    請求項１７に記載の装置。
  19. 前記第１の位置において前記第１の２Ｄ画像を取り込む前記カメラは、前記第２の位置の近傍の第２のポジションにおいて前記第２の２Ｄ画像を取り込むとともに、前記第２の位置の近傍の前記第２のポジションとは異なる第３のポジションにおいて前記第３の２Ｄ画像も取り込み、
    前記第１の位置及び第１の配向と前記第２の位置及び第２の配向との間における前記カメラの前記動きを３Ｄで追跡することによって、前記第７のサブセットの前記第５のサブセットへの前記変換を達成するために必要なデータが決定される、
    請求項１８に記載の装置。
  20. 前記第１の位置において前記第１の２Ｄ画像を取り込んで、その後に前記第２の位置に移動する前記カメラは第１のカメラであり、
    前記第２の位置の近傍の第２のポジションにおいて前記第２の２Ｄ画像を取り込み、前記第２の位置の近傍の前記第２のポジションとは異なる第３のポジションにおいて前記第３の２Ｄ画像を取り込む前記カメラは第２のカメラであり、
    前記第１の位置及び第１の配向と前記第２の位置及び第２の配向との間における前記第１のカメラの前記動きを３Ｄで追跡することによって提供されるトラッキングデータの分析と組み合わせた前記第２及び第３の２Ｄ画像の分析は、前記第１の位置及び前記第１の配向と前記第２の位置及び前記第２の配向との間の空間的３Ｄ関係の決定を可能にして、前記第７のサブセットの前記第５のサブセットへの前記変換を達成するのに必要な変換データを提供する、
    請求項１８に記載の装置。
JP2020572689A 2018-07-02 2019-06-12 肝臓手術のための位置合わせシステム Active JP7269538B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/025,949 US10832422B2 (en) 2018-07-02 2018-07-02 Alignment system for liver surgery
US16/025,949 2018-07-02
PCT/IB2019/054887 WO2020008280A1 (en) 2018-07-02 2019-06-12 An alignment system for liver surgery

Publications (2)

Publication Number Publication Date
JP2021529593A true JP2021529593A (ja) 2021-11-04
JP7269538B2 JP7269538B2 (ja) 2023-05-09

Family

ID=67660587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020572689A Active JP7269538B2 (ja) 2018-07-02 2019-06-12 肝臓手術のための位置合わせシステム

Country Status (6)

Country Link
US (1) US10832422B2 (ja)
EP (1) EP3794554A1 (ja)
JP (1) JP7269538B2 (ja)
KR (1) KR102577964B1 (ja)
CN (1) CN112368739A (ja)
WO (1) WO2020008280A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE2250262A1 (en) 2022-02-25 2023-08-26 Navari Surgical Ab Marker unit for use in ar aided surgery

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007268259A (ja) * 2006-03-21 2007-10-18 Biosense Webster Inc 局所的に重み付けされた適合化を使用する画像位置合わせ
JP2016067946A (ja) * 2014-09-30 2016-05-09 株式会社東芝 医用画像データ処理装置及び医用画像データ処理方法
JP2016101502A (ja) * 2014-11-28 2016-06-02 株式会社東芝 医用画像処理装置
US20180158201A1 (en) * 2015-04-22 2018-06-07 Ucl Business Plc Apparatus and method for registering pre-operative image data with intra-operative laparoscopic ultrasound images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7756567B2 (en) 2003-08-29 2010-07-13 Accuray Incorporated Image guided radiosurgery method and apparatus using registration of 2D radiographic images with digitally reconstructed radiographs of 3D scan data
ATE553456T1 (de) * 2005-02-03 2012-04-15 Bracco Imaging Spa Verfahren und computerprogrammprodukt zur registrierung biomedizinischer bilder mit verminderten objektbewegungsbedingten bildgebungsartefakten
US7996060B2 (en) * 2006-10-09 2011-08-09 Biosense Webster, Inc. Apparatus, method, and computer software product for registration of images of an organ using anatomical features outside the organ
ITTV20100133A1 (it) * 2010-10-08 2012-04-09 Teleios Srl Apparato e metodo per effettuare la mappatura di uno spazio tridimensionale in applicazioni medicali a scopo interventistico o diagnostico
EP2680778B1 (en) * 2011-03-03 2019-07-31 Koninklijke Philips N.V. System and method for automated initialization and registration of navigation system
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
US10262424B2 (en) 2015-12-18 2019-04-16 The Johns Hopkins University Method for deformable 3D-2D registration using multiple locally rigid registrations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007268259A (ja) * 2006-03-21 2007-10-18 Biosense Webster Inc 局所的に重み付けされた適合化を使用する画像位置合わせ
JP2016067946A (ja) * 2014-09-30 2016-05-09 株式会社東芝 医用画像データ処理装置及び医用画像データ処理方法
JP2016101502A (ja) * 2014-11-28 2016-06-02 株式会社東芝 医用画像処理装置
US20180158201A1 (en) * 2015-04-22 2018-06-07 Ucl Business Plc Apparatus and method for registering pre-operative image data with intra-operative laparoscopic ultrasound images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROSALIE PLANTEFEVE ET AL: "Automatic Alignment of pre and intraoperative Data using Anatomical Landmarks for Augmented Laparosc", INTERNATIONAL SYMPOSIUM ON BIOMEDICAL SIMULATION, JPN7022000959, October 2014 (2014-10-01), FR, ISSN: 0004842028 *

Also Published As

Publication number Publication date
CN112368739A (zh) 2021-02-12
US10832422B2 (en) 2020-11-10
JP7269538B2 (ja) 2023-05-09
KR20210016433A (ko) 2021-02-15
KR102577964B1 (ko) 2023-09-15
EP3794554A1 (en) 2021-03-24
WO2020008280A1 (en) 2020-01-09
US20200005473A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
Wang et al. Video see‐through augmented reality for oral and maxillofacial surgery
KR102018565B1 (ko) 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램
Devernay et al. Towards endoscopic augmented reality for robotically assisted minimally invasive cardiac surgery
US8971597B2 (en) Efficient vision and kinematic data fusion for robotic surgical instruments and other applications
US9101267B2 (en) Method of real-time tracking of moving/flexible surfaces
US9901407B2 (en) Computer-implemented technique for determining a coordinate transformation for surgical navigation
Pachtrachai et al. Hand-eye calibration for robotic assisted minimally invasive surgery without a calibration object
US8073528B2 (en) Tool tracking systems, methods and computer products for image guided surgery
Mourgues et al. Flexible calibration of actuated stereoscopic endoscope for overlay in robot assisted surgery
Allan et al. 2D-3D pose tracking of rigid instruments in minimally invasive surgery
WO2024027647A1 (zh) 机器人控制方法、系统和计算机程序产品
Staub et al. Contour-based surgical instrument tracking supported by kinematic prediction
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
US20210121244A1 (en) Systems and methods for locating patient features
Coste-Manière et al. Optimal planning of robotically assisted heart surgery: First results on the transfer precision in the operating room
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
Yang et al. Image mapping of untracked free‐hand endoscopic views to an ultrasound image‐constructed 3D placenta model
JP7269538B2 (ja) 肝臓手術のための位置合わせシステム
Piccinelli et al. Rigid 3D registration of pre-operative information for semi-autonomous surgery
WO2017057175A1 (ja) 手術ナビゲーションシステムおよび手術ナビゲーション方法並びにプログラム
Torres et al. Robotic motion compensation for bone movement, using ultrasound images
Sediono et al. Altitude tracking using colour marker based navigation system for image guided surgery
CN113470184A (zh) 内窥镜增强现实误差补偿方法及装置
JP7407831B2 (ja) 介入装置追跡
Šuligoj Spatial patient registration in robotic neurosurgery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220803

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230405

R151 Written notification of patent or utility model registration

Ref document number: 7269538

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151