JP2022506708A - 光学追跡のためのシステムおよび方法 - Google Patents

光学追跡のためのシステムおよび方法 Download PDF

Info

Publication number
JP2022506708A
JP2022506708A JP2021524264A JP2021524264A JP2022506708A JP 2022506708 A JP2022506708 A JP 2022506708A JP 2021524264 A JP2021524264 A JP 2021524264A JP 2021524264 A JP2021524264 A JP 2021524264A JP 2022506708 A JP2022506708 A JP 2022506708A
Authority
JP
Japan
Prior art keywords
biological
image
particular patient
computer system
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021524264A
Other languages
English (en)
Inventor
ゲリ，アロン，ヤコブ
アヴィサル，モルデチャイ
Original Assignee
サージカル シアター，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サージカル シアター，インコーポレイテッド filed Critical サージカル シアター，インコーポレイテッド
Publication of JP2022506708A publication Critical patent/JP2022506708A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Gynecology & Obstetrics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Urology & Nephrology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

特定の患者の生体組織の撮影された医用画像を使用して生成された動的３Ｄ医用モデルからの生体組織画像を、特定の患者の生体組織のライブビデオフィードと整合し、マッチングさせる複数の方法、およびそのような方法を実施するためのコンピュータシステム。【選択図】図１

Description

関連出願の相互参照
本出願は、参照により本明細書に組み込まれる、２０１８年１１月８日に出願された米国仮特許出願第６２／７５７，３３９号の利益を主張する。
動脈瘤の治療などの複雑な手術を行うとき、処置の効率は非常に重要であり、所望の結果を達成するために、患者固有の解剖学的構造に基づく詳細な計画が基本である。手術前の準備を容易にするために、ＣＴ、超音波、ＭＲＩ、およびＸ線などの医用イメージングを一般的に使用して、患者の解剖学的構造のモデルが開発される。これらのモデルは、医師または他のユーザが外科的処置の準備のために使用することができる。
さらに、精度および効率を向上させるために、医師は、手術室内での実際の外科的処置中に使用するために、医用イメージングを活用することを望む場合がある。外科的処置中に医師を支援するために、医用画像またはモデルは、一般的に、患者の身体的解剖学的構造に整合され、または相関付けられる。その後、患者の解剖学的構造に対する動き（すなわち、医師によって制御されるツールによる）は、モデルのビューまたはモデル内の位置が解剖学的構造のビューまたは解剖学的構造内の位置と位置合わせされるように、モデルによってシミュレートまたは追跡される。そのような追跡は、一般的に、手術室内の外部追跡システムまたは機構によって提供されるデータによって可能にされる。しかしながら、そのような外部追跡システムは、常に利用可能であるとは限らない。例えば、外部追跡システムは、高価であり、時間がかかり、実施するのが実用的でない場合がある。
限定はしないが、特定の患者の生体組織の画像を追跡するための方法を含む、複数の例示的な実施形態が提供され、この方法は、
特定の患者の生体組織の１つ以上の３Ｄ医用画像を生成するステップと、
特定の患者の生体組織の３Ｄ医用画像をコンピュータシステムに記憶するステップと、
特定の患者の生体組織のライブ画像を撮るステップと、
（１）特定の患者の生体組織の記憶された医用画像、または（２）特定の患者の生体組織のライブ画像における少なくとも１つの生物学的構造を識別するステップと、
識別された少なくとも１つの生物学的構造を、（１）特定の患者の生体組織のライブ画像の対応する構造、または（２）特定の患者の生体組織の記憶された医用画像の対応する構造とそれぞれマッチングさせるステップと、
前記マッチングに応答して、コンピュータシステムが、記憶された医用画像のうちの１つ以上を、特定の患者の同じ生体組織を表すものとしてライブビデオ画像に整合および／または位置合わせするステップと、を含む。
特定の患者の生体組織の画像を追跡するための方法も提供され、この方法は、
特定の患者の生体組織の１つ以上の３Ｄ医用画像を生成するステップと、
特定の患者の生体組織の３Ｄ医用画像をコンピュータシステムに記憶するステップと、
コンピュータシステムが、特定の患者の生体組織の記憶された医用画像内の複数の第１の生物学的構造を識別するステップと、
特定の患者の生体組織のライブ画像を撮るステップと、
コンピュータシステムが、特定の患者の生体組織のライブ画像内の複数の第２の生物学的構造を識別するステップと、
コンピュータシステムが、識別された第１の生物学的構造のうちの１つ以上を、第２の生物学的構造のうちの１つ以上と自動的にマッチングさせるステップと、
前記マッチングに応答して、コンピュータシステムが、記憶された医用画像のうちの１つ以上を、特定の患者の同じ生体組織を表すものとしてライブビデオ画像に整合および／または位置合わせするステップと、を含む。
またさらに、特定の患者の生体組織の画像を追跡するための方法が提供され、この方法は、
１つ以上の撮像デバイスを使用して特定の患者の生体組織の組織画像を生成するステップと、
コンピュータシステムが、特定の患者の生体組織の組織画像から１つ以上の３Ｄ医用画像を生成するステップと、
特定の患者の生体組織の３Ｄ医用画像をコンピュータシステムに記憶するステップと、
コンピュータシステムが、特定の患者の生体組織の記憶された医用画像内の複数の第１の生物学的構造を識別するステップと、
特定の患者の生体組織のライブ画像を撮るステップと、
コンピュータシステムが、特定の患者の生体組織のライブ画像内の複数の第２の生物学的構造を識別するステップと、
コンピュータシステムが、識別された第１の生物学的構造のうちの１つ以上を、第２の生物学的構造のうちの１つ以上と自動的にマッチングさせるステップと、
前記マッチングに応答して、コンピュータシステムが、記憶された医用画像のうちの１つ以上を、特定の患者の同じ生体組織を表すものとしてライブビデオ画像に整合および／または位置合わせするステップと、
整合および／または位置合わせされた記憶された画像とライブ画像とを含む、表示のための合成されたビデオフィードを生成するステップと、を含む。
さらに、上記の方法のいずれかを実施するように構成されたコンピュータシステムが提供される。
また、追加の例示的な実施形態も提供され、全部ではないが、その一部は、以下でより詳細に説明される。
添付の図面において、以下に提供される詳細な説明とともに、特許請求される本発明の例示的な実施形態を説明する構造が示される。同様の要素は、同じ参照番号で識別される。単一の構成要素として示される要素は、複数の構成要素で置き換えられてもよく、複数の構成要素として示される要素は、単一の構成要素で置き換えられてもよいことを理解されたい。図面は縮尺通りではなく、特定の要素の比率は、例示の目的のために誇張されている場合がある。
例示的な光学追跡システムを示す図である。 例示的な光学追跡コンピュータ配列を示す図である。 開示された方法から生じる例示的なビデオフィードを示す図である。 開示された方法から生じる例示的なビデオフィードを示す図である。 開示された方法から生じる例示的なビデオフィードを示す図である。 開示された方法から生じる例示的なビデオフィードを示す図である。 開示された方法から生じる例示的なビデオフィードを示す図である。 開示された方法から生じる例示的なビデオフィードを示す図である。 医療モデルをライブビデオフィードに整合する例示的な方法を提供するフローチャートである。 図の光学追跡システムをサポートするために、任意の実施形態の例示的な光学追跡コンピュータ配列を実装するための例示的なコンピュータシステムを示す図である。
以下の頭字語および定義は、詳細な説明の理解を助けるであろう。
ＡＲ－拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）－サウンド、ビデオ、またはグラフィックスなどコンピュータで生成された感覚的な要素によって要素が拡張された、物理的な現実世界環境のライブビュー。
ＶＲ－仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）－様々な程度で探索され、対話され得る、３次元のコンピュータで生成された環境。
ＨＭＤ－ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）は、ＡＲまたはＶＲ環境で使用することができるヘッドセットを指す。これは、有線でも無線でもよい。また、ヘッドホン、マイクロホン、ＨＤカメラ、赤外線カメラ、ハンドトラッカ、位置トラッカなど１つ以上のアドオンを含むこともできる。
ＳＮＡＰ Ｍｏｄｅｌ－ＳＮＡＰケースは、ＤＩＣＯＭファイル形式で患者の１つ以上のスキャン（ＣＴ、ＭＲ、ｆＭＲ、ＤＴＩなど）を使用して作成された３Ｄテクスチャまたは３Ｄオブジェクトを指す。これはまた、特定の範囲をフィルタリングし、３Ｄテクスチャ内の他の範囲を着色するための異なるプリセットのセグメンテーションを含む。また、特定の点または関係する解剖学的構造をマークするための３Ｄ形状、３Ｄラベル、３Ｄ測定マーカ、ガイダンス用の３Ｄ矢印、および３Ｄ手術用ツールを含む、シーン内に配置された３Ｄオブジェクトも含み得る。外科用ツールおよびデバイスは、教育および患者固有のリハーサルのために、特に動脈瘤クリップを適切にサイジングするためにモデル化されてきた。
ＭＤ６ＤＭ－多次元完全球形仮想現実、６自由度モデル（Ｍｕｌｔｉ Ｄｉｍｅｎｓｉｏｎ ｆｕｌｌ ｓｐｈｅｒｉｃａｌ ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ，６ Ｄｅｇｒｅｅｓ ｏｆ Ｆｒｅｅｄｏｍ Ｍｏｄｅｌ）。これは、医師が完全球形仮想現実環境において介入を経験し、計画し、実行し、ナビゲートすることを可能にするグラフィカルシミュレーション環境を提供する。
参照により本出願に組み込まれる、米国特許出願第８，３１１，７９１号に以前に記載された手術リハーサルおよび準備ツールは、静的ＣＴおよびＭＲＩ医用画像を、医師が医学的処置をリアルタイムでシミュレートするために使用することができる、あらかじめ構築されたＳＮＡＰモデルに基づいて、動的な対話型の多次元完全球形仮想現実、６自由度モデル（「ＭＤ６ＤＭ」）に変換するために開発された。ＭＤ６ＤＭは、医師が完全球形仮想現実環境において介入を経験し、計画し、実行し、ナビゲートすることを可能にするグラフィカルシミュレーション環境を提供する。特に、ＭＤ６ＤＭは、外科医に、従来の２次元患者医療スキャンから構築された一意の多次元モデルを使用してナビゲートする能力を与え、これは、体積球形仮想現実モデル全体において、６自由度（すなわち、線形、ｘ、ｙ、ｚ、および角度、ヨー、ピッチ、ロール）の球形仮想現実を与える。
ＭＤ６ＤＭは、ＣＴ、ＭＲＩ、ＤＴＩなどを含む医用画像の患者自身のデータセットから構築されたＳＮＡＰモデルを使用してリアルタイムでレンダリングされ、患者固有である。Ａｔｌａｓデータなどの代表的な脳モデルを統合して、外科医がそのように望む場合、部分的に患者固有のモデルを作成することができる。このモデルは、ＭＤ６ＤＭ上の任意の点から３６０°の球形ビューを与える。ＭＤ６ＤＭを使用して、視聴者は、解剖学的構造の実質的に内側に位置し、あたかも患者の体内に立っているかのように、解剖学的構造と病理学的構造の両方を見て観察することができる。視聴者は、上、下、肩越しなどを見ることができ、患者に見られるのとまったく同じように、互いに対して本来の構造を見ることになる。内部構造間の空間関係が維持され、ＭＤ６ＤＭを使用して認識することができる。
ＭＤ６ＤＭのアルゴリズムは、医用画像情報を取得し、それを球形モデルに構築し、これは、解剖学的構造内を「飛行」しながら任意の角度から見ることができる完全な連続的リアルタイムモデルである。具体的には、ＣＴ、ＭＲＩなどが実際の生体を撮影し、数千ポイントから構築される数百枚のスライスに分解した後、ＭＤ６ＤＭは、内側と外側の両方からこれらの各ポイントの３６０°ビューを表現することによって、それを３Ｄモデルに戻す。
本明細書に記載される光学追跡システムは、あらかじめ構築されたＭＤ６ＤＭモデルを活用し、患者の解剖学的構造とのモデルの整合を可能にし、外部追跡システムに依存することなく、患者に対する動きを追跡することによって、患者に対する動きに対応するモデル内の動きをシミュレートすることができる。特に、本明細書に記載される光学追跡システムは、モデルを患者に整合し、その後、患者のビデオフィードを連続的に分析することによって、患者に対する動きを追跡する。したがって、光学追跡システムは、外部追跡システムに依存する必要性を排除し、それによって、医師が、外部追跡システムが利用可能でない場合であっても、手術室内での実際の外科的処置中に使用するためにモデルを活用することを可能にする。
本明細書ではＭＤ６ＤＭモデルに対して特定の参照が行われ得るが、本明細書に記載される光学追跡システムは、患者の解剖学的構造の任意の適切な医用画像またはモデルと組み合わせて使用することができることを理解されたい。本明細書では、医師が例示的な光学追跡システムを使用することについて具体的に言及しているが、光学追跡システムは、外科的ナビゲーション整合および追跡のために任意の適切なユーザによって使用することができることをさらに理解されたい。さらに、本明細書では、特に患者の解剖学的構造の医用画像およびモデルについて言及しているが、本明細書に記載される光学追跡システムを使用して、任意の適切な画像または仮想モデルを物理的モデルまたは検体と整合し、画像または仮想モデルに対応する物理的モデルの動きを追跡することができる。
図１は、手術ナビゲーションの整合および追跡のための例示的な光学追跡システム１００を示す。光学追跡システム１００は、患者１０４の３Ｄモデルを、患者１０４の受信されたライブリアルタイムビデオフィード（または単一画像）に基づいて、患者１０４の身体的解剖学的構造に整合するための光学追跡コンピュータ１０２を含む。３Ｄモデルは、ＭＤ６ＤＭ、またはデータストア１０６から取り出された任意の適切な３Ｄモデルもしくは仮想モデルとすることができる。光学追跡コンピュータ１０２は、任意の適切なビデオソースから患者１０４のリアルタイムビデオフィードを受信することができる。例えば、外科的処置中に医師１１０によって使用される内視鏡１０８は、ライブビデオフィードを光学追跡コンピュータ１０２に提供し得る。別の例では、ライブビデオフィードは、ＶＲまたはＡＲヘッドマウントディスプレイなどのヘッドマウントデバイス１１２上に搭載されるか、またはヘッドマウントデバイス１１２内に統合されるカメラによって提供され得る。
光学追跡コンピュータ１０２はまた、患者１０４から受信されたライブリアルタイムビデオフィードに基づいて患者１０４に対する動きを追跡し、追跡された動きに基づいて３Ｄモデルを物理的解剖学的構造と連続的に同期させる。光学追跡コンピュータ１０２は、３Ｄモデルのオーバーレイと位置合わせされたライブリアルタイムビデオを含むビデオの出力をさらに生成する。光学追跡コンピュータ１０２は、医師１１０、または手術室もしくはディスプレイ１１４の近くにいる任意の他の適切なユーザが見るために、出力ビデオをディスプレイ１１４に通信することができる。一例では、出力ビデオは、将来の参照のためにデータストア１０６に保存され、記憶され得る。一例では、光学追跡コンピュータ１０２は、出力ビデオをリモートディスプレイ（図示せず）に通信することができる。
一例では、光学追跡コンピュータ１０２は、出力ビデオをヘッドマウントデバイス１１２に通信することができる。例えば、ヘッドマウントデバイス１１２は、拡張現実ヘッドマウントディスプレイと、ヘッドマウントデバイス１１２の視点から患者１０４のリアルタイムビデオフィードを提供するためのカメラとを含み得る。そのような例では、光学追跡コンピュータ１０２は、ライブビデオフィードに基づいてＡＲヘッドセット１１２を介して観察されているビューと同期したモデルの画像をヘッドマウントデバイス１１２に通信することができる。
図２は、例示的な光学追跡コンピュータ２００（すなわち、図１の光学追跡コンピュータ１０２）のブロック図を示す。光学追跡コンピュータ２００は、２つの異なるタイプのデータ入力を受信するためのデータ入力モジュール２０２を含む。第１に、データ入力モジュール２０２は、患者のライブビデオフィードを受信するように構成される。ライブビデオフィードは、適切なデータソースから有線または無線接続を介して受信され得る。例えば、データ入力モジュール２０２は、ライブビデオをキャプチャするためのカメラとともに構成された内視鏡または他の外科用器具からライブビデオフィードを受信するように構成され得る。データ入力モジュール２０２は、データストア２０８から患者の３Ｄモデルを受信するようにさらに構成される。一例では、光学追跡コンピュータ２００は、データストア２０８を含むが、別の例では、データストア２０８は、光学追跡コンピュータ２００から離れているか、または外部にある。一例では、データ入力モジュール２０２は、前に説明した手術リハーサルおよび準備ツールなど、３Ｄモデルを生成するように構成されたシステム（図示せず）から３Ｄモデルを直接受信するように構成される。
図３は、データ入力モジュール２０２によって受信され得る患者の解剖学的構造の例示的なライブビデオフィード３００を示す。図４は、データ入力モジュール２０２によって受信され得る患者の解剖学的構造の対応する３Ｄモデル４００を示す。例示的なライブビデオフィード３００および対応する３Ｄモデル４００は、患者の頭蓋骨の内側に向けられているが、患者の解剖学的構造の任意の適切な部分のライブビデオおよび３Ｄモデルを使用することができる。
再び図２を参照すると、光学追跡コンピュータ２００は、ライブビデオフィー（すなわち、図３のライブビデオフィード３００）と３Ｄモデル（すなわち、図４の３Ｄモデル４００）の初期位置合わせまたは整合を実行するための整合モジュール２０４をさらに含む。一例では、整合モジュール２０４は、手動位置合わせを可能にするように構成される。例えば、整合モジュール２０４は、ライブビデオの上に３Ｄモデルをオーバーレイし、ユーザがライブビデオフィード上の３Ｄモデルの位置合わせに満足するまで、医師などのユーザが３Ｄモデルを手動で操作することを可能にするユーザインターフェースを提供するように構成されてもよい。図５は、ライブビデオフィード５０４にオーバーレイする３Ｄモデル５０２を含む例示的な位置合わせされたビデオ５００を示す。
再び図２を参照すると、整合モジュール２０４は、整合または初期化プロセスを完了するために、ライブビデオフィードに対する３Ｄモデルの初期位置をロックインまたは記憶するように構成される。例えば、整合モジュール２０４は、初期位置合わせをデータストア２０８に記憶することができる。
光学追跡コンピュータ２００は、３Ｄモデルに対するライブビデオの動きを連続的に監視し、検出するための追跡モジュール２０６をさらに含む。例えば、患者の解剖学的構造に対するライブビデオストリームの視野が調整されるように、ライブビデオストリームのソースが異なる位置に移動される場合、追跡モジュール２０６は、位置のそのような変化を検出するように構成される。追跡モジュール２０６は、例えば、ライブビデオの現在の視野をライブビデオの以前の視野と比較し、機会が生じたかどうかを判定することによって、位置のそのような変化を検出するように構成され得る。追跡モジュール２０６は、例えば、毎秒など所定の時間間隔で、変化または動きをチェックするように構成されてもよい。別の例では、追跡モジュール２０６は、ライブビデオフィードの視野の任意の変化をリアルタイムで検出するように構成され得る。
ライブビデオフィード内の視野がシフトすると、ライブビデオフィードとオーバーレイされた３Ｄモデルは、その元の位置合わせまたは初期化からずれるようになる。したがって、追跡モジュール２０６は、ライブビデオフィードおよびオーバーレイされた３Ｄモデルが同期を維持し続けるように、ライブビデオフィードの視野のシフトに一致するようにオーバーレイされた３Ｄモデルを自動的にシフトすることによって、リアルタイムで、またはあらかじめ構成された時間間隔で、３Ｄモデルをライブビデオフィードと再度位置合わせするようにさらに構成される。追跡モジュール２０６は、短手および長手方向のシフト、ならびにベースドンの回転および深さの変化に基づいて、変化を追跡し、再度位置合わせするように構成される。
光学追跡コンピュータ２００は、ライブビデオフィードの現在のビューを３Ｄモデルの対応する部分とマッチングするように構成されたマッチングモジュール２１０を含み、それによって、追跡モジュール２０６に、適切な調整を行うためのデータ（すなわち、大きさおよび方向）を提供する。例えば、マッチングモジュール２１０は、ライブビデオフィードの態様に対応する３Ｄモデルの態様を識別するように構成される。識別に基づいて、マッチングモジュールは、さらに、対応する態様間のオフセットを決定することができる。追跡モジュール２０６は、３Ｄモデルをライブビデオフィードと再度位置合わせするために、必要に応じて３Ｄモデルをシフトするために、決定されたオフセットを使用するように構成される。
第１の例では、マッチングモジュール２１０は、図６に示すように、生物学的構造６０４上に物理的に配置されたマーカまたは基準６０２を識別することによって、ライブビデオフィードを３Ｄモデルとマッチングするように構成される。特に、基準６０２が解剖学的構造６０４上に物理的に配置されると、基準の表現は、３Ｄモデル内の正確な位置上に仮想的にコピーされる。一例では、ユーザは、基準６０２を３Ｄモデルに手動でコピーする。別の例では、整合モジュール２０４は、初期位置合わせ後に、ライブビデオフィードから３Ｄモデル上の対応する位置に基準６０２を自動的に仮想的にコピーする。したがって、マッチングモジュール２１０は、ライブビデオフィード内の基準６０２を３Ｄモデル上の基準とマッチングさせることによって、ライブビデオフィードを３Ｄモデルとマッチングさせることができる。
一例では、３Ｄモデル上の仮想基準は、視界から隠されてもよく、代わりに、マッチングモジュール２１０による解釈のためのデータマーカとしてのみ存在してもよい。一例では、ユーザに、３Ｄモデル上の基準を表示すべきか隠すべきかに関するオプションを与えてもよい。一例では、整合モジュール２０４は、ライブビデオから最初に仮想的にコピーされた後に、ユーザが３Ｄモデル上の基準の位置を手動で調整することを可能にし得る。一例では、３Ｄモデル上の仮想基準の位置は、データストア２０８に記憶されてもよい。
第２の例では、マッチングモジュール２１０は、図７に示すように、ライブビデオ内の解剖学的構造７０４上のランドマーク７０２を識別し、ランドマーク７０２を３Ｄモデル内の対応するランドマークと比較／マッチングすることによって、ライブビデオフィードを３Ｄモデルとマッチングするように構成される。ランドマーク７０２は、物理的基準の配置が必要でないように、識別可能な物理的に別個の性質または特性を含む。ランドマーク７０２は、例えば、顕著な鋭いエッジまたは明確な丸いコーナーであってもよい。
一例では、ランドマーク７０２は、ライブビデオ上と３Ｄモデル上の両方で、ユーザによって手動で選択されるか、または識別され得る。例えば、ユーザは、まず、ライブビデオ上でランドマーク７０２を識別し、次いで、３Ｄモデル内の対応するランドマークを識別することができる。マッチングまたは関連付けは、データストア２０８に保存されてもよい。別の例では、マッチングモジュール２１０は、ライブビデオフィードベースでランドマーク７０２を自動的に識別するように構成され得る。例えば、マッチングモジュール２１０は、例えば、別個の幾何学的形状および色を有する領域など、識別可能に別個の特徴または特性を有するライブビデオフィードのセクションを探すように構成されてもよい。そのような領域を識別すると、次いで、マッチングモジュール２１０は、３Ｄモデル内の対応する領域を識別するように構成され得る。
第３の例では、マッチングモジュール２１０は、人工知能を使用することによってライブビデオフィードを３Ｄモデルとマッチングさせて、図８に示すように、ライブビデオ内の例えば脳または心臓（または解剖学的３Ｄ構造８０４の識別可能な部分）などの解剖学的３Ｄ構造８０２を識別し、３Ｄモデル内の対応する構造を識別するように構成される。マッチングモジュール２１０は、解剖学的３Ｄ構造を識別する方法を学習するために、解剖学的構造の画像化および３Ｄモデルなどの様々なデータ入力を使用してトレーニングされるように構成され得る。トレーニングされると、マッチングモジュール２１０は、ライブビデオフィード内のそのような解剖学的３Ｄ構造を自動的に識別するように構成されてもよく、同様に３Ｄモデル内にある。
マッチングモジュール２１０は、ライブビデオフィードを３Ｄモデルとマッチングさせるために、任意の適切な機械学習アルゴリズムを使用してもよい。例えば、マッチングモジュール２１０は、決定木アルゴリズム、ニューラルネットワーク、最近傍アルゴリズム、およびベイジアンネットワークを使用することができる。一例では、トレーニングデータは、マッチングプロセス中の追加の参照のためにデータストア２０８に記憶されてもよい。例えば、マッチングモジュール２１０は、マッチングプロセス中にデータストア２０８にアクセスして、基準解剖学的３Ｄ構造データをライブビデオフィード内で識別された解剖学的３Ｄ構造と比較するように構成されてもよい。
一例では、整合モジュール２０４は、３Ｄモデルの初期位置合わせまたは整合を実行するために、マッチングモジュール２１０と協働するように構成される。特に、ユーザがライブビデオフィードの３Ｄモデルとの初期位置合わせを手動で実行することを可能にする代わりに、整合モジュールは、論じられたマッチングのための第２の（すなわち、ランドマーク）技法または第３の（すなわち、人工知能）技法のいずれかを使用して、いかなる手動のユーザ支援もなしに、３Ｄモデルをライブビデオフィードと自動的に位置合わせし、整合するために、マッチングモジュールの機能を活用し得る。
一例では、マッチングモジュール２１０は、ライブビデオフィードとの３Ｄモデルの合成されたオーバーレイで見るには望ましくない可能性があるか、またはマッチングプロセスに関して気を散らすか、または「ノイズが多い」可能性があるライブビデオフィードアイテム、形状、特徴などからフィルタリングするように構成され得る。例えば、マッチングモジュール２１０は、ライブビデオフィードに現れ得る外科的処置中に使用されるツールまたは他のデバイスをフィルタリングし得る。
光学追跡コンピュータ２００は、ライブビデオフィードおよびオーバーレイされた３Ｄモデルを含む合成されたビデオを生成し、合成されたビデフィーを、図１のディスプレイ１１４または図１のヘッドマウントディスプレイ１１２などの適切なディスプレイデバイスに通信するための出力モジュール２１２をさらに含む。一例では、出力モジュール２１２は、ユーザが合成された出力ビデオをカスタマイズすることを可能にするために、特定の機能またはオプションを備えるユーザインターフェースを提供することができる。例えば、出力モジュール２１２は、ユーザが、不透明度を調整すること、または組織および骨など、ビューから特定の層を完全に除去することを可能にし得る。
光学追跡コンピュータ２００は、他のナビゲーションおよび追跡システムの代わりに使用されるものとして本明細書に記載されているが、光学追跡コンピュータ２００は、光学追跡コンピュータ２００によって提供されるのと同じ追跡能力を提供しない可能性がある他のナビゲーションおよび追跡システムを補完するために使用することもできることを理解されたい。例えば、別のナビゲーションおよび追跡システムは、奥行きおよび回転運動を検出することができない場合がある。したがって、光学追跡コンピュータ２００は、深さおよび回転に関する追跡を提供するために使用されてもよく、別のナビゲーションおよび追跡システム（図示せず）は、短手および長手方向の動きに関する追跡を提供するために使用されてもよい。
本明細書に記載されるシステムは、図９に示す光学追跡９００のための方法を参照してさらに理解されるであろう。説明を簡単にするために、この方法は、連続的に実行されるものとして示され、説明されるが、この方法の一部は、本明細書に示され、記載されるものとは異なる順序で、および／または同時に起こり得るので、この方法は、図示される順序によって限定されないことを理解および認識されたい。
９０２において、図２の光学コンピュータ２００などの光学コンピュータは、患者の解剖学的構造のライブビデオストリームを入力として受信する。９０４において、光学コンピュータはまた、解剖学的構造の３Ｄモデルを入力として受信する。９０６において、光学コンピュータは、ライブビデオストリームとの３Ｄモデルの初期整合または位置合わせを実行する。９０８において、光学コンピュータは、ライブビデオストリームに対する動きを追跡し、それに応じて３Ｄモデルの位置合わせを連続的に更新する。９１０において、光学コンピュータは、ライブビデオストリームと、ライブビデオストリームと同期した３Ｄモデルのオーバーレイとを含む合成されたビデオを出力する。
図１０は、図１の例示的な光学追跡コンピュータ１０２および図２の例示的な光学追跡コンピュータ２００を実装するための例示的なコンピュータの概略図である。例示的なコンピュータ１０００は、ラップトップ、デスクトップ、ハンドヘルドコンピュータ、タブレットコンピュータ、スマートフォン、サーバ、および他の同様のタイプのコンピューティングデバイスを含む、様々な形態のデジタルコンピュータを表すことを意図している。コンピュータ１０００は、プロセッサ１００２と、メモリ１００４と、記憶デバイス１００６と、通信ポート１００８とを含み、これらは、バス１０１２を介してインターフェース１０１０によって動作可能に接続されている。
プロセッサ１００２は、コンピュータ１０００内で実行するために、メモリ１００４を介して命令を処理する。例示的な実施形態では、複数のメモリとともに複数のプロセッサが使用され得る。
メモリ１００４は、揮発性メモリまたは不揮発性メモリとすることができる。メモリ１００４は、磁気ディスクまたは光ディスクなどのコンピュータ可読媒体とすることができる。記憶デバイス１００６は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、テープデバイス、フラッシュメモリ、相変化メモリ、または他の類似のソリッドステートメモリデバイスなどのコンピュータ可読媒体、または他の構成の記憶エリアネットワーク内のデバイスを含むデバイスのアレイとすることができる。コンピュータプログラム製品は、メモリ８０４または記憶デバイス１００６などのコンピュータ可読媒体で有形に実施することができる。
コンピュータ１０００は、ディスプレイ１０１４、プリンタ１０１６、スキャナ１０１８、マウス１０２０、およびヘッドマウントディスプレイ１０２２などの１つ以上の入出力デバイスに結合することができる。
当業者によって理解されるように、例示的な実施形態は、方法、システム、コンピュータプログラム製品、または上記の組み合わせとして実現されてもよく、または一般にそれらを利用し得る。したがって、実施形態のいずれも、コンピュータハードウェア上で実行するために記憶デバイスに記憶された実行可能命令を含む専用ソフトウェアの形態をとることができ、ソフトウェアは、媒体内に具現化されたコンピュータ使用可能プログラムコードを有するコンピュータ使用可能記憶媒体上に記憶することができる。
データベースは、ＭｙＳＱＬなどのオープンソースソリューション、または開示されたサーバ上もしくは追加のコンピュータサーバ上で動作することができるＭｉｃｒｏｓｏｆｔ ＳＱＬなどのクローズドソリューションなど、市販のコンピュータアプリケーションを使用して実装され得る。データベースは、上記で開示された例示的な実施形態のために使用されるデータ、モデル、およびモデルパラメータを記憶するために、リレーショナルまたはオブジェクト指向パラダイムを利用することができる。そのようなデータベースは、本明細書に開示されるような特殊化された適用可能性のために、既知のデータベースプログラミング技術を使用してカスタマイズされてもよい。
実行可能命令を含むソフトウェアを記憶するために、任意の適切なコンピュータ使用可能（コンピュータ可読）媒体を利用することができる。コンピュータ使用可能媒体またはコンピュータ可読媒体は、限定はしないが、例えば、電子、磁気、光学、電磁気、赤外線、または半導体システム、装置、デバイス、または伝播媒体であってもよい。コンピュータ可読媒体のより具体的な例（非網羅的なリスト）には、１つ以上のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、コンパクトディスク読取り専用メモリ（ＣＤＲＯＭ）、または他の有形の光学または磁気記憶デバイスなどの有形の媒体、あるいはインターネットまたはイントラネットをサポートするものなどの伝送媒体がある。
本明細書の文脈では、コンピュータ使用可能媒体またはコンピュータ可読媒体は、１つ以上のプログラマブルまたは専用プロセッサ／コントローラを含む任意の適切なコンピュータ（またはコンピュータシステム）を含むことができる、命令実行システム、プラットフォーム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラム命令を含み、記憶し、通信し、伝播し、または移送することができる任意の媒体とすることができる。コンピュータ使用可能媒体は、ベースバンドで、または搬送波の一部として、コンピュータ使用可能プログラムコードを具現化した伝搬データ信号を含み得る。コンピュータ使用可能プログラムコードは、限定はしないが、インターネット、有線、光ファイバケーブル、ローカル通信バス、無線周波数（ＲＦ）、または他の手段を含む、任意の適切な媒体を使用して送信され得る。
例示的な実施形態の動作を実行するための実行可能命令を有するコンピュータプログラムコードは、限定しないが、ＢＡＳＩＣ、Ｌｉｓｐ、ＶＢＡ、またはＶＢＳｃｒｉｐｔなどのインタプリタまたはイベント駆動型言語、またはビジュアルベーシックなどのＧＵＩ実施形態、ＦＯＲＴＲＡＮ、ＣＯＢＯＬ、またはＰａｓｃａｌなどのコンパイル済みプログラミング言語、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ、Ｐｅｒｌ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、Ｏｂｊｅｃｔ Ｐａｓｃａｌなどのオブジェクト指向、スクリプト型、非スクリプト型のプログラミング言語、Ｐｒｏｌｏｇなどの人工知能言語、Ａｄａなどのリアルタイム組み込み言語、またはラダーロジックを使用するさらにより直接的または簡略化されたプログラミング、アセンブラ言語、または適切な機械言語を使用する直接プログラミングを含む、任意のコンピュータ言語を使用する従来の手段によって書かれ得る。
「含む（ｉｎｃｌｕｄｅｓ）」または「含む（ｉｎｃｌｕｄｉｎｇ）」という用語が明細書または特許請求の範囲で使用される限り、その用語が特許請求の範囲の遷移語として使用されるときに解釈されるように、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語と同様に包括的であることが意図される。さらに、「または」という用語（例えば、ＡまたはＢ）が使用される限り、それは「ＡまたはＢまたはその両方」を意味することが意図される。出願人が「ＡまたはＢのみであって、両方ではない」を示すことを意図する場合、「ＡまたはＢのみであって、両方ではない」という用語が使用される。したがって、本明細書における用語「または」の使用は、包括的であり、排他的使用ではない。Ｂｒｙａｎ Ａ． Ｇａｒｎｅｒ， Ａ Ｄｉｃｔｉｏｎａｒｙ ｏｆ Ｍｏｄｅｒｎ Ｌｅｇａｌ Ｕｓａｇｅ ６２４（２ｄ．Ｅｄ．１９９５）を参照されたい。また、用語「ｉｎ」または「ｉｎｔｏ」が明細書または特許請求の範囲で使用される限り、それはさらに「ｏｎ」または「ｏｎｔｏ」を意味することが意図される。さらに、「接続する」という用語が明細書または特許請求の範囲で使用される限り、それは、「直接接続される」だけでなく、別の構成要素を介して接続されるような「間接的に接続される」ことも意味することが意図される。
本出願は、その実施形態の説明によって示されており、実施形態は、かなり詳細に説明されているが、添付の特許請求の範囲をそのような詳細に限定したり、いかなる方法でも制限したりすることは、出願人の意図ではない。追加の利点および修正は、当業者には容易に明らかになるであろう。したがって、本出願は、そのより広い態様では、特定の詳細、代表的な装置および方法、ならびに示され、説明された例示的な例に限定されない。したがって、出願人の一般的な発明概念の趣旨または範囲から逸脱することなく、そのような詳細から逸脱することができる。

Claims (20)

  1. 特定の患者の生体組織の画像を追跡するための方法であって、
    前記特定の患者の前記生体組織の１つ以上の３Ｄ医用画像を生成するステップと、
    前記特定の患者の前記生体組織の前記３Ｄ医用画像をコンピュータシステムに記憶するステップと、
    前記特定の患者の前記生体組織のライブ画像を撮るステップと、
    （１）前記特定の患者の前記生体組織の前記記憶された医用画像、または（２）前記特定の患者の前記生体組織の前記ライブ画像における少なくとも１つの生物学的構造を識別するステップと、
    前記識別された少なくとも１つの生物学的構造を、（１）前記特定の患者の前記生体組織の前記ライブ画像の対応する構造、または（２）前記特定の患者の前記生体組織の前記記憶された医用画像の対応する構造とそれぞれマッチングさせるステップと、
    前記マッチングに応答して、前記コンピュータシステムが、前記記憶された医用画像のうちの１つ以上を、前記特定の患者の同じ生体組織を表すものとして前記ライブビデオ画像に整合および／または位置合わせするステップと
    を含む方法。
  2. 各生物学的構造は、前記生体組織において異なる識別可能なランドマークである、請求項１に記載の方法。
  3. 各生物学的構造は、前記コンピュータシステムによって自動的に識別される器官または他の組織である、請求項１に記載の方法。
  4. 前記マッチングに応答して、前記記憶された医用画像のうちの前記１つ以上が、前記ライブビデオ画像と位置合わせされて、前記特定の患者の前記生体組織の合成された画像を生成する、請求項１に記載の方法。
  5. 前記生物学的構造が、前記特定の患者の前記生体組織の前記記憶された医用画像と、前記特定の患者の前記生体組織の前記ライブ画像の両方において識別され、前記識別された少なくとも１つの生物学的構造をマッチングさせる前記ステップが、前記記憶された医用画像において識別された前記生物学的構造を、前記生体組織の前記ライブ画像において識別された前記生物学的構造とマッチングさせることによって実行される、請求項１に記載の方法。
  6. 少なくとも１つの生物学的構造を識別する前記ステップが、前記コンピュータシステムによって自動的に実行される、請求項１に記載の方法。
  7. 前記識別された少なくとも１つの生物学的構造をマッチングさせる前記ステップが、前記コンピュータシステムによって自動的に実行される、請求項１に記載の方法。
  8. 少なくとも１つの生物学的構造を識別する前記ステップが、前記コンピュータシステムによって自動的に実行され、さらに、前記識別された少なくとも１つの生物学的構造をマッチングさせる前記ステップが、前記コンピュータシステムによって自動的に実行される、請求項１に記載の方法。
  9. 少なくとも１つの生物学的構造を識別する前記ステップ、および前記識別された少なくとも１つの生物学的構造をマッチングさせる前記ステップが、人工知能を使用して前記コンピュータシステムによって自動的に実行される、請求項８に記載の方法。
  10. 整合および／または位置合わせされた前記記憶された画像と前記ライブ画像とを含む、表示のための合成されたビデオフィードを生成する前記ステップをさらに含む、請求項１に記載の方法。
  11. 特定の患者の生体組織の画像を追跡するための方法であって、
    前記特定の患者の前記生体組織の１つ以上の３Ｄ医用画像を生成するステップと、
    前記特定の患者の前記生体組織の前記３Ｄ医用画像をコンピュータシステムに記憶するステップと、
    前記コンピュータシステムが、前記特定の患者の前記生体組織の前記記憶された医用画像内の複数の第１の生物学的構造を識別するステップと、
    前記特定の患者の前記生体組織のライブ画像を撮るステップと、
    前記コンピュータシステムが、前記特定の患者の前記生体組織の前記ライブ画像内の複数の第２の生物学的構造を識別するステップと、
    前記コンピュータシステムが、前記識別された第１の生物学的構造のうちの１つ以上を、前記第２の生物学的構造のうちの１つ以上と自動的にマッチングさせるステップと、
    前記マッチングに応答して、前記コンピュータシステムが、前記記憶された医用画像のうちの１つ以上を、前記特定の患者の同じ生体組織を表すものとして前記ライブビデオ画像に整合および／または位置合わせするステップと
    を含む方法。
  12. 各生物学的構造は、前記生体組織において異なる識別可能なランドマークである、請求項１１に記載の方法。
  13. 各生物学的構造は、前記コンピュータシステムによって自動的に識別される器官または他の組織である、請求項１１に記載の方法。
  14. 前記マッチングに応答して、前記記憶された医用画像のうちの前記１つ以上が、前記ライブビデオ画像と位置合わせされて、前記特定の患者の前記生体組織の合成された画像を生成する、請求項１１に記載の方法。
  15. 少なくとも１つの生物学的構造を識別する前記ステップ、および前記識別された少なくとも１つの生物学的構造をマッチングさせる前記ステップが、人工知能を使用して前記コンピュータシステムによって自動的に実行される、請求項１１に記載の方法。
  16. 整合および／または位置合わせされた前記記憶された画像と前記ライブ画像とを含む、表示のための合成されたビデオフィードを生成する前記ステップをさらに含む、請求項１１に記載の方法。
  17. 特定の患者の生体組織の画像を追跡するための方法であって、
    １つ以上の撮像デバイスを使用して前記特定の患者の前記生体組織の組織画像を生成するステップと、
    前記コンピュータシステムが、前記特定の患者の前記生体組織の前記組織画像から１つ以上の３Ｄ医用画像を生成するステップと、
    前記特定の患者の前記生体組織の前記３Ｄ医用画像をコンピュータシステムに記憶するステップと、
    前記コンピュータシステムが、前記特定の患者の前記生体組織の前記記憶された医用画像内の複数の第１の生物学的構造を識別するステップと、
    前記特定の患者の前記生体組織のライブ画像を撮るステップと、
    前記コンピュータシステムが、前記特定の患者の前記生体組織の前記ライブ画像内の複数の第２の生物学的構造を識別するステップと、
    前記コンピュータシステムが、前記識別された第１の生物学的構造のうちの１つ以上を、前記第２の生物学的構造のうちの１つ以上と自動的にマッチングさせるステップと、
    前記マッチングに応答して、前記コンピュータシステムが、前記記憶された医用画像のうちの１つ以上を、前記特定の患者の同じ生体組織を表すものとして前記ライブビデオ画像に整合および／または位置合わせするステップと、
    整合および／または位置合わせされた前記記憶された画像と前記ライブ画像とを含む、表示のための合成されたビデオフィードを生成するステップと
    を含む方法。
  18. 各生物学的構造は、前記生体組織において異なる識別可能なランドマークである、請求項１７に記載の方法。
  19. 各生物学的構造は、前記コンピュータシステムによって自動的に識別される器官または他の組織である、請求項１７に記載の方法。
  20. 少なくとも１つの生物学的構造を識別する前記ステップ、および前記識別された少なくとも１つの生物学的構造をマッチングさせる前記ステップが、人工知能を使用して前記コンピュータシステムによって自動的に実行される、請求項１７に記載の方法。
JP2021524264A 2018-11-08 2019-11-08 光学追跡のためのシステムおよび方法 Pending JP2022506708A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862757339P 2018-11-08 2018-11-08
US62/757,339 2018-11-08
PCT/US2019/060545 WO2020097510A1 (en) 2018-11-08 2019-11-08 System and method for optical tracking

Publications (1)

Publication Number Publication Date
JP2022506708A true JP2022506708A (ja) 2022-01-17

Family

ID=70612257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021524264A Pending JP2022506708A (ja) 2018-11-08 2019-11-08 光学追跡のためのシステムおよび方法

Country Status (7)

Country Link
US (1) US11393111B2 (ja)
EP (1) EP3877988A4 (ja)
JP (1) JP2022506708A (ja)
CN (1) CN113544792A (ja)
IL (1) IL282991A (ja)
TW (1) TW202023489A (ja)
WO (1) WO2020097510A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1741469A1 (en) * 2005-07-08 2007-01-10 Engineers & Doctors Wallstén Medical A/S Method of guiding an irradiation equipment
CA2727585C (en) * 2008-03-21 2018-09-25 Atsushi Takahashi Three-dimensional digital magnifier operation supporting system
KR102028780B1 (ko) * 2012-02-23 2019-10-04 스미스 앤드 네퓨, 인크. 영상 내시경 시스템
BR112014029792A2 (pt) * 2012-06-01 2017-06-27 Koninklijke Philips Nv método, sistema, e meio de armazenamento não transitório legível por computador
US10426345B2 (en) * 2013-04-04 2019-10-01 Children's National Medical Center System for generating composite images for endoscopic surgery of moving and deformable anatomy
DE102015211714B4 (de) * 2015-06-24 2020-10-22 Siemens Healthcare Gmbh Medizinisches Bildverarbeitungsverfahren und Bildverarbeitungssystem
EP3509696A1 (en) * 2016-09-06 2019-07-17 Elekta, Inc. Neural network for generating synthetic medical images
US10314658B2 (en) * 2017-04-21 2019-06-11 Biosense Webster (Israel) Ltd. Registration of an anatomical image with a position-tracking coordinate system based on visual proximity to bone tissue

Also Published As

Publication number Publication date
CN113544792A (zh) 2021-10-22
TW202023489A (zh) 2020-07-01
US20210358143A1 (en) 2021-11-18
IL282991A (en) 2021-06-30
EP3877988A1 (en) 2021-09-15
US11393111B2 (en) 2022-07-19
WO2020097510A1 (en) 2020-05-14
EP3877988A4 (en) 2022-08-17

Similar Documents

Publication Publication Date Title
US11532135B2 (en) Dual mode augmented reality surgical system and method
US20210022812A1 (en) Surgical Navigation Inside A Body
US20210015583A1 (en) Augmented reality system and method for tele-proctoring a surgical procedure
Gsaxner et al. The HoloLens in medicine: A systematic review and taxonomy
TW201835878A (zh) 用於在虛擬環境中進行訓練和協作的系統和方法
US20210401501A1 (en) System and method for recommending parameters for a surgical procedure
US11983824B2 (en) System and method for augmenting and synchronizing a virtual model with a physical model
KR20200056855A (ko) 기복모델 생성방법, 장치 및 프로그램
TW202207242A (zh) 用於增強現實脊柱手術之系統及方法
JP2022506708A (ja) 光学追跡のためのシステムおよび方法
US20220249170A1 (en) System and method for processing black bone mri data
TW202228598A (zh) 用於腫瘤追踪之系統及方法
TW202131875A (zh) 用於擴增實體模型及使虛擬模型與實體模型同步之系統及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221108