JP2021171657A - 手術中の支援されたナビゲーションのための拡張現実ヘッドセットのカメラによって追跡された参照アレイを備えた手術器具の位置合わせ - Google Patents
手術中の支援されたナビゲーションのための拡張現実ヘッドセットのカメラによって追跡された参照アレイを備えた手術器具の位置合わせ Download PDFInfo
- Publication number
- JP2021171657A JP2021171657A JP2021074796A JP2021074796A JP2021171657A JP 2021171657 A JP2021171657 A JP 2021171657A JP 2021074796 A JP2021074796 A JP 2021074796A JP 2021074796 A JP2021074796 A JP 2021074796A JP 2021171657 A JP2021171657 A JP 2021171657A
- Authority
- JP
- Japan
- Prior art keywords
- reference array
- headset
- tracking
- camera
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
- A61B2034/2057—Details of tracking cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2059—Mechanical position encoders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2072—Reference field transducer attached to an instrument or patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/08—Accessories or related features not otherwise provided for
- A61B2090/0807—Indication means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/363—Use of fiducial points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/372—Details of monitor hardware
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
- A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
- A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
- A61B2090/3764—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT] with a rotating C-arm having a cone beam emitting source
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3983—Reference marker arrangements for use with image guided surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Robotics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
Abstract
Description
図13は、本開示のいくつかの実施形態にしたがって構成されたXRヘッドセット920を示している。XRヘッドセットは、XRヘッドセットを着用者の頭に固定するように構成されたヘッドバンド1306、ヘッドバンド1306によって支持される電子的コンポーネントエンクロージャ1304、および電子的コンポーネントエンクロージャ1304を横切って下向きに延びる表示画面1302を含む。表示画面1302は、シースルーLCDディスプレイデバイス、またはディスプレイデバイスによって着用者の眼に向けて投影された画像を反射する半反射レンズとすることができる。ヘッドセットの片側または両側に配置された既知の間隔を空けて、例えばドットなどのDRA基準1310のセットがペイントされるかまたは取り付けられる。ヘッドセットのDRAは、補助追跡バー上の追跡カメラがヘッドセット920の姿勢を追跡することを可能にし、および/または別のXRヘッドセットがヘッドセット920の姿勢を追跡することを可能にする。
図15は、本開示のいくつかの実施形態にかかる、XRヘッドセット920の光学コンポーネントの配置を示すブロック図を示している。図15を参照すると、ディスプレイデバイス1450は、そこからの光がXR画像1500として表示画面1302に向けて投影されるXRヘッドセットコントローラ1430によって生成されたXR画像を表示するように構成されている。表示画面1302は、XR画像1500の光と実世界シーン1502からの光とを組み合わせて、ユーザの眼1510に向けられる合成拡張ビュー1504となるように構成されている。このように構成された表示画面1302は、シースルー表示画面として動作する。XRヘッドセット920は、任意の複数の追跡カメラ1440を含むことができる。カメラ1440は、可視光キャプチャカメラ、近赤外線キャプチャカメラ、または双方の組み合わせとすることができる。
XRヘッドセットの動作は、2D画像および3Dモデルの双方を表示画面1302に表示することができる。2D画像は、好ましくは、表示画面1302のより不透明なバンド(上側バンド)に表示されることができ、3Dモデルは、より好ましくは、環境領域として別途知られる、表示画面1302のより透明なバンド(下側バンド)に表示されることができる。表示画面1302が終了する下側バンドの下方において、着用者は、手術室の遮るもののないビューを有する。XRコンテンツが表示画面1302に表示されている場合、流動的であり得ることに留意されたい。3Dコンテンツが表示されている場合、コンテンツに対するヘッドセットの位置に応じて、不透明なバンドに移動することができ、2Dコンテンツが表示されている場合、透明なバンドに配置されて実世界に安定することができる。これに加えて、表示画面1302の全体は、ヘッドセットを外科手術計画のための仮想現実に変換するために電子制御下で暗くされることができるか、または医療処置中に完全に透明にされることができる。上記で説明したように、XRヘッドセット920および関連付けられた動作は、ナビゲートされる処置をサポートするだけでなく、ロボットにより支援される処置と組み合わせて実行されることができる。
1)患者の生体構造の2Dの体軸ビュー、矢状ビュー、および/または冠状ビュー、
2)計画された器具と現在追跡されている器具との対比と、外科手術インプラント場所と、のオーバーレイ、
3)術前画像のギャラリー、
4)顕微鏡および他の同様のシステム、またはリモートビデオ会議からのビデオフィード、
5)オプションならびに構成の設定およびボタン、
6)外科手術計画情報を有する患者の生体構造の浮遊3Dモデル、
7)浮遊する患者の生体構造に関連する外科手術器具のリアルタイム追跡、
8)指示およびガイダンスを有する患者の生体構造の拡張オーバーレイ、および
9)外科手術機器の拡張オーバーレイ。
図17は、本開示のいくつかの実施形態にしたがって構成された2対のステレオ追跡カメラを有する補助追跡バー46の例示的な構成を示している。補助追跡バー46は、図3A、図3B、および図3Cのカメラ追跡システムコンポーネントの一部である。一実施形態にかかる、ステレオ追跡カメラは、間隔を置いて配置された可視光キャプチャカメラのステレオ対と、間隔を空けて配置された近赤外線キャプチャカメラの別のステレオ対とを含む。あるいは、可視光キャプチャカメラの1つのステレオ対のみ、または近赤外線キャプチャカメラの1つのステレオ対のみが補助追跡バー46において使用されることができる。任意の複数の近赤外線および/または可視光カメラを使用することができる。
上で説明したように、ナビゲートされた外科手術は、例えば、カメラ追跡システムにとって既知の方法で配置されたディスクまたは球などの間隔を空けた基準を含む取り付けられたDRAの姿勢を判定することなどによる、外科手術器具のコンピュータビジョン追跡および姿勢(例えば、6自由度座標系における位置および向き)の判定を含むことができる。コンピュータビジョンは、近赤外線および/または可視光をキャプチャするように構成された、間隔を空けて配置された追跡カメラ、例えばステレオカメラを使用する。このシナリオでは、(1)精度、(2)堅牢性、および(3)外科手術中のユーザの人間工学という最適化をめぐって共同で競合する3つのパラメータがある。
A=第2のヘッドセットHMD2 920の可視光座標系、
N3=第2のヘッドセットHMD2 920の近赤外線(NIR)座標系、
S=主ヘッドセットHMD1 920の可視光座標系、
N2=主ヘッドセットHMD1 920のNIR座標系、
N=補助ナビゲーションバー46のNIR座標系、
V=補助ナビゲーションバー46の可視光座標系、
R=患者参照基準アレイ602のNIR座標系、
T=追跡された器具604のNIR座標系、
E=ロボットアーム20上の追跡されたロボットエンドエフェクタのNIR座標系、および
W=安定した重力ベクトルを有する慣性的にナビゲートされる世界座標系。
ここで、「T」という用語は、示された2つの座標系間の6自由度(6DOF)の均一変換として定義される。したがって、例えば、用語
は、主ヘッドセットHMD1 920の可視光座標系と主ヘッドセットHMD1 920のNIR座標系との間の6DOFの均一変換である。
この姿勢連鎖の鍵となるのは、各連鎖の最後にあるフレーム間の関係が推測されることである(下方に丸で囲まれて移動される)。連鎖は、任意の長さとすることができ、複数のステレオカメラシステム(例えば、N、N2、N3)を有することによって有効にされる。
を判定することができる。カメラ追跡システムは、第1のオブジェクト(例えば、R)の姿勢を示す第2の追跡カメラ(例えば、N2)からの第1のオブジェクト追跡情報に基づいて、第1のオブジェクト(例えば、R)座標系と、第2の追跡カメラ(例えば、N2)座標系との間の第2の姿勢変換
を判定することができる。カメラ追跡システムは、第2のオブジェクト(例えば、E)の姿勢を示す第2の追跡カメラ(例えば、N2)からの第2のオブジェクト追跡情報に基づいて、第2のオブジェクト(例えば、E)座標系と、第2の追跡カメラ(例えば、N2)座標系との間の第3の姿勢変換
を判定することができる。カメラ追跡システムは、第1、第2、および第3の姿勢変換の組み合わせに基づいて、第2のオブジェクト(例えば、E)座標系と、第1の追跡カメラ(例えば、N3)座標系との間の第4の姿勢変換
を判定することができる。
を判定するようにさらに構成される。
を判定するようにさらに構成されることができる。
外科手術中、カメラ追跡システムは、追跡カメラのセットの視野内で保持または支持されている手術器具の姿勢を同時に追跡することができ、例えば、再びピックアップされた後など、手術器具がその視野の外側から内側へ移動したときに手術器具の追跡を再開することができる。多くの手術器具は、適切に追跡するためにソフトウェア構成を必要とする。カメラ追跡システムは、手術器具に取り付けられた、または手術器具上に取り付けられた参照アレイの姿勢を追跡することから、どの追跡された参照アレイにどの手術器具の特性が位置合わせされているかをカメラ追跡システムに通知する必要がある。それにより、ナビゲーションコントローラ828(図14)は、手術器具の特定の特性の知識を用いて動作することができる。例えば、識別された参照アレイから手術器具の先端までの距離の手術器具の特性の位置合わせは、ナビゲーションコントローラ828が、外科手術中に外科医の器具先端部の動きをナビゲートすることを可能にする。同様に、識別された参照アレイに対する手術器具の曲率の方向の位置合わせは、ナビゲーションコントローラ828が、XRヘッドセット920を通して手術器具の正確なグラフィカル表現を表示し、外科手術中に追跡された解剖学的構造に対して正確に提示されることを可能にする。
本発明の概念の様々な実施形態の上記の説明において、本明細書において使用される用語は、特定の実施形態を説明することのみを目的とし、本発明の概念を限定することを意図しないことを理解されたい。別様に定義されない限り、本明細書において使用される全ての用語(技術用語および科学用語を含む)は、本発明の概念が属する技術の当業者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書に定義されるような用語は、本明細書および関連する技術分野の文脈におけるそれらの意味に矛盾しない意味を有するものとして解釈されるべきであり、本明細書で明確にそのように定義された理想化された、または過度に形式的な意味では解釈されないことがさらに理解されよう。
Claims (20)
- 手術中のコンピュータ支援ナビゲーション用のカメラ追跡システムであって、前記カメラ追跡システムが、
エクステンデッドリアリティ(XR)ヘッドセットに接続された一連の追跡カメラによって追跡される参照アレイを識別し、
前記参照アレイが、手術器具データベースで定義された複数の手術器具のうちの1つの特性と対になって位置合わせされているかどうかを判定し、
位置合わせされていないと判定されてユーザ入力を受信する前記参照アレイに基づいて、前記ユーザ入力に基づいて選択された前記複数の手術器具のうちの1つの特性と対になって前記参照アレイを位置合わせし、
前記ユーザに表示するために、前記XRヘッドセットのディスプレイデバイスに前記特性の表現を提供する、ように構成されている、カメラ追跡システム。 - さらに、
位置合わせされていないと判定された前記参照アレイに基づいて、前記ユーザが前記参照アレイと対になって位置合わせされる前記手術器具の前記1つを選択するために、前記手術器具データベースに定義された前記複数の手術器具の少なくともいくつかのリストを前記ディスプレイデバイスに提供するように構成されている、請求項1に記載のカメラ追跡システム。 - さらに、
前記表示されたリストに対するXR空間での前記ユーザの手の姿勢を示す前記追跡カメラのセットからの追跡情報に基づいて、前記参照アレイと対になって位置合わせされる前記手術器具のうちの前記1つの前記表示されたリストからの前記ユーザの選択を判定するように構成されている、請求項2に記載のカメラ追跡システム。 - さらに、
前記XRヘッドセットに対する前記参照アレイの姿勢を示す前記追跡カメラのセットからの追跡情報を受信し、
前記追跡情報に基づいて、前記参照アレイに対して前記特性の前記表現が表示される姿勢を判定し、
前記XRヘッドセットを制御して、前記参照アレイに対して前記判定された姿勢で前記特性の前記表現を表示する、ように構成されている、請求項1に記載のカメラ追跡システム。 - さらに、
前記追跡カメラのセットが現在前記参照アレイの姿勢を追跡している精度を特徴付ける追跡精度情報を取得し、
前記ユーザに表示するために、前記XRヘッドセットの前記ディスプレイデバイスに前記追跡精度情報の表示を提供する、ように構成されている、請求項1に記載のカメラ追跡システム。 - さらに、
少なくとも2次元で前記複数の手術器具のうちの前記1つのグラフィカル表現を取得し、
前記XRヘッドセットに対する前記参照アレイの姿勢を示す前記追跡カメラのセットから追跡情報を受信し、
前記追跡情報に基づいて前記グラフィカル表現の姿勢を判定し、
前記判定された姿勢で表示するために、前記XRヘッドセットの前記ディスプレイデバイスに前記特性の前記表現として前記グラフィカル表現を提供する、ように構成されている、請求項1に記載のカメラ追跡システム。 - さらに、
前記手術器具の前記1つに構造的変形がないことが最後に確認された日時を示す最終確認日を取得し、
前記ユーザに表示するために、前記XRヘッドセットの前記ディスプレイデバイスに前記最終確認日の表示を提供する、ように構成されている、請求項1に記載のカメラ追跡システム。 - さらに、
前記XRヘッドセットの位置に関連して定義された検査領域内に前記参照アレイがいつもたらされたかを判定し、
前記参照アレイが前記検査領域内にもたらされという判定に応答して、前記参照アレイが、前記手術器具データベースで定義された複数の手術器具のうちの1つの特性と対になって位置合わせされているかどうかの前記判定を開始し、
前記参照アレイが前記検査領域内に留まっている間にのみ発生するように、前記手術器具データベースで定義された前記複数の手術器具の1つの特性と対になって前記参照アレイを位置合わせするためのユーザ入力を受信する動作を制限する、ように構成されている、請求項1に記載のカメラ追跡システム。 - さらに、
前記XRヘッドセットの位置に関連して定義された検査領域内に前記参照アレイがいつもたらされたかを判定し、
前記参照アレイが前記検査領域内にもたらされたとの判定に応答して、前記ユーザに表示するために、前記XRヘッドセットの前記ディスプレイデバイスへの前記特性の前記表現の前記提供を開始し、
前記参照アレイが前記検査領域を出たとの判定に応答して、前記ユーザに表示するために、前記XRヘッドセットの前記ディスプレイデバイスへの前記特性の前記表現の継続的な提供を停止する、ように構成されている、請求項1に記載のカメラ追跡システム。 - さらに、
前記参照アレイの中から複数の基準の姿勢を識別し、
前記識別された姿勢を有する前記参照アレイ間の前記複数の基準のそれぞれについて、前記基準の前記識別された姿勢と少なくとも部分的に重複した前記ディスプレイデバイスによる表示のためにグラフィカル指標を提供する、ように構成されている、請求項1に記載のカメラ追跡システム。 - さらに、
前記参照アレイ内の前記基準の1つが識別可能な姿勢を有しない欠落した基準である場合、前記識別された姿勢を有する前記複数の基準に対する前記欠落した基準の姿勢を推定し、前記欠落している基準の前記推定姿勢と少なくとも部分的に重複して前記ディスプレイデバイスによって表示するための別のグラフィカル指標を提供する、ように構成されている、請求項10に記載のカメラ追跡システム。 - さらに、
前記XRヘッドセットに対する前記参照アレイの姿勢と前記ユーザの手の姿勢を示す追跡情報を前記追跡カメラのセットから受信し、
前記追跡情報に基づいて、前記参照アレイの前記姿勢に関連するハンド−ユーザインターフェースの除外ゾーンを判定し、
前記ユーザの手が完全に前記ハンド−ユーザインターフェース除外ゾーンの外側にあると判定されている間に、前記追跡情報によって示される前記手の追跡された姿勢に基づいて前記ユーザからのハンドジェスチャ入力の受信を可能にし、
前記ユーザの手が少なくとも部分的に前記ハンド−ユーザインターフェース除外ゾーン内にあると判定されている間、前記追跡情報によって示される前記手の追跡された姿勢に基づいて、前記ユーザからのハンドジェスチャ入力の受信を無効にする、ように構成されている、請求項1に記載のカメラ追跡システム。 - コンピュータ支援ナビゲーション手術用のカメラ追跡システムの少なくとも1つのプロセッサによって実行可能なプログラムコードを記憶する非一時的コンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記プログラムコードが、
エクステンデッドリアリティ(XR)ヘッドセットに接続された一連の追跡カメラによって追跡される参照アレイを識別し、
前記参照アレイが、手術器具データベースで定義された複数の手術器具のうちの1つの特性と対になって位置合わせされているかどうかを判定し、
位置合わせされていないと判定されてユーザ入力を受信する前記参照アレイに基づいて、前記ユーザ入力に基づいて選択された前記複数の手術器具のうちの1つの特性と対になって前記参照アレイを位置合わせし、
前記ユーザに表示するために、前記XRヘッドセットのディスプレイデバイスに前記特性の表現を提供する、コンピュータプログラム製品。 - 前記カメラ追跡システムの前記少なくとも1つのプロセッサによって実行可能な前記プログラムコードが、さらに、
位置合わせされていないと判定された前記参照アレイに基づいて、前記ユーザが前記参照アレイと対になって位置合わせされる前記手術器具の前記1つを選択するために、前記手術器具データベースに定義された前記複数の前記手術器具の少なくともいくつかのリストを前記ディスプレイデバイスに提供するように構成されている、請求項13に記載のコンピュータプログラム製品。 - 前記カメラ追跡システムの前記少なくとも1つのプロセッサによって実行可能な前記プログラムコードが、さらに、
前記XRヘッドセットに対する前記参照アレイの姿勢を示す前記追跡カメラのセットから追跡情報を受信し、
前記追跡情報に基づいて、前記参照アレイに対して前記特性の前記表現が表示される姿勢を判定し、
前記XRヘッドセットを制御して、前記参照アレイに対して前記判定された姿勢で前記特性の前記表現を表示する、ように構成されている、請求項13に記載のコンピュータプログラム製品。 - 前記カメラ追跡システムの前記少なくとも1つのプロセッサによって実行可能な前記プログラムコードが、さらに、
前記追跡カメラのセットが現在前記参照アレイの姿勢を追跡している精度を特徴付ける追跡精度情報を取得し、
前記ユーザに表示するために、前記XRヘッドセットの前記ディスプレイデバイスに前記追跡精度情報の表示を提供する、ように構成されている、請求項13に記載のコンピュータプログラム製品。 - 前記カメラ追跡システムの前記少なくとも1つのプロセッサによって実行可能な前記プログラムコードが、さらに、
少なくとも2次元で前記複数の手術器具のうちの前記1つのグラフィカル表現を取得し、
前記XRヘッドセットに対する前記参照アレイの姿勢を示す前記追跡カメラのセットから追跡情報を受信し、
前記追跡情報に基づいて前記グラフィカル表現の姿勢を判定し、
前記判定された姿勢で表示するために、前記XRヘッドセットの前記ディスプレイデバイスに前記特性の前記表現として前記グラフィカル表現を提供する、ように構成されている、請求項13に記載のコンピュータプログラム製品。 - 前記カメラ追跡システムの前記少なくとも1つのプロセッサによって実行可能な前記プログラムコードが、さらに、
前記XRヘッドセットの位置に関連して定義された検査領域内に前記参照アレイがいつもたらされたかを判定し、
前記参照アレイが前記検査領域内にもたらされという判定に応答して、前記参照アレイが、前記手術器具データベースで定義された複数の手術器具のうちの1つの特性と対になって位置合わせされているかどうかの前記判定を開始し、
前記参照アレイが前記検査領域内に留まっている間にのみ発生するように、前記手術器具データベースで定義された前記複数の手術器具の1つの特性と対になって前記参照アレイを位置合わせするためのユーザ入力を受信する動作を制限する、ように構成されている、請求項13に記載のコンピュータプログラム製品。 - 前記カメラ追跡システムの前記少なくとも1つのプロセッサによって実行可能な前記プログラムコードが、さらに、
前記参照アレイの中から複数の基準の姿勢を識別し、
前記識別された姿勢を有する前記参照アレイ間の前記複数の基準のそれぞれについて、前記基準の前記識別された姿勢と少なくとも部分的に重複した前記ディスプレイデバイスによる表示のためにグラフィカル指標を提供する、ように構成されている、請求項13に記載のコンピュータプログラム製品。 - 手術中のコンピュータ支援ナビゲーションのためのカメラ追跡システムによる方法であって、
エクステンデッドリアリティ(XR)ヘッドセットに接続された一連の追跡カメラによって追跡される参照アレイを識別することと、
前記参照アレイが、手術器具データベースで定義された複数の手術器具のうちの1つの特性と対になって位置合わせされているかどうかを判定することと、
位置合わせされていないと判定されてユーザ入力を受信する前記参照アレイに基づいて、前記ユーザ入力に基づいて選択された前記複数の手術器具のうちの1つの特性と対になって前記参照アレイを位置合わせすることと、
前記ユーザに表示するために、前記XRヘッドセットのディスプレイデバイスに前記特性の表現を提供することと、を備える、方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/861,741 | 2020-04-29 | ||
US16/861,741 US11607277B2 (en) | 2020-04-29 | 2020-04-29 | Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021171657A true JP2021171657A (ja) | 2021-11-01 |
JP7216764B2 JP7216764B2 (ja) | 2023-02-01 |
Family
ID=75728722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021074796A Active JP7216764B2 (ja) | 2020-04-29 | 2021-04-27 | 手術中の支援されたナビゲーションのための拡張現実ヘッドセットのカメラによって追跡された参照アレイを備えた手術器具の位置合わせ |
Country Status (4)
Country | Link |
---|---|
US (2) | US11607277B2 (ja) |
EP (1) | EP3903714B1 (ja) |
JP (1) | JP7216764B2 (ja) |
CN (1) | CN113558762A (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2955481B1 (fr) | 2010-01-27 | 2013-06-14 | Tornier Sa | Dispositif et procede de caracterisation glenoidienne d'une omoplate a protheser ou a resurfacer |
WO2019245861A2 (en) | 2018-06-19 | 2019-12-26 | Tornier, Inc. | Mixed reality-aided depth tracking in orthopedic surgical procedures |
US20220001538A1 (en) * | 2020-07-04 | 2022-01-06 | Sarcos Corp. | Augmented Reality System and Method for Conveying To a Human Operator Information Associated With Human-Imperceptible Indicia within an Operating Environment of a Robot |
US20220068506A1 (en) * | 2020-08-27 | 2022-03-03 | Asensus Surgical Us, Inc. | Tele-collaboration during robotic surgical procedures |
CN114569250B (zh) * | 2022-02-21 | 2023-11-17 | 北京唯迈医疗设备有限公司 | 一种采用手势操作的介入机器人主端控制系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018529399A (ja) * | 2015-06-30 | 2018-10-11 | キヤノン ユーエスエイ, インコーポレイテッドCanon U.S.A., Inc | レジストレーションの基準マーカー、システム、および方法 |
JP2019030385A (ja) * | 2017-08-04 | 2019-02-28 | Hoya株式会社 | 内視鏡形状表示装置、及び内視鏡システム |
US20190175058A1 (en) * | 2017-12-07 | 2019-06-13 | Medtronic Xomed, Inc. | System and Method for Assisting Visualization During a Procedure |
US20190369717A1 (en) * | 2017-03-10 | 2019-12-05 | Brainlab Ag | Medical augmented reality navigation |
Family Cites Families (334)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4722056A (en) | 1986-02-18 | 1988-01-26 | Trustees Of Dartmouth College | Reference display systems for superimposing a tomagraphic image onto the focal plane of an operating microscope |
US5417210A (en) | 1992-05-27 | 1995-05-23 | International Business Machines Corporation | System and method for augmentation of endoscopic surgery |
EP0646263B1 (en) | 1993-04-20 | 2000-05-31 | General Electric Company | Computer graphic and live video system for enhancing visualisation of body structures during surgery |
US5961456A (en) | 1993-05-12 | 1999-10-05 | Gildenberg; Philip L. | System and method for displaying concurrent video and reconstructed surgical views |
US5526812A (en) | 1993-06-21 | 1996-06-18 | General Electric Company | Display system for enhancing visualization of body structures during medical procedures |
US6226548B1 (en) | 1997-09-24 | 2001-05-01 | Surgical Navigation Technologies, Inc. | Percutaneous registration apparatus and method for use in computer-assisted surgical navigation |
JP2001522063A (ja) | 1997-10-30 | 2001-11-13 | ザ マイクロオプティカル コーポレイション | 眼鏡インターフェースシステム |
US6470207B1 (en) | 1999-03-23 | 2002-10-22 | Surgical Navigation Technologies, Inc. | Navigational guidance via computer-assisted fluoroscopic imaging |
US6301495B1 (en) | 1999-04-27 | 2001-10-09 | International Business Machines Corporation | System and method for intra-operative, image-based, interactive verification of a pre-operative surgical plan |
US6503195B1 (en) | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
US6139544A (en) | 1999-05-26 | 2000-10-31 | Endocare, Inc. | Computer guided cryosurgery |
US6379302B1 (en) | 1999-10-28 | 2002-04-30 | Surgical Navigation Technologies Inc. | Navigation information overlay onto ultrasound imagery |
US6725080B2 (en) | 2000-03-01 | 2004-04-20 | Surgical Navigation Technologies, Inc. | Multiple cannula image guided tool for image guided procedures |
US6535756B1 (en) | 2000-04-07 | 2003-03-18 | Surgical Navigation Technologies, Inc. | Trajectory storage apparatus and method for surgical navigation system |
US6614453B1 (en) | 2000-05-05 | 2003-09-02 | Koninklijke Philips Electronics, N.V. | Method and apparatus for medical image display for surgical tool planning and navigation in clinical environments |
US7953470B2 (en) | 2000-10-23 | 2011-05-31 | Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts | Method, device and navigation aid for navigation during medical interventions |
US7605826B2 (en) | 2001-03-27 | 2009-10-20 | Siemens Corporate Research, Inc. | Augmented reality guided instrument positioning with depth determining graphics |
US7176936B2 (en) | 2001-03-27 | 2007-02-13 | Siemens Corporate Research, Inc. | Augmented reality guided instrument positioning with modulated guiding graphics |
US6856324B2 (en) | 2001-03-27 | 2005-02-15 | Siemens Corporate Research, Inc. | Augmented reality guided instrument positioning with guiding graphics |
US6919867B2 (en) | 2001-03-29 | 2005-07-19 | Siemens Corporate Research, Inc. | Method and apparatus for augmented reality visualization |
ATE371414T1 (de) | 2001-06-13 | 2007-09-15 | Volume Interactions Pte Ltd | Führungssystem |
CA2486525C (en) | 2001-06-13 | 2009-02-24 | Volume Interactions Pte. Ltd. | A guide system and a probe therefor |
ES2215985T3 (es) | 2001-12-18 | 2004-10-16 | Brainlab Ag | Superposicion de datos de imagen de rayos x de un paciente, o datos de imagen de escaner e imagenes de video. |
US20030210812A1 (en) | 2002-02-26 | 2003-11-13 | Ali Khamene | Apparatus and method for surgical navigation |
US6947786B2 (en) | 2002-02-28 | 2005-09-20 | Surgical Navigation Technologies, Inc. | Method and apparatus for perspective inversion |
US20030179308A1 (en) | 2002-03-19 | 2003-09-25 | Lucia Zamorano | Augmented tracking using video, computed data and/or sensing technologies |
US6867753B2 (en) | 2002-10-28 | 2005-03-15 | University Of Washington | Virtual image registration in augmented display field |
US7599730B2 (en) | 2002-11-19 | 2009-10-06 | Medtronic Navigation, Inc. | Navigation system for cardiac therapies |
US7542791B2 (en) | 2003-01-30 | 2009-06-02 | Medtronic Navigation, Inc. | Method and apparatus for preplanning a surgical procedure |
US20050267354A1 (en) * | 2003-02-04 | 2005-12-01 | Joel Marquart | System and method for providing computer assistance with spinal fixation procedures |
US7570791B2 (en) | 2003-04-25 | 2009-08-04 | Medtronic Navigation, Inc. | Method and apparatus for performing 2D to 3D registration |
CA2473963A1 (en) | 2003-07-14 | 2005-01-14 | Sunnybrook And Women's College Health Sciences Centre | Optical image-based position tracking for magnetic resonance imaging |
US7835778B2 (en) | 2003-10-16 | 2010-11-16 | Medtronic Navigation, Inc. | Method and apparatus for surgical navigation of a multiple piece construct for implantation |
US7774044B2 (en) | 2004-02-17 | 2010-08-10 | Siemens Medical Solutions Usa, Inc. | System and method for augmented reality navigation in a medical intervention procedure |
WO2005091220A1 (en) | 2004-03-12 | 2005-09-29 | Bracco Imaging S.P.A | Accuracy evaluation of video-based augmented reality enhanced surgical navigation systems |
US9681925B2 (en) | 2004-04-21 | 2017-06-20 | Siemens Medical Solutions Usa, Inc. | Method for augmented reality instrument placement using an image based navigation system |
US7831294B2 (en) | 2004-10-07 | 2010-11-09 | Stereotaxis, Inc. | System and method of surgical imagining with anatomical overlay for navigation of surgical devices |
US9492241B2 (en) | 2005-01-13 | 2016-11-15 | Mazor Robotics Ltd. | Image guided robotic system for keyhole neurosurgery |
US20060176242A1 (en) | 2005-02-08 | 2006-08-10 | Blue Belt Technologies, Inc. | Augmented reality device and method |
WO2006087663A1 (en) | 2005-02-17 | 2006-08-24 | Koninklijke Philips Electronics N.V. | Autostereoscopic display |
US20060293557A1 (en) | 2005-03-11 | 2006-12-28 | Bracco Imaging, S.P.A. | Methods and apparati for surgical navigation and visualization with microscope ("Micro Dex-Ray") |
US7480402B2 (en) | 2005-04-20 | 2009-01-20 | Visionsense Ltd. | System and method for producing an augmented image of an organ of a patient |
EP1887961B1 (en) | 2005-06-06 | 2012-01-11 | Intuitive Surgical Operations, Inc. | Laparoscopic ultrasound robotic surgical system |
US9289267B2 (en) | 2005-06-14 | 2016-03-22 | Siemens Medical Solutions Usa, Inc. | Method and apparatus for minimally invasive surgery using endoscopes |
US20070167702A1 (en) | 2005-12-30 | 2007-07-19 | Intuitive Surgical Inc. | Medical robotic system providing three-dimensional telestration |
WO2007108776A2 (en) | 2005-12-31 | 2007-09-27 | Bracco Imaging S.P.A. | Systems and methods for collaborative interactive visualization of 3d data sets over a network ('dextronet') |
US20070238981A1 (en) | 2006-03-13 | 2007-10-11 | Bracco Imaging Spa | Methods and apparatuses for recording and reviewing surgical navigation processes |
US20070236514A1 (en) | 2006-03-29 | 2007-10-11 | Bracco Imaging Spa | Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation |
US8314815B2 (en) | 2006-04-12 | 2012-11-20 | Nassir Navab | Virtual penetrating mirror device for visualizing of virtual objects within an augmented reality environment |
WO2007128377A1 (en) | 2006-05-04 | 2007-11-15 | Nassir Navab | Virtual penetrating mirror device for visualizing virtual objects in endoscopic applications |
US8532741B2 (en) | 2006-09-08 | 2013-09-10 | Medtronic, Inc. | Method and apparatus to optimize electrode placement for neurological stimulation |
US20080123910A1 (en) | 2006-09-19 | 2008-05-29 | Bracco Imaging Spa | Method and system for providing accuracy evaluation of image guided surgery |
US8660635B2 (en) | 2006-09-29 | 2014-02-25 | Medtronic, Inc. | Method and apparatus for optimizing a computer assisted surgical procedure |
WO2008063494A2 (en) | 2006-11-16 | 2008-05-29 | Vanderbilt University | Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same |
US8374673B2 (en) | 2007-01-25 | 2013-02-12 | Warsaw Orthopedic, Inc. | Integrated surgical navigational and neuromonitoring system having automated surgical assistance and control |
US20080183188A1 (en) | 2007-01-25 | 2008-07-31 | Warsaw Orthopedic, Inc. | Integrated Surgical Navigational and Neuromonitoring System |
US20080183074A1 (en) | 2007-01-25 | 2008-07-31 | Warsaw Orthopedic, Inc. | Method and apparatus for coordinated display of anatomical and neuromonitoring information |
US7987001B2 (en) | 2007-01-25 | 2011-07-26 | Warsaw Orthopedic, Inc. | Surgical navigational and neuromonitoring instrument |
US20080183068A1 (en) | 2007-01-25 | 2008-07-31 | Warsaw Orthopedic, Inc. | Integrated Visualization of Surgical Navigational and Neural Monitoring Information |
US8672836B2 (en) | 2007-01-31 | 2014-03-18 | The Penn State Research Foundation | Method and apparatus for continuous guidance of endoscopy |
EP2143038A4 (en) | 2007-02-20 | 2011-01-26 | Philip L Gildenberg | VIDEOSTEREREOTAXY- AND AUDIOSTEREOTAXY-ASSISTED SURGICAL PROCEDURES AND METHODS |
FR2917598B1 (fr) | 2007-06-19 | 2010-04-02 | Medtech | Plateforme robotisee multi-applicative pour la neurochirurgie et procede de recalage |
GB0712690D0 (en) | 2007-06-29 | 2007-08-08 | Imp Innovations Ltd | Imagee processing |
US8532734B2 (en) | 2008-04-18 | 2013-09-10 | Regents Of The University Of Minnesota | Method and apparatus for mapping a structure |
US8167793B2 (en) | 2008-04-26 | 2012-05-01 | Intuitive Surgical Operations, Inc. | Augmented stereoscopic visualization for a surgical robot using time duplexing |
US20100030061A1 (en) | 2008-07-31 | 2010-02-04 | Canfield Monte R | Navigation system for cardiac therapies using gating |
EP2355711B1 (en) | 2008-10-20 | 2019-09-11 | The Johns Hopkins University | Environment property estimation and graphical display |
US8774363B2 (en) | 2009-03-06 | 2014-07-08 | Koninklijke Philips N.V. | Medical viewing system for displaying a region of interest on medical images |
CN102341046B (zh) | 2009-03-24 | 2015-12-16 | 伊顿株式会社 | 利用增强现实技术的手术机器人系统及其控制方法 |
WO2010136922A1 (en) | 2009-05-28 | 2010-12-02 | Koninklijke Philips Electronics N.V. | Re-calibration of pre-recorded images during interventions using a needle device |
DE102009025077A1 (de) | 2009-06-10 | 2010-12-16 | Karl Storz Gmbh & Co. Kg | System zur Orientierungsunterstützung und Darstellung eines Instruments im Inneren eines Untersuchungsobjektes insbesondere im menschlichen Körper |
US8504136B1 (en) | 2009-10-06 | 2013-08-06 | University Of South Florida | See-through abdomen display for minimally invasive surgery |
US8784443B2 (en) | 2009-10-20 | 2014-07-22 | Truevision Systems, Inc. | Real-time surgical reference indicium apparatus and methods for astigmatism correction |
US20120059378A1 (en) | 2009-11-25 | 2012-03-08 | James David Farrell | Efficient Sculpting System |
US8938301B2 (en) | 2010-01-06 | 2015-01-20 | Evoke Neuroscience, Inc. | Headgear with displaceable sensors for electrophysiology measurement and training |
JP5795599B2 (ja) | 2010-01-13 | 2015-10-14 | コーニンクレッカ フィリップス エヌ ヴェ | 内視鏡手術のための画像統合ベースレジストレーション及びナビゲーション |
WO2011127379A2 (en) | 2010-04-09 | 2011-10-13 | University Of Florida Research Foundation Inc. | Interactive mixed reality system and uses thereof |
CA2797302C (en) | 2010-04-28 | 2019-01-15 | Ryerson University | System and methods for intraoperative guidance feedback |
US8842893B2 (en) | 2010-04-30 | 2014-09-23 | Medtronic Navigation, Inc. | Method and apparatus for image-based navigation |
US8945140B2 (en) | 2010-06-18 | 2015-02-03 | Vantage Surgical Systems, Inc. | Surgical procedures using instrument to boundary spacing information extracted from real-time diagnostic scan data |
US10456209B2 (en) | 2010-10-13 | 2019-10-29 | Gholam A. Peyman | Remote laser treatment system with dynamic imaging |
US8325873B2 (en) | 2010-10-20 | 2012-12-04 | Medtronic Navigation, Inc. | Selected image acquisition technique to optimize patient model construction |
EP2452649A1 (en) | 2010-11-12 | 2012-05-16 | Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts | Visualization of anatomical data by augmented reality |
WO2012078989A1 (en) | 2010-12-10 | 2012-06-14 | Wayne State University | Intelligent autonomous camera control for robotics with medical, military, and space applications |
US20120203067A1 (en) | 2011-02-04 | 2012-08-09 | The Penn State Research Foundation | Method and device for determining the location of an endoscope |
CN103379861B (zh) | 2011-02-07 | 2016-08-10 | 皇家飞利浦有限公司 | 用于在血管介入程序中提供支持介入设备的准确定位的图像表示的医学成像设备 |
WO2012112907A2 (en) | 2011-02-17 | 2012-08-23 | Dartmouth College | System and method for providing registration between breast shapes before and during surgery |
WO2012149548A2 (en) | 2011-04-29 | 2012-11-01 | The Johns Hopkins University | System and method for tracking and navigation |
US9265468B2 (en) | 2011-05-11 | 2016-02-23 | Broncus Medical, Inc. | Fluoroscopy-based surgical device tracking method |
DE102011079561B4 (de) | 2011-07-21 | 2018-10-18 | Siemens Healthcare Gmbh | Verfahren und Röntgengerät zum zeitlich aktuellen Darstellen eines bewegten Abschnitts eines Körpers, Computerprogramm und Datenträger |
JP6285355B2 (ja) | 2011-07-29 | 2018-02-28 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | x線での軟組織運動の正確な可視化 |
US9123155B2 (en) | 2011-08-09 | 2015-09-01 | Covidien Lp | Apparatus and method for using augmented reality vision system in surgical procedures |
US9554866B2 (en) | 2011-08-09 | 2017-01-31 | Covidien Lp | Apparatus and method for using a remote control system in surgical procedures |
US20140228632A1 (en) | 2011-08-21 | 2014-08-14 | M.S.T. Medical Surgery Technologies Ltd. | Device and method for assisting laparoscopic surgery - rule based approach |
US9795282B2 (en) | 2011-09-20 | 2017-10-24 | M.S.T. Medical Surgery Technologies Ltd | Device and method for maneuvering endoscope |
CN104053404A (zh) | 2011-12-01 | 2014-09-17 | 尼奥绰德有限公司 | 用于修复心脏瓣膜小叶的外科手术导航 |
EP2793680A2 (en) | 2011-12-21 | 2014-10-29 | Koninklijke Philips N.V. | Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope |
US8891847B2 (en) | 2012-01-23 | 2014-11-18 | Medtronic Navigation, Inc. | Automatic implant detection from image artifacts |
US20130211232A1 (en) | 2012-02-01 | 2013-08-15 | The Johns Hopkins University | Arthroscopic Surgical Planning and Execution with 3D Imaging |
US9451915B1 (en) | 2012-02-29 | 2016-09-27 | Google Inc. | Performance of a diagnostic procedure using a wearable computing device |
US10758209B2 (en) | 2012-03-09 | 2020-09-01 | The Johns Hopkins University | Photoacoustic tracking and registration in interventional ultrasound |
US20130267838A1 (en) | 2012-04-09 | 2013-10-10 | Board Of Regents, The University Of Texas System | Augmented Reality System for Use in Medical Procedures |
JP2015523102A (ja) | 2012-04-16 | 2015-08-13 | チルドレンズ ナショナル メディカル センターChildren’S National Medical Center | 手術及び介入処置での追跡及び制御の為のデュアルモードステレオイメージングシステム |
US11452464B2 (en) | 2012-04-19 | 2022-09-27 | Koninklijke Philips N.V. | Guidance tools to manually steer endoscope using pre-operative and intra-operative 3D images |
EP2660776A1 (en) * | 2012-05-01 | 2013-11-06 | Universität Bern | Image distortion correction and robust phantom detection |
KR20140136517A (ko) | 2012-05-02 | 2014-11-28 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 의학적 애플리케이션들에서 증강 현실을 위한 동적 모델을 이용한 4 차원 이미지 등록 |
US11871901B2 (en) | 2012-05-20 | 2024-01-16 | Cilag Gmbh International | Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage |
US9773312B2 (en) | 2012-05-25 | 2017-09-26 | Koh Young Technology Inc. | Method of registrating a camera of a surgical navigation system for an augmented reality |
CN104411226B (zh) | 2012-06-28 | 2017-01-18 | 皇家飞利浦有限公司 | 使用以机器人的方式操纵的内窥镜的增强的血管可视化 |
WO2014002070A1 (en) | 2012-06-28 | 2014-01-03 | Koninklijke Philips N.V. | Overlay and registration of preoperative data on live video using a portable device |
US10610172B2 (en) | 2012-07-17 | 2020-04-07 | Koninklijke Philips N.V. | Imaging system and method for enabling instrument guidance |
US20140022283A1 (en) | 2012-07-20 | 2014-01-23 | University Health Network | Augmented reality apparatus |
US20120302875A1 (en) | 2012-08-08 | 2012-11-29 | Gregory Allen Kohring | System and method for inserting intracranial catheters |
US9855103B2 (en) | 2012-08-27 | 2018-01-02 | University Of Houston System | Robotic device and system software, hardware and methods of use for image-guided and robot-assisted surgery |
US20140081659A1 (en) | 2012-09-17 | 2014-03-20 | Depuy Orthopaedics, Inc. | Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking |
US9563266B2 (en) | 2012-09-27 | 2017-02-07 | Immersivetouch, Inc. | Haptic augmented and virtual reality system for simulation of surgical procedures |
US20150238276A1 (en) | 2012-09-30 | 2015-08-27 | M.S.T. Medical Surgery Technologies Ltd. | Device and method for assisting laparoscopic surgery - directing and maneuvering articulating tool |
EP2732761A1 (en) | 2012-11-14 | 2014-05-21 | Hill-Rom Services, Inc. | Augmented reality system in the patient care environment |
US8948935B1 (en) | 2013-01-02 | 2015-02-03 | Google Inc. | Providing a medical support device via an unmanned aerial vehicle |
WO2014140813A1 (en) | 2013-03-11 | 2014-09-18 | Fondation De Cooperation Scientifique | Anatomical site relocalisation using dual data synchronisation |
KR20140112207A (ko) | 2013-03-13 | 2014-09-23 | 삼성전자주식회사 | 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템 |
US10426345B2 (en) | 2013-04-04 | 2019-10-01 | Children's National Medical Center | System for generating composite images for endoscopic surgery of moving and deformable anatomy |
US20150084990A1 (en) | 2013-04-07 | 2015-03-26 | Laor Consulting Llc | Augmented reality medical procedure aid |
KR102171873B1 (ko) | 2013-05-08 | 2020-10-29 | 삼성전자주식회사 | 햅틱 글로브 및 수술로봇 시스템 |
US10228242B2 (en) | 2013-07-12 | 2019-03-12 | Magic Leap, Inc. | Method and system for determining user input based on gesture |
JP6252004B2 (ja) | 2013-07-16 | 2017-12-27 | セイコーエプソン株式会社 | 情報処理装置、情報処理方法、および、情報処理システム |
KR101536115B1 (ko) | 2013-08-26 | 2015-07-14 | 재단법인대구경북과학기술원 | 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템 |
WO2015042120A1 (en) | 2013-09-18 | 2015-03-26 | Richard Awdeh | Surgical navigation system and method |
JP2016534813A (ja) | 2013-10-31 | 2016-11-10 | ボストン サイエンティフィック ニューロモデュレイション コーポレイション | 画像からリード情報を組込むシステム |
US9949637B1 (en) | 2013-11-25 | 2018-04-24 | Verily Life Sciences Llc | Fluorescent imaging on a head-mountable device |
CN106061424B (zh) | 2013-12-20 | 2019-04-30 | 皇家飞利浦有限公司 | 用于跟踪穿刺器械的系统和方法 |
US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
EP3097448A1 (en) | 2014-01-21 | 2016-11-30 | Trophy | Method for implant surgery using augmented visualization |
CN106030656B (zh) | 2014-02-11 | 2020-06-30 | 皇家飞利浦有限公司 | 一种用于对解剖目标进行可视化的系统和方法 |
DE102014203097A1 (de) | 2014-02-20 | 2015-08-20 | Siemens Aktiengesellschaft | Verfahren zum Unterstützen einer Navigation einer endoskopischen Vorrichtung |
WO2015126466A1 (en) | 2014-02-21 | 2015-08-27 | The University Of Akron | Imaging and display system for guiding medical interventions |
JP6264087B2 (ja) | 2014-02-21 | 2018-01-24 | ソニー株式会社 | 表示制御装置、表示装置および表示制御システム |
US10152796B2 (en) | 2014-02-24 | 2018-12-11 | H. Lee Moffitt Cancer Center And Research Institute, Inc. | Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores |
US9280825B2 (en) | 2014-03-10 | 2016-03-08 | Sony Corporation | Image processing system with registration mechanism and method of operation thereof |
DE102014204702A1 (de) | 2014-03-13 | 2015-09-17 | Siemens Aktiengesellschaft | Navigationshilfe für das Einbringen eines länglichen medizinischen Penetrationselements in einen Patienten |
WO2015135590A1 (en) | 2014-03-14 | 2015-09-17 | Brainlab Ag | Improved overlay of anatomical information in a microscope image |
AU2015234609A1 (en) | 2014-03-27 | 2016-10-13 | Alma Mater Studiorum Universita Di Bologna | Computer aided surgical navigation and planning in implantology |
WO2015145395A1 (en) | 2014-03-28 | 2015-10-01 | Alma Mater Studiorum - Universita' Di Bologna | Augmented reality glasses for medical applications and corresponding augmented reality system |
DE102014206004A1 (de) | 2014-03-31 | 2015-10-01 | Siemens Aktiengesellschaft | Triangulationsbasierte Tiefen- und Oberflächen-Visualisierung |
US11547499B2 (en) | 2014-04-04 | 2023-01-10 | Surgical Theater, Inc. | Dynamic and interactive navigation in a surgical environment |
KR101570857B1 (ko) | 2014-04-29 | 2015-11-24 | 큐렉소 주식회사 | 로봇 수술 계획 조정 장치 |
WO2015171614A1 (en) | 2014-05-05 | 2015-11-12 | Vicarious Surgical Inc. | Virtual reality surgical device |
WO2015172021A1 (en) | 2014-05-09 | 2015-11-12 | Nazareth Godfrey | Portable surgical methods, systems, and apparatus |
GB201408582D0 (en) | 2014-05-14 | 2014-06-25 | Ucl Business Plc | A system and method for computer-assisted planning of a trajectory for a surgical insertion into a skull |
US9835862B1 (en) | 2014-05-15 | 2017-12-05 | Google Llc | Graphic interface for real-time vision enhancement |
EP3146715B1 (en) | 2014-05-20 | 2022-03-23 | University Of Washington Through Its Center For Commercialization | Systems and methods for mediated-reality surgical visualization |
US20170202624A1 (en) | 2014-06-08 | 2017-07-20 | M.S.T. Medical Surgery Technologies Ltd | Device and method for assisting laparoscopic surgery utilizing a touch screen |
US20150366628A1 (en) | 2014-06-18 | 2015-12-24 | Covidien Lp | Augmented surgical reality environment system |
EP3166468A4 (en) | 2014-07-10 | 2018-03-07 | M.S.T. Medical Surgery Technologies Ltd. | Improved interface for laparoscopic surgeries - movement gestures |
US20160015469A1 (en) | 2014-07-17 | 2016-01-21 | Kyphon Sarl | Surgical tissue recognition and navigation apparatus and method |
WO2016014384A2 (en) | 2014-07-25 | 2016-01-28 | Covidien Lp | Augmented surgical reality environment |
US10251714B2 (en) | 2014-07-25 | 2019-04-09 | Covidien Lp | Augmented surgical reality environment for a robotic surgical system |
US9707400B2 (en) | 2014-08-15 | 2017-07-18 | Medtronic, Inc. | Systems, methods, and interfaces for configuring cardiac therapy |
US9547940B1 (en) | 2014-09-12 | 2017-01-17 | University Of South Florida | Systems and methods for providing augmented reality in minimally invasive surgery |
JP6574939B2 (ja) | 2014-09-16 | 2019-09-18 | ソニー株式会社 | 表示制御装置、表示制御方法、表示制御システムおよび頭部装着ディスプレイ |
WO2016048911A1 (en) | 2014-09-22 | 2016-03-31 | Invuity, Inc. | Hyperspectral imager |
JP6480694B2 (ja) | 2014-09-30 | 2019-03-13 | 京セラ株式会社 | 手術支援装置およびプログラム |
US9486128B1 (en) | 2014-10-03 | 2016-11-08 | Verily Life Sciences Llc | Sensing and avoiding surgical equipment |
US9833254B1 (en) | 2014-10-03 | 2017-12-05 | Verily Life Sciences Llc | Controlled dissection of biological tissue |
EP3009097A1 (en) | 2014-10-17 | 2016-04-20 | Imactis | Method for navigating a surgical instrument |
JP2017534985A (ja) | 2014-10-23 | 2017-11-24 | オーピクス メディカル テクノロジーズ インコーポレイテッド | 足ジェスチャに基づく制御装置 |
US10499992B2 (en) | 2014-10-30 | 2019-12-10 | Edda Technology, Inc. | Method and system for estimating a deflated lung shape for video assisted thoracic surgery in augmented and mixed reality |
GB201501157D0 (en) | 2015-01-23 | 2015-03-11 | Scopis Gmbh | Instrument guidance system for sinus surgery |
JP2018503416A (ja) | 2014-11-18 | 2018-02-08 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | ユーザガイダンスシステム及び方法、拡張現実デバイスの使用 |
US10383654B2 (en) | 2014-11-20 | 2019-08-20 | Ohio State Innovation Foundation | Methods and systems for performing navigation-assisted medical procedures |
US9839365B1 (en) | 2014-11-24 | 2017-12-12 | Verily Life Sciences Llc | Applications of vasculature mapping using laser speckle imaging |
ES2649747T3 (es) | 2014-11-26 | 2018-01-15 | Masmec S.P.A. | Sistema asistido por ordenador para guiar un instrumento quirúrgico/de diagnóstico en el cuerpo de un paciente |
US9298884B1 (en) | 2014-12-17 | 2016-03-29 | Vitaax Llc | Remote instruction and monitoring of health care |
US9645379B2 (en) | 2014-12-29 | 2017-05-09 | Novartis Ag | Magnification in ophthalmic procedures and associated devices, systems, and methods |
US10154239B2 (en) | 2014-12-30 | 2018-12-11 | Onpoint Medical, Inc. | Image-guided surgery with surface reconstruction and augmented reality visualization |
US9538962B1 (en) | 2014-12-31 | 2017-01-10 | Verily Life Sciences Llc | Heads-up displays for augmented reality network in a medical environment |
US9931040B2 (en) | 2015-01-14 | 2018-04-03 | Verily Life Sciences Llc | Applications of hyperspectral laser speckle imaging |
US10013808B2 (en) | 2015-02-03 | 2018-07-03 | Globus Medical, Inc. | Surgeon head-mounted display apparatuses |
JP6336929B2 (ja) | 2015-02-16 | 2018-06-06 | 富士フイルム株式会社 | 仮想オブジェクト表示装置、方法、プログラムおよびシステム |
EP3258876B1 (en) | 2015-02-20 | 2023-10-18 | Covidien LP | Operating room and surgical site awareness |
BR112017018874A2 (pt) | 2015-03-01 | 2018-04-17 | Aris Md Inc | método de facilitamento de um procedimento em relação a um domínio morfológico, sistema, e, meio legível por máquina não transitório |
US11103313B2 (en) | 2015-03-05 | 2021-08-31 | Atracsys Sarl | Redundant reciprocal surgical tracking system with three optical trackers |
KR101734094B1 (ko) | 2015-03-09 | 2017-05-11 | 국립암센터 | 증강현실영상 투영 시스템 |
US20160324580A1 (en) | 2015-03-23 | 2016-11-10 | Justin Esterberg | Systems and methods for assisted surgical navigation |
GB2536650A (en) | 2015-03-24 | 2016-09-28 | Augmedics Ltd | Method and system for combining video-based and optic-based augmented reality in a near eye display |
MX2017012039A (es) | 2015-03-25 | 2018-11-12 | Zaxis Labs | Sistema y metodo para la planeacion de un procedimiento medico. |
WO2016154557A1 (en) | 2015-03-26 | 2016-09-29 | Universidade De Coimbra | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera |
US20160287337A1 (en) | 2015-03-31 | 2016-10-06 | Luke J. Aram | Orthopaedic surgical system and method for patient-specific surgical procedure |
WO2016162789A2 (en) | 2015-04-07 | 2016-10-13 | King Abdullah University Of Science And Technology | Method, apparatus, and system for utilizing augmented reality to improve surgery |
US9436993B1 (en) | 2015-04-17 | 2016-09-06 | Clear Guide Medical, Inc | System and method for fused image based navigation with late marker placement |
US9788756B2 (en) | 2015-04-20 | 2017-10-17 | Medtronic, Inc. | Systems, devices, methods, and computer-readable storage facilitating locating an implantable medical device within a body |
GB201506842D0 (en) | 2015-04-22 | 2015-06-03 | Ucl Business Plc And Schooling Steven | Locally rigid vessel based registration for laparoscopic liver surgery |
US10235737B2 (en) | 2015-05-11 | 2019-03-19 | Elwha Llc | Interactive surgical drape, system, and related methods |
US10197816B2 (en) | 2015-05-26 | 2019-02-05 | Lumenis Ltd. | Laser safety glasses with an improved imaging system |
US9970955B1 (en) | 2015-05-26 | 2018-05-15 | Verily Life Sciences Llc | Methods for depth estimation in laser speckle imaging |
CA2984438A1 (en) | 2015-06-26 | 2016-12-29 | Li-Cor, Inc. | Fluorescence biopsy specimen imager and methods |
CA2987058C (en) | 2015-07-13 | 2019-03-19 | Synaptive Medical (Barbados) Inc. | System and method for providing a contour video with a 3d surface in a medical navigation system |
US10176642B2 (en) | 2015-07-17 | 2019-01-08 | Bao Tran | Systems and methods for computer assisted operation |
US10390890B2 (en) | 2015-07-27 | 2019-08-27 | Synaptive Medical (Barbados) Inc. | Navigational feedback for intraoperative waypoint |
DE102015215587A1 (de) | 2015-08-14 | 2017-02-16 | Nt-Trading Gmbh & Co. Kg | Verfahren zum Herstellen eines Knochenersatzstücks |
WO2017028916A1 (en) | 2015-08-19 | 2017-02-23 | Brainlab Ag | Reference array holder |
US10105187B2 (en) | 2015-08-27 | 2018-10-23 | Medtronic, Inc. | Systems, apparatus, methods and computer-readable storage media facilitating surgical procedures utilizing augmented reality |
US10888389B2 (en) | 2015-09-10 | 2021-01-12 | Duke University | Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance |
US10092361B2 (en) | 2015-09-11 | 2018-10-09 | AOD Holdings, LLC | Intraoperative systems and methods for determining and providing for display a virtual image overlaid onto a visual image of a bone |
US10925675B2 (en) | 2015-09-24 | 2021-02-23 | Synaptive Medical Inc. | Motorized full field adaptive microscope |
DK178899B1 (en) | 2015-10-09 | 2017-05-08 | 3Dintegrated Aps | A depiction system |
WO2017066373A1 (en) | 2015-10-14 | 2017-04-20 | Surgical Theater LLC | Augmented reality surgical navigation |
JP6712453B2 (ja) | 2015-10-16 | 2020-06-24 | 富士フイルム株式会社 | 拡張現実提供システム及び方法、情報処理装置、並びにプログラム |
US10195076B2 (en) | 2015-10-23 | 2019-02-05 | Eye Labs, LLC | Head-mounted device providing diagnosis and treatment and multisensory experience |
CN108135670B (zh) | 2015-10-23 | 2021-02-26 | 柯惠Lp公司 | 用于检测灌注中逐步变化的手术系统 |
JP6985262B2 (ja) | 2015-10-28 | 2021-12-22 | エンドチョイス インコーポレイテッドEndochoice, Inc. | 患者の体内における内視鏡の位置を追跡するための装置及び方法 |
US10431008B2 (en) | 2015-10-29 | 2019-10-01 | Koninklijke Philips N.V. | Remote assistance workstation, method and system with a user interface for remote assistance with spatial placement tasks via augmented reality glasses |
CA3004167C (en) | 2015-11-03 | 2019-02-05 | Synaptive Medical (Barbados) Inc. | Dual zoom and dual field-of-view microscope |
AU2016348368A1 (en) | 2015-11-04 | 2018-06-07 | Illusio, Inc. | Augmented reality imaging system for cosmetic surgical procedures |
WO2017079387A1 (en) | 2015-11-05 | 2017-05-11 | Covidien Lp | System and method for detecting subsurface blood |
WO2017079732A1 (en) | 2015-11-07 | 2017-05-11 | Ji-Xin Cheng | An intraoperative optoacoustic guide apparatus and method |
DE102015222782A1 (de) | 2015-11-18 | 2017-05-18 | Sirona Dental Systems Gmbh | Verfahren zur Visualisierung einer Zahnsituation |
ITUB20155830A1 (it) | 2015-11-23 | 2017-05-23 | R A W Srl | "sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori" |
US10052170B2 (en) | 2015-12-18 | 2018-08-21 | MediLux Capitol Holdings, S.A.R.L. | Mixed reality imaging system, apparatus and surgical suite |
DE102015226669B4 (de) | 2015-12-23 | 2022-07-28 | Siemens Healthcare Gmbh | Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information |
CN108475436A (zh) | 2015-12-29 | 2018-08-31 | 皇家飞利浦有限公司 | 使用轮廓标志的外科手术图像采集设备的配准 |
WO2017117517A1 (en) | 2015-12-30 | 2017-07-06 | The Johns Hopkins University | System and method for medical imaging |
US10426339B2 (en) | 2016-01-13 | 2019-10-01 | Novartis Ag | Apparatuses and methods for parameter adjustment in surgical procedures |
US9925013B2 (en) | 2016-01-14 | 2018-03-27 | Synaptive Medical (Barbados) Inc. | System and method for configuring positions in a surgical positioning system |
US20170238996A1 (en) | 2016-02-24 | 2017-08-24 | General Electric Company | Medical tracking sensor assembly |
CN112370159A (zh) | 2016-02-26 | 2021-02-19 | 思想外科有限公司 | 用于指导用户定位机器人的系统 |
WO2017144934A1 (en) * | 2016-02-26 | 2017-08-31 | Trophy | Guided surgery apparatus and method |
CA3055023A1 (en) | 2016-03-01 | 2017-09-08 | ARIS MD, Inc. | Systems and methods for rendering immersive environments |
US10788672B2 (en) | 2016-03-01 | 2020-09-29 | Mirus Llc | Augmented visualization during surgery |
US20190090955A1 (en) | 2016-03-01 | 2019-03-28 | Mirus Llc | Systems and methods for position and orientation tracking of anatomy and surgical instruments |
US20170256095A1 (en) | 2016-03-02 | 2017-09-07 | Siemens Medical Solutions Usa, Inc. | Blocking screen in Augmented Reality |
EP3424033A4 (en) | 2016-03-04 | 2019-12-18 | Covidien LP | VIRTUAL AND / OR AUGMENTED REALITY FOR PERFORMING PHYSICAL INTERACTION TRAINING WITH A SURGICAL ROBOT |
CA3016604A1 (en) | 2016-03-12 | 2017-09-21 | Philipp K. Lang | Devices and methods for surgery |
BR112018068656A2 (pt) | 2016-03-14 | 2019-02-05 | R Mahfouz Mohamed | posicionamento de banda ultralarga para comunicação e rastreamento por ultrassom sem fio |
AU2017236893A1 (en) | 2016-03-21 | 2018-09-06 | Washington University | Virtual reality or augmented reality visualization of 3D medical images |
WO2017173518A1 (en) | 2016-04-05 | 2017-10-12 | Synaptive Medical (Barbados) Inc. | Multi-metric surgery simulator and methods |
WO2017179350A1 (ja) | 2016-04-11 | 2017-10-19 | 富士フイルム株式会社 | 画像表示制御装置および方法並びにプログラム |
US20170296292A1 (en) | 2016-04-16 | 2017-10-19 | Eitezaz MAHMOOD | Systems and Methods for Surgical Imaging |
CN109069103B (zh) | 2016-04-19 | 2022-01-25 | 皇家飞利浦有限公司 | 超声成像探头定位 |
US10194990B2 (en) | 2016-04-27 | 2019-02-05 | Arthrology Consulting, Llc | Method for augmenting a surgical field with virtual guidance content |
US10191615B2 (en) | 2016-04-28 | 2019-01-29 | Medtronic Navigation, Inc. | Method and apparatus for image-based navigation |
JP7042216B2 (ja) | 2016-05-03 | 2022-03-25 | アフェラ, インコーポレイテッド | 解剖学的モデルの表示 |
WO2017192996A2 (en) | 2016-05-05 | 2017-11-09 | Watson Robert D | Surgical stereoscopic visualization system with movable head mounted display |
US10433915B2 (en) | 2016-05-16 | 2019-10-08 | TrackX Technology, LLC | System and method for image localization of effecters during a medical procedure |
CN106296805B (zh) | 2016-06-06 | 2019-02-26 | 厦门铭微科技有限公司 | 一种基于实时反馈的增强现实人体定位导航方法及装置 |
WO2017220165A1 (en) | 2016-06-24 | 2017-12-28 | Rwe International Se | Augmented reality system |
US10375799B2 (en) * | 2016-07-08 | 2019-08-06 | Ana Catarina da Silva Carvalho | Lighting commanding method and an assymetrical gesture decoding device to command a lighting apparatus |
US10603133B2 (en) | 2016-07-11 | 2020-03-31 | Taiwan Main Orthopaedic Biotechnology Co., Ltd. | Image guided augmented reality method and a surgical navigation of wearable glasses using the same |
US10610318B2 (en) | 2016-07-25 | 2020-04-07 | General Electric Company | Augmented reality catheter interface |
US10398514B2 (en) | 2016-08-16 | 2019-09-03 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
CA3034314C (en) | 2016-08-17 | 2021-04-20 | Synaptive Medical (Barbados) Inc. | Methods and systems for registration of virtual space with real space in an augmented reality system |
DE202017104953U1 (de) | 2016-08-18 | 2017-12-04 | Google Inc. | Verarbeiten von Fundusbildern unter Verwendung von Maschinenlernmodellen |
EP3509526A4 (en) | 2016-09-07 | 2020-07-01 | Intellijoint Surgical Inc. | SURGICAL NAVIGATION SYSTEMS AND METHODS, INCLUDING IMAGING-ASSISTED NAVIGATION OF A PATIENT'S HEAD |
EP3512452A1 (en) | 2016-09-16 | 2019-07-24 | Zimmer, Inc. | Augmented reality surgical technique guidance |
US11839433B2 (en) | 2016-09-22 | 2023-12-12 | Medtronic Navigation, Inc. | System for guided procedures |
KR101687821B1 (ko) | 2016-09-22 | 2016-12-20 | 장원석 | 증강현실을 이용한 치과 수술 방법 |
EP3518730B1 (en) | 2016-10-03 | 2024-04-17 | Verb Surgical Inc. | Immersive three-dimensional display for robotic surgery |
US20180092698A1 (en) | 2016-10-04 | 2018-04-05 | WortheeMed, Inc. | Enhanced Reality Medical Guidance Systems and Methods of Use |
US20180116732A1 (en) | 2016-10-18 | 2018-05-03 | The Board Of Trustees Of The Leland Stanford Junior University | Real-time Three Dimensional Display of Flexible Needles Using Augmented Reality |
US10231784B2 (en) | 2016-10-28 | 2019-03-19 | Medtronic Ardian Luxembourg S.A.R.L. | Methods and systems for optimizing perivascular neuromodulation therapy using computational fluid dynamics |
KR101837301B1 (ko) | 2016-10-28 | 2018-03-12 | 경북대학교 산학협력단 | 수술 항법 시스템 |
US10275927B2 (en) | 2016-11-16 | 2019-04-30 | Terarecon, Inc. | System and method for three-dimensional printing, holographic and virtual reality rendering from medical image processing |
US10918445B2 (en) | 2016-12-19 | 2021-02-16 | Ethicon Llc | Surgical system with augmented reality display |
US10499997B2 (en) | 2017-01-03 | 2019-12-10 | Mako Surgical Corp. | Systems and methods for surgical navigation |
US10412377B2 (en) | 2017-01-11 | 2019-09-10 | Koninklijke Philips N.V. | Augmented display device for use in a medical imaging laboratory |
CA3045780A1 (en) | 2017-01-30 | 2018-08-02 | Novartis Ag | Systems and method for augmented reality ophthalmic surgical microscope projection |
US10643360B2 (en) | 2017-02-10 | 2020-05-05 | Arizona Board Of Regents On Behalf Of Arizona State University | Real-time medical image visualization systems and related methods |
CA2958163C (en) | 2017-02-15 | 2019-02-12 | Synaptive Medical (Barbados) Inc. | Digitally enhanced surgical instruments |
US11158415B2 (en) | 2017-02-16 | 2021-10-26 | Mako Surgical Corporation | Surgical procedure planning system with multiple feedback loops |
US10010379B1 (en) | 2017-02-21 | 2018-07-03 | Novarad Corporation | Augmented reality viewing and tagging for medical procedures |
KR101891704B1 (ko) | 2017-02-28 | 2018-08-24 | 메디컬아이피 주식회사 | 3차원 의료영상 제어 방법 및 그 장치 |
CA3055244A1 (en) | 2017-03-10 | 2018-09-13 | Biomet Manufacturing, Llc | Augmented reality supported knee surgery |
US20180263727A1 (en) | 2017-03-15 | 2018-09-20 | Coredent Advancements, LLC | Surgical Guide and Associated Process for Dental Implants |
TWI634870B (zh) | 2017-03-20 | 2018-09-11 | 承鋆生醫股份有限公司 | 影像定位及擴增實境系統及其擴增實境方法 |
US9892564B1 (en) | 2017-03-30 | 2018-02-13 | Novarad Corporation | Augmenting real-time views of a patient with three-dimensional data |
WO2018187626A1 (en) | 2017-04-05 | 2018-10-11 | Sensus Healthcare, Inc. | Augmented reality glasses to help doctors visualize radiation patterns and overall tumor shape/size |
EP3609424A1 (en) | 2017-04-14 | 2020-02-19 | Stryker Corporation | Surgical systems and methods for facilitating ad-hoc intraoperative planning of surgical procedures |
DE102017108235A1 (de) | 2017-04-18 | 2018-10-18 | Bredent Medical Gmbh & Co. Kg | Brille mit wenigstens einem teiltransparenten Bildschirm und Verfahren zum Betrieb einer Brille |
US10478255B2 (en) | 2017-04-20 | 2019-11-19 | The Cleveland Clinic Foundation | System and method for holographic image-guided percutaneous endovascular percutaneous procedures |
US10716643B2 (en) | 2017-05-05 | 2020-07-21 | OrbisMV LLC | Surgical projection system and method |
US10667869B2 (en) | 2017-05-17 | 2020-06-02 | General Electric Company | Guidance system for needle procedures |
US10874327B2 (en) | 2017-05-19 | 2020-12-29 | Covidien Lp | Systems and methods for tracking and imaging a treatment probe having an integrated sensor |
US10432913B2 (en) | 2017-05-31 | 2019-10-01 | Proximie, Inc. | Systems and methods for determining three dimensional measurements in telemedicine application |
US10610179B2 (en) | 2017-06-05 | 2020-04-07 | Biosense Webster (Israel) Ltd. | Augmented reality goggles having X-ray protection |
EP3412242A1 (de) | 2017-06-09 | 2018-12-12 | Siemens Healthcare GmbH | Ausgabe von positionsinformationen eines medizintechnischen instruments |
US10242292B2 (en) | 2017-06-13 | 2019-03-26 | Digital Surgery Limited | Surgical simulation for training detection and classification neural networks |
US10390891B2 (en) | 2017-06-13 | 2019-08-27 | Biosense Webster (Israel) Ltd. | Hologram lens for positioning an orthopedic implant |
US20180360655A1 (en) | 2017-06-16 | 2018-12-20 | Michael S. Berlin | Methods and systems for oct guided glaucoma surgery |
US11229496B2 (en) | 2017-06-22 | 2022-01-25 | Navlab Holdings Ii, Llc | Systems and methods of providing assistance to a surgeon for minimizing errors during a surgical procedure |
US11589933B2 (en) | 2017-06-29 | 2023-02-28 | Ix Innovation Llc | Guiding a robotic surgical system to perform a surgical procedure |
US11071593B2 (en) | 2017-07-14 | 2021-07-27 | Synaptive Medical Inc. | Methods and systems for providing visuospatial information |
US11166764B2 (en) | 2017-07-27 | 2021-11-09 | Carlsmed, Inc. | Systems and methods for assisting and augmenting surgical procedures |
WO2019021236A1 (en) | 2017-07-28 | 2019-01-31 | Edda Technology, Inc. | METHOD AND SYSTEM FOR SURGICAL PLANNING IN A MIXED REALITY ENVIRONMENT |
US11432877B2 (en) | 2017-08-02 | 2022-09-06 | Medtech S.A. | Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking |
US11202652B2 (en) * | 2017-08-11 | 2021-12-21 | Canon U.S.A., Inc. | Registration and motion compensation for patient-mounted needle guide |
EP3445048A1 (en) | 2017-08-15 | 2019-02-20 | Holo Surgical Inc. | A graphical user interface for a surgical navigation system for providing an augmented reality image during operation |
EP3336848B1 (en) | 2017-08-15 | 2023-09-27 | Siemens Healthcare GmbH | Method for operating a medical imaging device and medical imaging device |
EP4245250A3 (en) | 2017-08-15 | 2023-09-27 | Holo Surgical Inc. | Surgical navigation system for providing an augmented reality image during operation |
US11432879B2 (en) | 2017-08-18 | 2022-09-06 | Siemens Healthcare Gmbh | Method and apparatus for wide area multi-body 6D pose tracking system |
US10987016B2 (en) | 2017-08-23 | 2021-04-27 | The Boeing Company | Visualization system for deep brain stimulation |
US10607420B2 (en) | 2017-08-30 | 2020-03-31 | Dermagenesis, Llc | Methods of using an imaging apparatus in augmented reality, in medical imaging and nonmedical imaging |
EP3449830B1 (de) | 2017-08-31 | 2020-01-29 | Siemens Healthcare GmbH | Steuerung eines medizintechnischen bildgebenden systems |
US10861236B2 (en) | 2017-09-08 | 2020-12-08 | Surgical Theater, Inc. | Dual mode augmented reality surgical system and method |
US10265138B2 (en) | 2017-09-18 | 2019-04-23 | MediVis, Inc. | Methods and systems for generating and using 3D images in surgical settings |
US10874460B2 (en) | 2017-09-29 | 2020-12-29 | K2M, Inc. | Systems and methods for modeling spines and treating spines based on spine models |
WO2019070729A1 (en) | 2017-10-02 | 2019-04-11 | Mcginley Engineered Solutions, Llc | SURGICAL INSTRUMENT FOR AIDING REAL-TIME NAVIGATION |
US10610310B2 (en) | 2017-10-02 | 2020-04-07 | Robin Elizabeth McKenzie TODD | User interface system and methods for overlaying surgical video output |
EP3467785A1 (en) | 2017-10-06 | 2019-04-10 | Thomson Licensing | A method and apparatus for encoding a point cloud representing three-dimensional objects |
US11911045B2 (en) | 2017-10-30 | 2024-02-27 | Cllag GmbH International | Method for operating a powered articulating multi-clip applier |
US11801098B2 (en) | 2017-10-30 | 2023-10-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
US11272985B2 (en) | 2017-11-14 | 2022-03-15 | Stryker Corporation | Patient-specific preoperative planning simulation techniques |
US11103314B2 (en) | 2017-11-24 | 2021-08-31 | Synaptive Medical Inc. | Methods and devices for tracking objects by surgical navigation systems |
US11617492B2 (en) | 2017-11-27 | 2023-04-04 | Optecks, Llc | Medical three-dimensional (3D) scanning and mapping system |
EP3720349A4 (en) | 2017-12-04 | 2021-01-20 | Bard Access Systems, Inc. | SYSTEMS AND METHODS FOR VISUALIZATION OF ANATOMY, LOCATION OF MEDICAL DEVICES, OR POSITIONING OF MEDICAL DEVICES |
US20190192230A1 (en) * | 2017-12-12 | 2019-06-27 | Holo Surgical Inc. | Method for patient registration, calibration, and real-time augmented reality image display during surgery |
US11179200B2 (en) | 2017-12-15 | 2021-11-23 | Medtronic, Inc. | Augmented reality solution to disrupt, transform and enhance cardiovascular surgical and/or procedural mapping navigation and diagnostics |
US10413363B2 (en) | 2017-12-15 | 2019-09-17 | Medtronic, Inc. | Augmented reality solution to optimize the directional approach and therapy delivery of interventional cardiology tools |
US11058497B2 (en) | 2017-12-26 | 2021-07-13 | Biosense Webster (Israel) Ltd. | Use of augmented reality to assist navigation during medical procedures |
US11424027B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Method for operating surgical instrument systems |
US11998193B2 (en) | 2017-12-28 | 2024-06-04 | Cilag Gmbh International | Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation |
US11896443B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Control of a surgical system through a surgical barrier |
US11937769B2 (en) | 2017-12-28 | 2024-03-26 | Cilag Gmbh International | Method of hub communication, processing, storage and display |
US11857152B2 (en) | 2017-12-28 | 2024-01-02 | Cilag Gmbh International | Surgical hub spatial awareness to determine devices in operating theater |
US10621733B2 (en) | 2017-12-31 | 2020-04-14 | Google Llc | Enhanced visualization of breathing or heartbeat of an infant or other monitored subject |
EP3509013A1 (en) | 2018-01-04 | 2019-07-10 | Holo Surgical Inc. | Identification of a predefined object in a set of images from a medical image scanner during a surgical procedure |
US10535427B2 (en) | 2018-01-10 | 2020-01-14 | Medtronic, Inc. | System for planning implantation of a cranially mounted medical device |
US11547481B2 (en) | 2018-01-11 | 2023-01-10 | Covidien Lp | Systems and methods for laparoscopic planning and navigation |
EP3743791A1 (en) | 2018-01-25 | 2020-12-02 | Neurosteer Inc. | Systems and methods for analyzing brain activity and applications pertaining to augmented reality |
US20190239850A1 (en) | 2018-02-06 | 2019-08-08 | Steven Philip Dalvin | Augmented/mixed reality system and method for the guidance of a medical exam |
US20190251551A1 (en) * | 2018-02-14 | 2019-08-15 | Blockchain Goose Inc. | Systems, apparatuses, and methods for assessing, managing, presenting and indicating the value of a set of digital assets |
US20190254753A1 (en) | 2018-02-19 | 2019-08-22 | Globus Medical, Inc. | Augmented reality navigation systems for use with robotic surgical systems and methods of their use |
EP3540494B1 (en) | 2018-03-16 | 2022-11-23 | Leica Instruments (Singapore) Pte. Ltd. | Augmented reality surgical microscope and microscopy method |
CN112040875A (zh) | 2018-04-06 | 2020-12-04 | 美敦力公司 | 基于图像的导航系统和使用相同的导航系统的方法 |
-
2020
- 2020-04-29 US US16/861,741 patent/US11607277B2/en active Active
-
2021
- 2021-04-27 JP JP2021074796A patent/JP7216764B2/ja active Active
- 2021-04-28 EP EP21170961.3A patent/EP3903714B1/en active Active
- 2021-04-28 CN CN202110466291.3A patent/CN113558762A/zh active Pending
-
2023
- 2023-02-21 US US18/171,731 patent/US20230200917A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018529399A (ja) * | 2015-06-30 | 2018-10-11 | キヤノン ユーエスエイ, インコーポレイテッドCanon U.S.A., Inc | レジストレーションの基準マーカー、システム、および方法 |
US20190369717A1 (en) * | 2017-03-10 | 2019-12-05 | Brainlab Ag | Medical augmented reality navigation |
JP2019030385A (ja) * | 2017-08-04 | 2019-02-28 | Hoya株式会社 | 内視鏡形状表示装置、及び内視鏡システム |
US20190175058A1 (en) * | 2017-12-07 | 2019-06-13 | Medtronic Xomed, Inc. | System and Method for Assisting Visualization During a Procedure |
Also Published As
Publication number | Publication date |
---|---|
US11607277B2 (en) | 2023-03-21 |
EP3903714A1 (en) | 2021-11-03 |
EP3903714B1 (en) | 2024-02-21 |
JP7216764B2 (ja) | 2023-02-01 |
US20210338337A1 (en) | 2021-11-04 |
US20230200917A1 (en) | 2023-06-29 |
CN113558762A (zh) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7135128B2 (ja) | 可視および近赤外線スペクトルにおけるエクステンデッドリアリティの外科手術ナビゲーションのための姿勢測定連鎖 | |
JP7478106B2 (ja) | 外科手術におけるコンピュータ支援ナビゲーションのための光学器具追跡ボリュームのエクステンデッドリアリティ視覚化 | |
US11839435B2 (en) | Extended reality headset tool tracking and control | |
JP7216768B2 (ja) | 三次元のエクステンデットリアリティアプリケーションでの医療画像における二次元のデジタル撮像の活用および通信 | |
US20210169581A1 (en) | Extended reality instrument interaction zone for navigated robotic surgery | |
JP2021090753A (ja) | ナビゲートされるロボット外科手術のための変動する不透明性を有する拡張現実ヘッドセット | |
US11690697B2 (en) | Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment | |
JP7376533B2 (ja) | 外科手術中のコンピュータ支援ナビゲーション用のカメラ追跡バー | |
JP7216764B2 (ja) | 手術中の支援されたナビゲーションのための拡張現実ヘッドセットのカメラによって追跡された参照アレイを備えた手術器具の位置合わせ | |
JP7282816B2 (ja) | ナビゲートされたロボット外科手術のためのエクステンデッドリアリティ器具相互作用ゾーン | |
JP2021194538A (ja) | 基準シードを介した可視光での外科手術での対象の追跡および合成画像登録 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210427 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220315 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7216764 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |