KR20210104715A - 광학 코드를 이용한 증강 현실 디스플레이 - Google Patents

광학 코드를 이용한 증강 현실 디스플레이 Download PDF

Info

Publication number
KR20210104715A
KR20210104715A KR1020217018532A KR20217018532A KR20210104715A KR 20210104715 A KR20210104715 A KR 20210104715A KR 1020217018532 A KR1020217018532 A KR 1020217018532A KR 20217018532 A KR20217018532 A KR 20217018532A KR 20210104715 A KR20210104715 A KR 20210104715A
Authority
KR
South Korea
Prior art keywords
image
image data
human body
medical
patient
Prior art date
Application number
KR1020217018532A
Other languages
English (en)
Inventor
웬델 알렌 기비
스티븐 토드 크베트코
Original Assignee
노바라드 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노바라드 코포레이션 filed Critical 노바라드 코포레이션
Publication of KR20210104715A publication Critical patent/KR20210104715A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3925—Markers, e.g. radio-opaque or breast lesions markers ultrasonic
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3954—Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

이미지 데이터 세트 및 인체를 참조하여 의료 기구 또는 투시 이미지를 사용하기 위한 기술이 설명된다. 발명의 방법은 환자의 신체 및 의료 기구의 시각적 이미지 데이터를 검출하는 단계를 포함할 수 있다. 환자의 신체와 의료 기구 상의 광학 코드를 식별할 수 있다. 일 작업은 인체 상의 하나 이상의 광학 코드와, 광학 코드에 대한 이미지 가시 마커의 고정된 위치를 사용하여, 이미지 데이터 세트를 인체와 정렬하는 것이다. 인체에 대한 의료 기구의 위치는 의료 기구 및 인체 상의 하나 이상의 광학 코드를 사용하여 의료 기구를 이미지 데이터 세트 및 인체에 참조하도록 결정될 수 있다.

Description

광학 코드를 이용한 증강 현실 디스플레이
혼합 또는 증강 현실은 물리적 세계 및 가상 컴퓨팅 세계의 이미지가 혼합 현실 세계로 결합될 수 있는 컴퓨팅 기술의 영역이다. 혼합 현실에서는 물리적 세계와 가상 세계의 사람, 장소 및 개체가 혼합된 환경이 된다. 혼합 현실 경험은 VR(가상 현실) 또는 AR(증강 현실) 헤드셋의 사용과 함께 기존 상용 또는 맞춤형 소프트웨어를 통해 제공될 수 있다.
증강 현실(Augmented Reality, AR)은 실제 현실 세계 환경의 라이브 다이렉트 뷰 또는 간접 뷰가 사운드, 비디오, 그래픽 또는 기타 데이터와 같은 컴퓨터-생성 감각 입력에 의해 증강되거나 보완되는 혼합 현실의 예이다. 증강은 실제 위치를 보고 환경 요소와 관련하여 수행된다. 고급 AR 기술(예: 컴퓨터 비전 및 물체 인식 추가)의 도움으로 사용자의 주변 현실 세계에 대한 정보가 대화형이 되고 디지털 방식으로 수정될 수 있다.
AR 시스템 또는 AR 헤드셋이 직면한 문제는 높은 정밀도로 물체의 위치 및 배향을 식별하는 것이다. 마찬가지로 가상 요소의 위치를 실제 환경의 라이브 뷰와 정렬시키는 것이 과제일 수 있다. AR 헤드셋의 정렬 해상도는 가상 객체를 보고 있는 물리적 객체에 정렬할 수 있지만, 정렬 해상도는 몇 센티미터 이내로만 정렬될 수 있다. 몇 센티미터 이내로 정렬을 제공하는 것은 엔터테인먼트 및 덜 까다로운 애플리케이션에 유용할 수 있지만 AR 시스템에 대한 더 대단한 위치 지정 및 정렬 해상도가 과학, 엔지니어링 및 의료 분야에서 요구될 수 있다. 결과적으로 위치 설정 및 정렬 프로세스는 수동으로 수행되어, 시간이 많이 걸리고 번거롭고 부정확할 수 있다.
도 1은 의료 기구 및 환자의 이미지 데이터가, 환자 및 의료 기구에 부착된 하나 이상의 광학 코드를 사용하여 환자의 실제 뷰에 참조되고 정렬될 수 있는, 예시적인 증강 현실(AR) 환경을 도시한다.
도 2는 환자에게 고정된 이미지 가시 마커를 갖는 광학 코드의 예를 도시한다.
도 3은 광학 코드가 고정된 환자의 신체 및 의료 기구의 실제 뷰 카메라에 의해 캡처될 수 있는 시각적 데이터의 예를 도시한다.
도 4는 의료 절차 동안 의료 기구의 포지셔닝 및 배향을 안내하기 위한 주석을 갖는 증강 현실(AR) 디스플레이에서의 뷰의 예를 예시한다.
도 5는 의료 시술 중 의료 기구의 사용 또는 안내 정보를 표시하기 위해 증강 현실 디스플레이 장치에 표시될 수 있는 화면의 예를 도시한다.
도 6은 광학 코드를 사용하여 인체에 대한 이미지 데이터 세트로부터 투시 이미지 및 이미지 투영을 가능하게 하기 위해 증강 현실(AR) 디스플레이를 사용하는 예를 도시한다.
도 7은 인체에 대해 이동 가능한 형광 투시 장치의 예를 도시하고 투시 이미지 및 이미지 투영도 이동 및/또는 수정된다.
도 8a는 증강 현실(AR) 헤드셋 또는 AR 디스플레이를 통해 결합된 보기를 가능하게 하는 투시 장치에 대한 관상 뷰에서 투시 이미지 및 이미지 투영을 생성하는 인체에 대해 이동 가능한 형광 투시 장치를 도시한다.
도 8b는 증강 현실(AR) 헤드셋 또는 AR 디스플레이를 통해 이미지 데이터 세트 및 초음파 이미지의 결합된 보기를 가능하게 하기 위해 광학 코드와 조합하여 사용되는 초음파 변환기를 도시한다.
도 9a는 이미지 데이터 세트 및 환자의 신체에 대한 의료 기구를 참조하기 위해 증강 현실 헤드셋을 사용하는 예시적인 방법의 흐름도이다.
도 9b는 광학 코드를 사용하여 형광 투시 이미지, 이미지 데이터 세트로부터의 이미지 투영 및 인체를 정렬하기 위해 증강 현실(AR) 디스플레이를 사용하는 방법을 예시한다.
도 10은 의료 기구가 이미지 데이터 세트 및 환자의 신체에 대해 참조될 수 있게 하기 위해 의료 기구 상의 광학 코드를 사용하는데 이용될 수 있는 예시적인 시스템을 도시한다.
도 11은 본 기술을 처리하는 컴퓨팅 시스템의 일 예를 나타내는 블록도이다.
의료 절차 동안 AR 헤드셋의 카메라의 관점에서 의료 기구 상에서 하나 이상의 광학 코드가 식별될 수 있도록 증강 현실(AR) 헤드셋을 사용하기 위한 기술이 제공된다. 의료 기구는 인체에 있는 하나 이상의 광학 코드 및 이미지 가시적 마커를 사용하여 인체와 정렬된 이미지 데이터 세트를 참조할 수 있다. 이미지 데이터 세트는 비광학 이미지 기법(예: MRI(자기공명영상), CT(컴퓨터 단층촬영) 스캐닝, X-ray 등)을 이용하여 미리 획득한 인체 일부 이미지일 수 있다. 이미지 데이터 세트는 인체에 위치한 적어도 하나의 광학 코드로부터 고정된 거리인 이미지 가시 마커를 사용하여 인체에 정렬될 수 있다. 예를 들어, 이미지 가시 마커와 광학 코드(예: AprilTag 또는 2D 광학 바코드)는 둘 다 하나의 재료 조각에 부착되어(예: 서로 같은 위치에 있거나 고정된 근접 위치에 있음) 인체에 대한 이미지 데이터 세트의 정렬을 용이하게할 수 있다. 이미지 가시 마커는 AR 헤드셋에서 광학적으로 볼 수 없는 캡처된 방사선 이미지 또는 이미지 데이터 세트와 같은 비가시적 이미징 방식으로 볼 수 있는 마커이다. 이미지 데이터 세트는 비광학 이미징 방식으로 인체 구조를 캡처하는 기계 캡처 이미지를 사용하여 이미지 가시 마커의 표현으로 캡처될 수 있다. 이미지 데이터 세트에서 이미지 가시 마커의 표현은 인체에 부착된 하나 이상의 광학 코드와 관련하여 이미지 가시 마커의 알려진 고정 위치를 사용하여 환자의 신체와 정렬될 수 있다(나중에 더 자세히 설명됨). 예를 들어, 이미지 가시적 마커는 방사선 불투과성 마커, MRI 비드, 초음파용 에코제닉 구조물 등이 될 수 있다.
의료 기구를 이미지 데이터 세트로 참조하는 것은 또한 인체 및 이미지 데이터 세트에 대한 의료 기구의 위치 및 배향을 식별하는 것을 포함할 수 있다. 따라서 의료인은 의료 기구의 광학코드를 이용하여 의료 기구를 참조하여 설정된 이미지데이터를 이용하여 환자의 가상 내부를 관찰하면서 AR 헤드셋을 통해 실제 환자를 바라보게 된다. AR 헤드셋의 가시광선 카메라를 이용하여 의료 기구를 포함하는 이미지 데이터를 촬영할 수 있다. 의료 기구에 가시적으로 표시되는 하나 이상의 광학 코드도 스캔할 수 있다. 예를 들어, 의료 기구의 위치 및 배향은 하나 이상의 광학 코드(예를 들어, APRIL 코드 또는 2D(2차원) 바코드)를 스캔함으로써 결정될 수 있다. 의료 기구는 의료 기기, 투관침, 카테터, 정형외과용 하드웨어, 외과용 임플란트, 클램프, 전기 소작기 또는 시스템, 수술실 물체, 장비 물체, 치료 물체, 의료 절차 물체, 치료 대상, 삽입 가능한 도구, 이식 가능한 대상, 의료 기기 등일 수 있다.
시각적 표시기, 주석 또는 가상 도구가 이미지 데이터 세트에 통합되어 AR 헤드셋을 사용하여 환자의 신체 및 이미지 데이터 세트에 대한 의료 기구의 위치 지정 및 방향을 안내할 수 있다. 의료 도구 또는 가상 도구는 또한 의료 도구 또는 가상 도구를 강조 표시하기 위해 AR 헤드셋을 사용하는 의료 도구 또는 가상 도구에 근접하거나 오버레이로 표시되는 그래픽 표시기(예: 컴퓨터 생성 그래픽 또는 기호)를 가질 수 있다. 그래픽 표시기는 의료 기구가 의료 절차와 연관되어 있는지 여부를 나타낼 수 있다. 의료 절차에서 의료 기구의 사용을 설명하는 지시 정보인 의료 정보도 검색될 수 있다. 또한, 의료 기구 상의 하나 이상의 광학 코드를 기점으로 하여 의료 기구의 윤곽 또는 테두리를 검출할 수 있다. 자동 감지 및 정렬의 사용은 환자의 실제 보기와 함께 의료 기구 및 이미지 데이터 세트의 시간 소모적이고 번거로운 수동 정렬을 피하거나 줄일 수 있다.
기술의 다른 구성에서, 증강 현실(AR) 헤드셋 또는 AR 디스플레이는 인체에 대한 이미지 데이터 세트로부터 투시 이미지 및 이미지 투영을 정렬하고 표시할 수 있다. 이미지 투영로서의 투시 이미지의 위치 및 배향은 인체에 대해 이동 가능한 투시 장치의 위치 및 배향에 의해 정의될 수 있다. 이와 관련하여, 인체에 대해 이동할 수 있는 이미징 장치에 대한 설명에는 이미징 장치의 이동성이 포함되어, 여기서 이미징 장치가 이미징 장치의 방향을 변경시킬 수 있고, 또는, 인체에 대해 방출기, 검출기, 변환기 및/또는 이미징 장치의 이미징 구성 요소를 이동시킬 수 있다. 투시 장치의 하나 이상의 광학 코드는 사람 또는 환자의 신체에 대한 투시 장치의 위치 및 배향을 결정하는 데 사용될 수 있다. 투시 이미지 및 이미지 투영은 투시 이미지가 촬영되는 인체 부분과 함께 표시될 수 있다. 이 정렬 및 표시는 인체에 하나 이상의 광학 코드 및 이미지 가시 마커를 사용하고 투시 장치에 하나 이상의 광학 코드를 사용할 수 있다. AR 헤드셋의 카메라로 촬영한 이미지 데이터에서 인체에 있는 광학 코드와 투시 장치에 있는 광학 코드를 식별할 수 있다.
인체에 있는 광학 코드 중 적어도 하나는 이미지 가시 마커에 대해 고정된 위치를 가질 수 있다. 이를 통해 AR 디스플레이(예: AR 헤드셋)를 통해 볼 때 이미지 가시 마커와 사람 신체의 하나 이상의 광학 코드 사이의 고정 거리를 사용하여 이미지 데이터 세트(예: 방사선 이미지)를 인체에 정렬할 수 있다. 투시 장치의 위치와 방향에 기초하여 이미지 데이터 세트로부터 이미지 투영이 생성될 수 있다. 투시 장치로부터의 투시 이미지는 투시 장치의 위치 및 배향을 정의하는 하나 이상의 광학 코드 및/또는 이미지 가시 마커(예: 방사선 불투과성 물체)에 기초하여 이미지 투영 및 인체와 정렬될 수 있다. 또한, 투시 이미지는 엑스선 빔이 인체를 통과하는 인체에 대한 위치에서 AR 헤드셋에서 가상으로 표시될 수 있고, 투시 이미지는 인체 부분을 오버레이하도록 정렬될 수 있다. 이미지 투영은 형광투시 이미지에 평행하게 배향될 수 있고 가상으로 X선 빔의 경로의 적어도 일부에 있는 것으로 AR 헤드셋에 표시될 수 있다. 정렬된 이미지는 AR 헤드셋을 사용하여 환자의 실제 세계 또는 실제 모습과 함께 표시되거나 정렬된 이미지가 별도의 AR 디스플레이(예: 별도의 디스플레이 화면)에 표시될 수 있다. 이 프로세스를 통해 실제 투시 이미지, 이미지 데이터 세트(예: 증강 현실 이미지 또는 이미지 투영), 사람의 실제 보기를 결합, 배치 및 방향을 지정하여 투시 이미지의 유용한 측면(예: 안내 인체 내 방사선 불투과성 물체) 및 이미지 데이터 세트(예: 더 나은 조직 대비 등)가 의료 절차 중에 결합된다.
투시 이미지를 사용하는 다른 구성에서, 투시 장치 상의 하나 이상의 광학 코드를 사용하여 인체에 대한 투시 장치의 위치 및 배향의 변화가 검출될 수 있다. 그런 다음 이미지 투영 및 투시 이미지 위치 및 배향은 투시 장치의 위치 및 배향 변경에 의해 정의된 대로 수정될 수 있다. 예를 들어, 이미지 데이터 세트의 투영의 움직임은 투시 장치의 방향 및 위치의 변화에 기초하여 투시 이미지와 일치하도록 공동 국부화되거나 동기화될 수 있다. 투시 장치의 주밍(zooming)은 또한 인체 상의 방사선 불투과성 물체를 사용하여 검출될 수 있고, 방사선 불투과성 물체의 크기는 AR 디스플레이에서 볼 때 이미지 투영의 크기를 조정하는 데 사용될 수 있다. 그래픽 표시기, 가상 도구 또는 가상 타겟팅 시스템은 또한 이미지 데이터 세트에 포함될 수 있고 형광투시 이미지에 대해 공동 국소화되어 AR 디스플레이를 사용하여 인체와 이미지 데이터 세트에 대해 투시경으로 보이는 물체(예: 투관침 또는 바늘)의 위치 및 배향을 안내할 수 있다. .
다른 구성에서, 카메라 또는 AR 헤드셋에 의해 검출되거나 캡처된 광학 코드는 올바른 환자에 대해 올바른 의료 절차가 수행되고 있는지 확인하는 데 사용될 수 있다. 또한, 광학 코드를 사용하여 의료 절차에 있는 사람 또는 환자와 관련된 정보를 검색하고 AR 시스템을 사용하여 의료진에게 표시할 수 있다. 광학 코드는 또한 환자의 신원을 확인하는 데 도움이 될 수 있다. 신체 및 의료 기구에 있는 하나 이상의 광학 코드를 사용하여 신체의 올바른 부분과 올바른 의료 도구가 의료 절차에 있는지를 결정하기 위해 확인이 수행될 수도 있다.
도 1은 환자(106) 또는 사람의 이미지 데이터 세트가 환자(106)에 부착된 광학 코드(200)를 사용하여 환자(106)의 실제 뷰와 정렬될 수 있는 예시적인 증강 현실(AR) 환경(100)을 도시한다. 환경(100)은 물리적 공간(102)(예를 들어, 수술실, 실험실 등), 사용자(104), 환자(106), 환자의 다중 광학 코드(200), 광학 코드(198)가 있는 의료 기구(118), 및 컴퓨터 네트워크(110)를 통해 서버(112)와 통신하는 AR 헤드셋(108)을 포함할 수 있다. 가상 사용자 인터페이스(114) 및 가상 커서(122)는 또한 이러한 가상 요소가 AR 헤드셋(108)에 의해 생성되고 AR 헤드셋(108)을 통해 사용자(104)가 볼 수 있음을 나타내기 위해 점선으로 표시된다.
AR 헤드셋(108)은 이미지 데이터 세트로 환자(106)의 실제 뷰를 증강할 수 있는 AR 컴퓨팅 시스템일 수 있다. 예를 들어, AR 헤드셋(108)은 뼈(106b)(도 1에 도시됨), 근육, 기관 또는 체액을 포함하는 환자(106)의 하나 이상의 3D 이미지 데이터 세트 뷰 또는 방사선 이미지로 환자(106)의 실제 뷰를 증강하기 위해 사용자(104)에 의해 사용될 수 있다. AR 헤드셋(108)은 이미지 데이터 세트(또는 이미지 데이터 세트의 투영)가 동적으로 재구성되도록할 수 있다. 따라서, 사용자(104)가 환자(106) 주위를 이동할 때, AR 헤드셋(108)의 센서는 환자(106)에 대한 사용자(104)의 위치를 결정하고, 이미지 데이터 세트를 사용하여 표시된 환자의 내부 해부학은 사용자가 환자에 대해 다른 방향을 선택함에 따라 동적으로 재구성될 수 있다. 예를 들어, 사용자(104)는 환자(106) 주위를 걸을 수 있다. 그 다음, AR 헤드셋(108)은 환자(106)의 하나 이상의 획득된 방사선 이미지 또는 이미지 데이터 세트(MRI, CT 스캔 등)로 환자(106)의 실제 뷰를 증강할 수 있다. 따라서 환자(106) 및 환자(106)의 이미지 데이터 세트 모두가 임의의 각도에서 사용자(104)에 의해 보여질 수 있다(예를 들어, 투영된 이미지 또는 이미지 데이터 세트로부터의 슬라이스가 또한 디스플레이 될 수 있음). AR 헤드셋(108)은 Microsoft HOLOLENS, Meta Company META 2, Epson MOVERIO, Garmin VARIA VISION 또는 기타 AR 헤드셋의 수정된 버전일 수 있다.
광학 코드(들)(200)는 환자(106)의 이미지 데이터의 생성(예를 들어, MRI, CT 스캔, X-선 등의 캡처) 이전에 환자(106)에 부착될 수 있고, 그 후, AR 헤드셋(108)을 통해 사용자(104)가 환자(106)를 보고 있는 동안 환자(106)에 부착된 상태로 유지될 수 있다. 그 다음, 광학 코드(200) 및 이미지 가시 마커는 환자(106)의 이미지 데이터 세트를 자동으로 정렬하기 위해 AR 헤드셋(108)에 의해 사용될 수 있다. 또한, 이미지 데이터를 자동으로 검색하기 위해 이미지 데이터를 캡처하는 동안 사용된 동일한 광학 코드(200)를 사용하면 AR 헤드셋(108)에 의해 불러온 이미지 데이터가 AR 헤드셋(108)을 통해 보고 있는 실제 환자(106)와 일치하도록 할 수 있다.
AR 헤드셋(108)은 환자의 표면을 매핑하거나 검출할 수 있고 유사하게 의료 기구(118)의 표면을 매핑할 수 있는 센서 기술을 갖고, 이 검출된 표면 매핑 데이터는 이미지 데이터 세트에 공동 등록될 수 있다. 의료 기구(118)는 환경(100) 내에서 빈번하게 이동될 수 있고, 의료 기구(118)의 실시간 위치는 광학 코드를 이용하여 3D 공간(102)에서 추적될 수 있고 의료 기구(118)는 이미지 데이터 세트(116)를 참조할 수 있다. 또는 환자(106)의 신체. 사용자(104)가 의료 기구(118)의 일부를 환자(106)의 신체에 삽입할 때, AR 헤드셋(108)은 환자(106)의 내부 해부학에서 의료 기구(118)를 묘사하기 위해 이미지 데이터 세트(116)에 투영된 의료 기구(118)의 가상 삽입 부분을 표시할 수 있다. .
이러한 방식으로, 의료 기구(118)의 가상 삽입 부분은 사용자(104)의 실제 뷰 상에 투영될 수 있고 의료 기구(118)의 실제 삽입 부분이 사용자의 실제 뷰로부터 숨겨지는 경우에도 이미지 데이터 세트를 참조할 수 있다. 104. 의료 기구(118)는 의료 기구(118)에 부착된 하나 이상의 광학 코드를 사용하여 추적될 수 있고, 그 다음 하나 이상의 광학 코드는 기준을 참조하여 의료 기구(118)의 지속적으로 업데이트되는 위치를 설정하기 위해 AR 헤드셋에 의해 검출될 수 있다. 일부 실시예에서, 의료 기구(118)는 사용자(104)가 환자(106)에 삽입하고자 하는 모든 것일 수 있다. 예를 들어, 의료 기구(118)는 바늘, 투관침, 메스(도 1에 도시된 바와 같이), 스코프, 드릴, 프로브, 클램프, 임플란트, 다른 의료 기구를 포함할 수 있지만 이에 제한되지 않는다.
가상 사용자 인터페이스(114)는 AR 헤드셋(108)에 의해 생성될 수 있고 환자(106)의 이미지 데이터 세트(116)로부터 환자(106)의 투영된 내부 해부학의 디스플레이를 변경하기 위한 옵션을 포함할 수 있다. 예를 들어, 가상 사용자 인터페이스(114)는 광학 코드로 식별되는 환자 또는 의료 기구(118)(예를 들어, 의료 기기, 임플란트 등)에 관한 정보를 포함할 수 있다. 다른 예에서, 가상 사용자 인터페이스(114)는 환자(106)의 의료 차트 또는 다른 의료 데이터를 포함할 수 있다. 일부 구성에서, 사람의 이미지 데이터(116) 또는 캡처된 방사선 데이터는 AR 헤드셋(108)에 의해 디스플레이 될 수 있다. 이미지 데이터(116)는 이미지 데이터로부터 환자(106)의 방사선학적으로 캡처된 해부학적 구조(예를 들어, 뼈(106b), 조직, 혈관, 체액 등)를 디스플레이한다. 이 이미지 데이터에는 이미지 데이터의 축 조각, 관상 조각, 시상 조각 또는 사선 조각이 포함될 수 있다. 조각(슬라이스)는 깊이 뿐 아니라 높이와 폭(예를 들어, 하나 이상의 복셀 레이어)까지 갖는 2차원(2D), 3차원(3D), 및 4차원(4D) 슬라이스(시간 시퀀스의 이미지들을 가진 3D 이미지)일 수 있다. 사용자(104)는 손 제스처, 음성 명령, 눈 움직임, 원격 제어(예를 들어, 손가락 클리커), 3D 마우스, VR 지팡이, 손가락 센서, 햅틱 기술, 또는 다른 제어 방법을 사용하여 가상 사용자 인터페이스(114)를 제어할 수 있다.
하나의 예시적인 구성에서, AR 헤드셋(108)을 각각 착용한 다수의 사용자가 동시에 존재할 수 있어 환자(106)의 이미지 데이터로 증강된 환자(106)를 볼 수 있다. 예를 들어, 의료 절차 동안 사용되는 다수의 AR 헤드셋(108)이 있을 수 있다. 하나의 AR 헤드셋(108)은 AR 헤드셋 모두에 디스플레이되는 방사선 이미지를 조정 및 조작하기 위해 제1 의료 전문가에 의해 사용될 수 있고, 제2 헤드셋 세트는 환자에 대한 의료 절차를 수행하는 것을 돕기 위해 제2 의료 전문가에 의해 사용될 수 있다. 또한 한 의료 전문가는 다른 의료 전문가의 요청에 따라 방사선 이미지를 켜거나 끌 수 있다.
도 2는 도 1의 환자(106)에 부착된 도 1의 광학 코드(200)를 도시한다. 도 1 및 도 2에 도시된 바와 같이, 광학 코드(200)는 AR 헤드셋(108)에 내장된 광 센서와 같은 광 센서에 인지될 수 있다. 일부 실시예에서, 광학 코드(200)는 AprilTag, 선형 바코드, 매트릭스 2차원(2D) 바코드, QR(Quick Response) 코드 또는 이들의 조합일 수 있다. AprilTag는 증강 현실 및 카메라 보정에 유용한 시각적 기준 시스템일 수 있는 2차원 바코드 유형이다. AprilTags는 카메라, 센서 또는 AR 헤드셋과 관련된 태그의 3D 위치, 방향 및 ID를 계산하는 데 사용할 수 있다.
광학 코드(200)는 환자(106)의 의료 데이터가 광학 코드(200)로 액세스될 수 있도록 환자(106)의 의료 데이터에 링크될 수 있다. 예를 들어, 광학 코드(200)는 AR 시스템을 사용하여 환자의 의료 절차에 사용할 이미지 데이터 세트를 자동으로 불러오는데 사용될 수 있다.
광학 코드(200)는 비광학 이미징 방식으로 인지할 수 있는 이미지 가시 마커 또는 마커(206)와 더 관련될 수 있다. 비광학 이미징 방식의 예로는 MRI 방식, CT(Computerized Tomography) 스캔 방식, X선 방식, PET(Positron Emission Tomography) 방식, 초음파 방식, 형광 방식, 적외선 열화상 촬영(IRT) 방식, 3D 유방 조영술 또는 SPECT(단일 광자 방출 컴퓨터 단층 촬영) 스캔 방식이 있다. 다른 예에서, 비광학 이미지 또는 이미지 데이터 세트는 위에 나열된 두 개 이상의 형태의 비광학 이미징 양식의 조합을 포함하는 이미지 또는 이미지 데이터 세트일 수 있다(예: 함께 결합된 두 개 이상의 이미지, 두 개 이상의 비광학 이미지의 세그먼트, MRI 이미지와 융합된 CT 이미지 등). 별도의 방식으로 설정된 각 이미지 데이터는 개별 이미지 데이터 집합의 이미지 가시성 코드를 가질 수 있어서, PET 이미지, CT 이미지, MRI 이미지, 형광투시 이미지 등을 AR 시스템 보기에서 인체에 있는 광학 코드와 함께 정렬 및 참조할 수 있다. 비광학 이미징 방식에 대해 지각할 수 있는 재료로부터 마커(206)를 형성하는 것은 마커(206) 또는 이미지 가시적 마커가 비광학 이미징 방식을 사용하여 캡처된 환자(106)의 이미지 데이터 세트에 나타나는 것을 가능하게할 수 있다. 마커(206)의 예는 금속 구, 액체 구, 방사선 불투과성 플라스틱, 금속 함침 고무, 금속 스트립, 상자성 재료 및 금속 잉크 섹션을 포함하지만 이에 제한되지는 않는다.
마커(206) 또는 이미지 가시 마커는 패턴으로 배열될 수 있고 광학 코드(200)의 위치에 대해 고정된 위치를 가질 수 있다. 도 2에 도시된 바와 같이, 광학 코드(200)는 재료(202)(예를 들어, 접착 붕대, 종이, 플라스틱, 금속 호일 등) 상에 인쇄될 수 있고 마커(206)는 재료(202)에 부착될 수 있다(예를 들어, 재료(202) 및 붕대의 어떤 표면에도 보이지 않음). 이 실시예에서, 마커(206)는 붕대(202)에 고정된 패턴으로 배열됨으로써 광학 코드(200)의 위치에 대해 고정된 위치를 갖는 패턴으로 배열될 수 있다. 대안으로서, 마커는 광학 코드(200) 자체 내에 내장될 수 있고, 가령, 마커(206)가 잉크 내에 내장되고, 이를 이용하여 광학 코드(200)의 적어도 일부가 재료(202)에 인쇄되며, 이러한 잉크는 자체 방사선 불투과성이며 X선에 투명하지 않은 잉크 입자와 같은 잉크 입자와 같이, 비광학 이미징 방식에 인지할 수 있는 재료를 포함한다. 이들 실시예에서, 광학 코드(200) 자체는 광학 코드로서 및 마커의 패턴으로서 기능할 수 있다. 추가적으로, 마커(206)는 환자(106)의 피부(106a)에 광학 코드(200)를 (적어도 일시적으로) 직접 부착하거나 인쇄함으로써 배열될 수 있다. 광학 코드(200)에서, 이 고정된 위치는 마커(206) 자체가 AR 헤드셋(108)의 센서에 가시적이거나 감지할 수 없는 경우에도 광학 코드(200)의 가시적 위치에 대한 마커(206) 또는 이미지 가시적 마커의 패턴의 위치를 계산하는 데 사용될 수 있다.
광학 코드(200) 및 마커(206)가 고정된 패턴으로 환자(106)에 부착되면, (마커(206)가 인지할 수 있는) 비광학 이미징 양식이 환자(106)의 이미지 데이터를 캡처하고, 특히, 이미지 데이터는 환자(106)의 내부 해부학(뼈(106b), 근육, 장기 또는 체액과 같은)을 포함할 수 있을 뿐만 아니라 위치에 대해 고정된 위치에 있는 마커(206)의 패턴을 포함할 수 있다. 즉, 환자(106)의 내부 해부학이 환자(106)의 이미지 데이터에 나타날 뿐만 아니라 마커(206)는 고정된 패턴이고, 마커(206)의 이 고정된 패턴의 위치는 환자(106)의 내부 해부학의 위치에 대해 고정된 위치에서 이미지 데이터 세트에 나타날 것이다. 한 예에서, 비광학 이미징 방식이 CT 스캔 방식인 경우에, CT 스캔 이미지는 환자(106)의 뼈(106b), 장기, 연조직 및 환자(106)의 뼈(106b), 장기, 연조직의 위치에 대해 고정된 위치에 배열된 마커(206)를 표시할 수 있다. .
또한, 환자(106)는 예를 들어 병원의 의료 이미지실에서 병원의 수술실로 이동될 수 있다. 그 다음, 사용자(104)(의료 전문가와 같은)는 사람 또는 환자의 신체 상의 광학 코드(200)의 위치를 결정하기 위해 AR 헤드셋(108)을 사용할 수 있다. 다음으로, AR 헤드셋(108)은 광학 코드에 기초하여 환자(106)의 이미지 데이터를 자동으로 검색할 수 있다.
3D 공간(102)에서 광학 코드(200)를 검출한 후, AR 헤드셋(108)은 3D 공간(102)에서 그리고 서로에 대한 마커(206)의 패턴의 위치를 자동으로 계산할 수 있다. 이 자동 계산은 3D 공간(102)에서 광학 코드(200)의 감지된 위치에 기초할 수 있고 또한 광학 코드(200)의 위치에 대한 마커(206) 패턴의 알려진 고정 위치에 기초할 수 있다. 마커(206)가 AR 헤드셋(108)에서 인지할 수 없는 경우(예를 들어, 마커(206)가 재료 아래에 내장되어 있기 때문에), AR 헤드셋(108)은 광학 장치의 위치에 기초하여 그리고 코드(200) 및 광학 코드(200)의 위치에 대한 마커(206) 패턴의 고정된 위치에 기초하여, 마커(206) 패턴의 위치를 자동으로 계산할 수 있다. 이 예에서, 이러한 고정된 위치는 AR 헤드셋(108)이 마커(206)의 위치를 직접 감지하지 않는 경우에도 AR 헤드셋(108)이 서로에 대한 3D 공간(102) 내 마커(206) 패턴의 위치를 자동으로 계산하는 것을 가능하게할 수 있다.
3D 공간(102)에서 마커(206) 또는 이미지 가시적 마커의 패턴의 위치를 계산한 후, AR 헤드셋(108)은 3D 공간(102)에서 마커(206)의 패턴의 계산된 위치를 이미지 데이터 세트에서 마커(206)의 패턴의 위치와 정렬시킴으로써, 3D 공간(102)에서 환자(106)의 내부 해부학의 위치를 등록할 수 있다. 정렬은 3D 공간(102)에서 마커(206)의 패턴의 계산된 위치 및 환자(106)의 내부 해부학적 위치에 대한 마커(206)에 설정된 이미지 데이터의 고정된 위치에 기초하여 수행될 수 있다. 등록은 AR 헤드셋(108)이 환자(106)의 실제 뷰 상에 투영된 이미지 데이터로부터 환자(106)의 내부 해부학을 실시간으로 디스플레이하는 것을 가능하게할 수 있다.
따라서, 광학 코드(200) 및 마커(206)의 관련 패턴은 환자(106)의 이미지 데이터를 환자(106)의 실제 뷰와 자동으로 정렬하기 위해 AR 헤드셋(108)에 의해 사용될 수 있다. 광학 코드(200)(예를 들어, AprilTag 및 2D 바코드 또는 광학 코드의 다른 조합)는 이미지 데이터의 캡처 중에 획득된 이미지 데이터를 자동으로 검색하는 데 사용될 수 있으며 AR 헤드셋(108)에 의해 검색된 이미지 데이터가 AR 헤드셋(108)을 통해 보고 있는 실제 환자(106)와 일치하는지 확인할 수 있다. .
추가 예에서, 3D 공간(102)에서 환자(106)의 실제 뷰와 환자(106)의 이미지 데이터의 정확한 정렬을 추가로 보장하기 위해 다수의 광학 코드(200)가 환자(106)에 동시에 부착될 수 있다. 또한, 도 2에 개시된 5개의 마커(206)의 패턴은 3개의 마커의 패턴 또는 7개의 마커의 패턴과 같은 다른 패턴으로 대체될 수 있고 각각의 광학 코드는 상이한 패턴을 가질 수 있다. 또한, 마커(206)가 환자(106)의 외부 층에 부착되기 때문에, 마커(206)는 모두 하나의 평면에 있지 않을 수 있지만, 대신 환자(106)의 외부 층의 임의의 곡률을 따를 수 있다. 이러한 실시예에서, 고정된 광학 코드(200)의 위치에 대한 마커(206) 패턴의 위치는 광학 코드(200) 및 마커(206)를 환자(106)에 부착한 후에 설정되어 환자(106)의 외부 층 상의 임의의 만곡을 설명할 수 있다.
도 3은 증강 현실 헤드셋 또는 증강 현실 시스템의 카메라에 의해 포착될 수 있는 시각적 이미지를 예시한다. 시각적 이미지는 광학 코드가 각각 부착된 환자(300)의 신체 및 의료 기구(314)를 포함할 수 있다. 광학 코드는 시각 이미지에서 의료 기구(312)의 위치 및 배향을 식별하는 데 사용될 수 있고 광학 코드는 의료 기구(312)의 윤곽 또는 형상을 식별하는 시작점으로 사용될 수 있다. 또한, 사람(300)의 신체 상의 광학 코드(310)를 이용하여, 환자에 대한 추가 정보(예: 환자 데이터베이스의 환자 기록)에 액세스할 수 있고, 또는 디스플레이를 위한 추가 가상 객체로 또는 오버레이로 사용되는 가상 객체(예: 개체 데이터베이스 내)에 액세스할 수 있다.
일 구성에서, 의료 기구의 위치 및 배향이 결정될 수 있도록 하기 위해 의료 기구(312) 상에 다수의 광학 코드(314)가 사용될 수 있다. 예를 들어, 광학 코드(314)는 의료 기구의 다수의 개별 면 또는 표면에 부착될 수 있다. 이러한 다중 광학 코드 각각은 의료 기구의 특정 얼굴, 측면 또는 방향을 식별하도록 코딩될 수 있다. 다중 광학 코드는 또한 의료 기구와 연관시키기 위해 원하는 3D(3차원) 가상 이미지를 식별하는 데 사용될 수 있다. 예를 들어, 하이라이트 그래픽 또는 가상 객체(예: 가상 의료 기기)가 의료 기구에 대한 오버레이로 선택될 수 있다.
환자(300) 및 의료 기구(314)에 부착된 광학 코드(310, 314)가 시각적 이미지 내에서 환자의 신체 및 의료 기구(314)의 위치 및 배향을 식별하는 데 사용되면, 이 위치 및 배향 정보는 각 광학 코드에 대해 추적되고 절차에서 의료 기구 및 환자의 위치 및 배향을 결정할 때 사용된다. 광학 코드(310)는 시술 중 환자의 시각적 이미지를 캡처하는 과정에서 캡처될 수 있다. 그 결과, 광학 코드(310)는 (예를 들어, AR 헤드셋과 같은) 증강 현실 디스플레이에서 환자의 이전에 캡처된 방사선 이미지에 의료 기구(314)를 참조하는 데 사용될 수 있다.
또한, 의료 기구 상의 광학 코드(314)는 특정 유형의 의료 기구(312)(예를 들어, 의료 기구 또는 정형외과 임플란트)를 식별하는데 사용될 수 있다. 의료 기구 위치 및 배향이 식별되면(314), 의료 기구의 위치는 위에서 논의된 이미지 데이터 세트 및 환자의 신체에 대해 결정될 수 있다. 의료 기구(314)의 위치를 더 잘 설명하기 위해, AR 시스템은 의료 기구의 크기, 모양, 윤곽 및 기타 관련 정보를 설명하는 정보에 액세스할 수 있다.
일 예에서, 의료 기구(312)와 연관된 추가 정보가 또한 검색될 수 있다. 예를 들어, 의료 기기 사용에 관한 정보를 검색하여 AR 헤드셋에 표시할 수 있다. 여기에는 의료 기기를 환자의 신체에 가장 잘 맞추는 방법에 관한 정보, 임플란트를 뼈에 삽입하기 위한 팁, 전자 의료 센서 설정 또는 의료 기기에 대한 기타 안내 정보가 포함될 수 있다.
또한, AR 시스템은 어떤 의료 기구(312)가 특정 의료 절차와 연관되는지를 식별하는 기록을 가질 수 있다. 광학 코드와 함께 이 정보를 사용함으로써, 증강 현실 시스템은 특정 의료 기구(312)가 현재 의료 절차와 올바르게 연관되어 있거나 올바르게 사용되고 있는지 여부를 결정할 수 있다. 예를 들어, 의료 기구(312)가 환자에게 이식되어야 하는 의료 절차에서, 증강 현실 시스템과 관련된 데이터 저장소에 액세스하여 정확한 임플란트가 환자에게 이식되고 올바른 도구가 채용되고 있다. 이 광학 코드, 절차 데이터 및 환자 데이터의 조합은, 정확한 환자에게 시술되고 있는지 여부, 신체의 정확한 부분에 대한 임플란트가 사용되고 있는지 여부, 또는 올바른 임플란트 크기가 사용되고 있는지 여부를 확인하는데 사용될 수 있다. 시술 전에 의료 기구(312)에 광학 코드를 사용하면 수술실에 올바른 의료 기구(312)가 있다는 확신이 증가할 수 있다. 다른 예에서, AR 시스템은 주어진 의료 기구(312)가 절차에서 승인되었음을 확인하는 광학 표시기를 디스플레이하거나 부정확한 의료 기구(312) 또는 기구가 존재한다는 것을 사용자에게 경고할 수 있다.
도 4는 의료 절차 동안 의료 기구(312)와 연관된 추가 정보를 식별하는 것을 예시한다. 위에서 언급한 바와 같이, AR 시스템은 광학 코드(314)를 사용하여 환자(300), 의료 기구(312), 및/또는 수행 중인 의료 절차와 관련된 정보에 액세스할 수 있다. AR 시스템은 시술 중 사용자를 돕기 위해 AR 헤드셋을 통해 의료 기구 사용과 관련된 정보를 표시할 수 있다. 일례로, 이 정보는 의료 기기의 적절한 사용을 설명할 수 있다. 예를 들어, AR 시스템이 의료 기기(312)에서 광학 코드(314)를 캡처하는 경우, 광학 코드(314)의 값은 데이터베이스에서 해당 기기에 대한 정보를 검색하기 위한 조회 값으로 사용될 수 있다. 이러한 정보는 AR 헤드셋에 표시될 수 있는 의료 기기(312)의 사용을 위한 계획된 의료 절차 단계를 더 포함할 수 있다.
의료 전문가는 의료 절차의 특정 측면을 미리 계획할 수 있다. 예를 들어, 절개의 위치 및 배향 또는 절단 조직의 경로는 주석을 사용하여 미리 계획될 수 있다. 이러한 계획은 증강 현실 시스템과 관련된 데이터베이스에 입력될 수 있다. 원하는 경우 사용자는 증강 현실 시스템에 관련 사전 계획 의료 절차 정보를 AR 헤드셋에서 사용자에게 표시하도록 지시할 수 있다. 이 경우, 사용자 또는 시스템은 의료 기기(612)의 위치를 설명하기 위해 미리 결정된 주석(400, 402)을 가질 수 있다. 가상 안내 시스템은 의료 절차를 위한 의료 기기용 미리 계획된 경로 또는 정렬 지점, 선 또는 평면을 설명하기 위해 AR 헤드셋에 의해 표시될 수 있다. 그 결과, 증강 현실 디스플레이는 의료 기구(312)를 원 주석(400, 402)으로 이동하라는 표시와 함께 안내 주석(404)을 표시할 수 있다. 의료 전문가가 의료 기구의 위치 및 배향(가령, 3차원)을 AR 헤드셋의 그래픽을 이용하여 시각적으로 묘사된 적절한 위치로 이동시켰을 때, 적절한 위치 및 배향이 충족되었음을 나타내기 위해 그래픽 표시자, 가상 도구 또는 가상 타겟팅 시스템이 표시될 수 있다. 의료 기구(312)의 위치 설정 및 배향은 3차원 또는 2차원으로 안내될 수 있다. 일례로, 의료 기기가 정렬되지 않은 경우 빨간색 표시기가 표시되고 의료 기기가 정렬된 경우 AR 헤드셋을 통해 녹색 표시기가 표시될 수 있다. 따라서, 의료 기구가 정의된 위치, 표적, 진입점 또는 표적 물체 근처로 이동할 때 주석이 수정되고, 애니메이션화되고/되거나 색상이 변경될 수 있다.
유사하게, 가상 기구 또는 가상 도구는 가시적 기구와 가상 기구의 정렬을 허용하도록 디스플레이 될 수 있다. 예를 들어, 그래픽 또는 가상 도구는 AR 헤드셋을 사용하여 표시되거나 투영될 수 있다. 가시적 도구 또는 현실 세계의 도구가 가상 도구 또는 가상 도구와 정렬될 때, AR 시스템은 가시적 도구가 가상 도구와 정렬된다는 것을 나타내는 메시지 또는 그래픽을 표시할 수 있다. 또한, 가상 기구의 이러한 정렬은 또한 이전에 획득한 이미지 데이터 세트 또는 절차 동안 획득된 이미지 데이터 세트(예를 들어, 절차 동안 획득한 CT 스캔 또는 MRI 이미지)에서 볼 수 있는 해부학적 구조와의 정렬을 가능하게할 수 있다.
도 5는 절개 지점(504)이 환자 신체의 특정 부분에 오버레이 또는 가상 객체로서 AR 디스플레이에 표시되는 것을 예시한다. 사용자는 이 가상 절개 지점을 사용하여 수술을 시작할 때 사람(300)의 신체 및/또는 이미지 데이터 세트에 대한 의료 기기의 초기 배치를 안내할 수 있다. 유사하게, 의료 기기의 위치 및 배향을 감지하는 능력은 절개의 깊이 또는 각도, 클램프의 적절한 배치 등을 안내함으로써 의료 전문가를 보조하는 능력을 포함할 수도 있다. 또한, 시스템은 주어진 의료 기구를 고정하기 위한 정확한 각도 또는 방향에 대한 지침을 표시할 수 있다. 예를 들어, AR 디스플레이는 환자의 신체 부분의 위치 및 배향에 기초하여 현재 의료 절차에서 기기의 정확한 움직임을 위해 AR 디스플레이에 그래픽 표시기, 가상 도구 또는 가상 타겟팅 시스템을 제공할 수 있다. 예를 들어, 시스템은 사람의 개별 신체에 맞춤화된 절개선을 따라 라인의 시각적 표시를 표시할 수 있다. 유사하게, 시스템은 기구의 현재 깊이를 추정하고 의료 기구가 환자의 신체 및/또는 이미지 데이터 세트에 대해 이동될 것임을 나타낼 수 있다. 절차 동안, 증강 현실 시스템은 하나 이상의 광학 코드(예를 들어, 환자(310) 또는 의료 기구(312) 상의 광학 코드)를 사용하여 의료 전문가를 안내하기 위해 AR 디스플레이에 계획 정보를 액세스, 정렬 및 표시할 수 있다.
의료 준비 구성에서, 본 개시에 설명된 바와 같은 광학 코드의 사용은 의료 절차를 위해 환자를 준비하는 의료 전문가가, 피부가 준비되어야 하는 곳 또는 의료 절차 전에 다른 의학적 준비가 이루어져야 하는 곳인 환자의 신체 또는 해부학적 부분을 식별하도록 그래픽으로 지시받을 수 있게할 수 있다. 예를 들어, AR 헤드셋이 환자의 신체에서 하나 이상의 광학 코드를 식별한 후, 의료 전문가가 의료 준비를 수행하는 것을 돕기 위해 그래픽 라인, 그래픽 모양 또는 가상 도구가 AR 헤드셋에 표시될 수 있다. 이를 통해 의료 전문가가 환자를 올바른 해부학적 위치에 배치, 방향 지정 및 준비하고, 정확한 절개 지점을 준비하고, 환자 해부학의 올바른 부분에서 준비하도록 안내할 수 있다. 예를 들어, 환자에게 정확한 척추나 고관절 위치를 찾는 것이 어려울 수 있으며 이 기술은 이러한 지침을 제공한다. 이 지침은 수술실과 외과 기술자의 전체 처리량을 향상시킬 수 있다.
도 6은 증강 현실(AR) 시스템을 사용하여 사람(606a)의 신체에 대해 정렬된 이미지 데이터 세트로부터 투시 이미지(654) 및 이미지 투영(656)을 디스플레이하기 위한 기술(602)을 예시한다. 투시 장치(660)는 의료 전문가가 볼 수 있는 환자의 투시 이미지의 라이브 비디오 또는 일련의 투시 이미지를 얻기 위해 환자를 통해 X선 빔(예: 연속 X선)을 보낼 수 있다. 투시 장치(660)는 또한 인체에 대해 이동할 수 있다. 투시 이미지(654) 및 이미지 투영(656a)는 투시 장치(660) 및/또는 이미지 가시성 마커에 의해 정의된 위치 및/또는 배향을 가질 수 있다. AR 시스템 또는 AR 헤드셋(608)에 연결된 카메라 또는 광 센서(예: 가시광선 센서 또는 IR 센서)는 인체에 대해 움직이는 투시 장치(660) 및 수술대(603)에 있는 인체 일부의 시각적 이미지 데이터를 캡처할 수 있다. 사람(606a)의 신체에 있는 하나 이상의 광학 코드와 투시 장치(652, 658)에 있는 하나 이상의 광학 코드는 광학 코드 인식 및 스캐닝 기술 또는 기타 광학 코드 인식 기술을 사용하여 시각적 이미지 데이터에서 식별되고 스캔될 수 있다.
이미지 투영(656)은 투시 이미지(654)가 캡처되고 있는(예를 들어, 평행한, 비스듬한, 또는 다른 고정된 방향) 이미지 데이터 세트의 부분을 표시하도록 선택될 수 있다. 이미지 투영은 정맥, 신경 또는 뼈와 같은 인체에 대한 특정 해부학적 유형을 표시할 수도 있다. 투시 이미지(654)는 단일 층 투영(예를 들어, 2차원(2D) 투영)일 수 있다. 정렬, 위치 지정 및 방향은 인체에 있는 광학 코드(620) 및 이미지 가시 마커, 이미지 투영에 대한 이미지 가시 마커의 표현, 투시 이미지(654)에서 캡처된 이미지 가시 마커, 및 투시 장치의 광학 코드(652, 658)(예: C-arm 장치, 카테터 삽입 검사실, 혈관 조영 검사실, 또는 이동식 방사체 및 검출기가 있는 형광투시 장치)를 사용하여 수행될 수 있다.
인체 상의 광학 코드(620) 중 적어도 하나는 (이전에 상세히 설명된 바와 같이) 이미지 가시 마커에 대해 고정된 위치를 가질 수 있다. 이것은 이미지 데이터 세트(예를 들어, 캡처된 방사선 이미지)가 인체에 있는 하나 이상의 광학 코드를 참조하여 이미지 가시 마커의 고정된 위치를 사용하여 사람(606)의 신체와 정렬되는 것을 허용한다. 인체는 천(607)으로 덮일 수 있지만 신체의 내부 해부학(650)은 이미지 데이터 세트를 사용하여 가상으로 볼 수 있다.
이미지 투영(656)은 투시 장치(660)의 위치 및 배향에 기초하여 이미지 데이터 세트로부터 생성될 수 있다. 이미지 투영(656)은 관상 투영, 경사 투영 또는 투시 장치(660)의 배향과 일치하는 다른 투영 방위가 될 수 있다. 이미지 투영은 이미지 데이터 세트(예를 들어, 다중 레이어 투영)의 다중 평면 재구성(MPR)인 단일 평면 뷰 또는 "슬래브"를 정의하기 위해 이미지 데이터 세트로부터 투영된다. 이미지 투영은 임의의 선택된 두께일 수 있으며 적절한 보기에서 조직의 MIP(최대 강도 투영)일 수 있다.
사람(606a)의 신체에 대한 투시 장치(660)의 위치 및 배향은 투시 장치(660) 상의 하나 이상의 광학 코드(652, 658)를 사용하여 결정될 수 있다. 인체 및 이미지 가시 마커 및/또는 사람(606a)의 신체 상의 광학 코드에 기초한 이미지 데이터 세트와 정렬된다. 또한, 투시 이미지(654)는 사람(606)의 신체에 대한 투시 장치(660)의 위치 및 배향을 사용하여 위치되고 배향될 수 있다.
방사선 불투과성 마커는 투시 이미지(654)을 환자(606a)의 신체와 정렬하기 위해 이미지 가시성 마커로서 사용될 수 있다. 일부 상황에서 방사선 불투과성 마커는 이미지 데이터 세트를 정렬하는 데 사용되는 동일한 이미지 가시성 마커일 수 있거나 방사선 불투과성 마커는 별도의 광학 코드를 가질 수 있는 완전히 별도의 방사선 불투과성 마커(예: 리드 직사각형)일 수 있다. 예를 들어, 방사선 불투과성 마커는 투시 이미지(654)을 인체와 정렬하는 데 사용되는 제1 유형의 이미징 방식 마커일 수 있는 반면, 제2 이미징 방식 마커(예: MRI 유형 마커 또는 초음파 마커)는 이미지 데이터 세트를 인체와 정렬하는 데 사용될 수 있다. 정렬된 데이터 세트 이미지, 이미지 투영, 및 형광투시 이미지는 또한 AR 헤드셋(608)을 사용하여 또는 환자의 실제 세계 뷰와 함께 별도의 AR 디스플레이(662)에 표시될 수 있다. 따라서, 증강 현실 이미지는 사람(606a)의 신체에 대해 수행되는 라이브 형광투시 중재 또는 진단 절차에 결합될 수 있다.
앞서 설명된 바와 같이, 형광 투시 장치 및 AR 시스템을 사용하는 의료 전문가에게 다수의 유용한 뷰(또는 '보기'라고 함)가 제공될 수 있다. 하나의 뷰에는 부분적으로 투명한 투시 이미지를 촬영하고 투시 이미지를 오버레이하여 투시 이미지가 광학 코드를 사용하여 환자의 실제 보기 위에 해부학적으로 정렬되도록 하는 기능이 포함될 수 있다. 다른 뷰는 이미지 데이터 세트가 투시 이미지와 병합되고 광학 코드를 사용하여 환자의 신체와 정렬되도록할 수 있다. 또한, 이미지 데이터 세트의 투영은 AR 시스템 또는 AR 헤드셋을 통해 의료 전문가가 변경하는 실제 신체 보기와 함께 이동하거나 재구성할 수 있다. 또 다른 뷰는 투시 이미지의 결합된 뷰와 환자에 정렬되고 오버레이된 투시 이미지에 평행한 이미지 데이터 세트(예: 2D 직사각형 슬라이스)의 투영을 표시하는 AR 시스템에 제공될 수 있다. (예: 의료 전문가가 X선 빔 자체와 동일한 관점에 있는 경우 의료 전문가가 볼 수 있는 내용). 이 구성에서 투시 장치가 이동함에 따라 투영이 이동하거나 재구성될 수 있다.
광학 코드를 갖는 의료 기구(618)는 또한 앞서 설명된 바와 같이 이미지 데이터 세트 및 이미지 프로젝션(656)과 관련하여 참조될 수 있다. 이것은 의료 전문가가 이미지 데이터 세트 또는 이미지 투영(656) 및 형광투시 이미지(654)를 참조하여 의료 기구(618)를 동시에 볼 수 있게 할 수 있다. 투시 이미지(654)는 의료 전문가 또는 사용자가 원하는 임의의 투명도 레벨로 설정될 수 있다.
도 7은 의료 전문가(604)가 다른 관점에서 투시 이미지(654)을 얻을 수 있도록 사람 또는 환자의 신체(606a)에 대해 투시 장치(660)의 위치가 변경될 수 있음을 예시한다. 인체에 대한 투시 장치의 위치 및 배향의 변화는 AR 헤드셋(608) 또는 AR 시스템과 연관된 카메라에 의해 캡처된 하나 이상의 광학 코드(652, 658)를 사용하여 검출 및 정량화될 수 있다. 투시 장치(660)의 위치 및 배향의 변경으로 인해, 이미지 투영(656) 및 투시 이미지(654)의 위치 및 배향이 수정될 수 있다. 예를 들어, 이미지 투영(656)의 위치 및/또는 방향은 AR 헤드셋에 의해 보여지는 바와 같이, 환자(606a)의 신체에 비교하여 하나 이상의 광학 코드(652, 658)를 사용하여 투시 장치(660)의 위치 및 배향의 검출된 변화에 기초하여 이동될 수 있다. 이미지 데이터 세트로부터의 이미지 투영(656)이 재구성될 수 있거나 투시 장치(660)의 수정된 위치 및 배향을 사용하여 새로운 투영이 생성될 수 있다.
예를 들어, 투시 장치(660)는 한 축에서 45도 회전할 수 있다. 결과적으로, 이미지 투영(656)는 새로운 방향으로 재생성될 수 있고, 형광 투시 이미지(654)는 AR 디스플레이에서 볼 때 회전된 방향으로 표시되어 투시 이미지(654) 및 이미지 투영(656)의 방향을 AR 헤드셋을 통해 볼 때 사람(606a)의 신체에 대해 적절한 방향으로 정렬되어야 한다. 투시 이미지(654)는 신체의 광학 코드, 이미지 가시 마커에 의해 정의된 바와 같이, 및/또는 형광 투시 장치의 수정된 위치 및/또는 방향에 의해 정의된 바와 같이 인체에 대해 3D 공간에서 수정된 방향을 가질 수 있다. 따라서, X선 빔의 위치 및 배향이 변경될 때 이미지 투영(656) 및 형광투시 이미지(654)의 위치 및 배향이 변경된다.
환자에 대한 투시 장치(660)의 위치 및 배향을 결정하는 것은 또한 AR 시스템이 이미지 투영을 재구성할 수 있게 하여 이미지 투영(656)가 투시 검출기로부터 획득된 투시 이미지(654)와 평행하도록 한다. 추가로, 투시 이미지(654)는 투시 이미지(654)가 신체로부터 캡처되는 위치에 기초하여 사람(606a)의 신체에 대해 위치될 수 있다(예를 들어, X선 빔을 사용하여). 따라서, 투시 이미지(654), 이미지 투영(656), 및 환자의 신체(606a)가 정렬되어 의료 전문가가 투시 이미지(654)에 대한 오버레이로서 이미지 투영(656)를 사용하여 사람 또는 환자의 해부학적 구조를 볼 수 있다. 이미지 투영(656) 및 투시 이미지(654)의 위치 및 배향은 X선 빔이 통과하는 인체 부분에 기초한 AR(증강 현실) 보기를 나타낼 수 있다(의료 전문가의 시점과 반대).
AR 시스템은 3D 이미지 데이터 세트를 재구성하여 투시 장치(654)의 위치 및 배향과 일치하는 임의의 각도로부터의 투영을 제공할 수 있다. 예를 들어, 투시 장치(660)가 측면 뷰를 캡처하도록 배치되면 이미지 데이터 세트의 측면 투영은 측면 투시 이미지 보기와 함께 제공될 수 있다. 사람 신체의 실제 세계 보기, 이미지 데이터 세트의 이미지 투영, 투시 이미지를 결합하고 정렬하면 의료 전문가가 환자의 내부 해부학을 더 잘 보고 탐색할 수 있다. 3D(3차원) 이미지 데이터 세트는 더 나은 연조직 대비(예: 내부 해부학에서 장기 및 혈관을 볼 수 있음)와 형광투시 이미지가 제공하지 못할 수 있는 3D 참조 환경을 제공한다.
일 구성에서, 투시 장치(660)는 투시 이미지(654)를 캡처하는 동안 사람(606a)의 신체에 대해 줌될 수 있다. 그 결과, 이미지 투영(656)에 대한 조정은 이미지 투영(656)를 투시 이미지(654)의 줌과 일치하도록 하기 위해 투시 이미지(654)에 캡처된 이미지 가시 마커(즉, 방사선 불투과성 마커(830))의 크기 변화에 기초하여 수행될 수 있다. 예를 들어 알려진 크기의 이미지 가시 마커가 캡처되면(예를 들어, 정의된 크기 또는 길이의 리드 마커) 투시 이미지(654)가 확대될 때 이미지 투영이 확대되는 양은 투시 이미지에서 이미지 가시 마커의 크기의 시각적 증가에 의해 결정될 수 있다(또는 축소의 경우 감소). 대안적으로, 확대/축소 값이 투시 장치(660)에 의해 전자적으로 보고될 수 있거나 확대/축소 값이 형광 투시 이미지(654)에서 또는 함께 제공될 수 있고, 이미지 투영(654)는 투시 장치에 의해 전자적으로 보고된 바와 같이 형광 투시 줌과 일치하도록 수정될 수 있다.
또한, 투시 장치에 배율이 적용될 수 있으므로 직접 측정하기 어려울 수 있는 배율 효과의 변동이 있을 수 있다. 예를 들어, 엑스선 검출기와 피사체 사이의 거리가 변화함에 따라 배율 변화가 발생할 수 있다. 따라서 줌 조정에 방사선 불투과성 마커를 사용할 수 있다. 따라서 확대된 보기에서 방사선 불투과성 마커(예: L 모양)가 식별되고 방사선 불투과성 마커가 알려진 물리적 크기의 두 배인 경우 이미지 데이터 세트는 방사선 불투과성 마커의 두 배 크기와 일치하도록 조정될 수 있다. 이미지 데이터 세트가 축소되거나 확대되면 이미지 데이터 세트가 실제 인체 보기와 잘 정렬되지 않을 수 있다. 그 결과, 확대된 이미지 데이터 세트와 투시 이미지는 AR 헤드셋과 별개인 AR 디스플레이(662)에 정렬되고 표시될 수 있거나 인체에 직접 오버레이되지 않는 AR 헤드셋 시야의 일부에 표시될 수 있다(예: AR 헤드셋의 시야 중심 측면에서 벗어남).
X-선 소스 또는 X-선 검출기로부터의 환자 해부학적 거리로 인한 확대 효과를 감소시키기 위해, 원형 방사선 불투과성 구체가 환자의 등중심에 위치될 수 있다. 투시 장치에 배율을 사용하는 경우 X선 빔 소스로부터 신체 부위의 거리에 따라 배율이 달라질 수 있다. 예를 들어, 엑스선 빔 소스에 가까운 신체 부위의 배율이 더 클 수 있다. 이러한 배율의 차이를 수정하기 위해 사용되는 방사선 불투과성 마커는 알려진 크기(예: 1cm)의 금속 구일 수 있다. 금속 구를 관심 있는 신체 부위(예: 이미지의 등중심) 근처에 배치한 다음 이미지 데이터 세트의 확대/축소를 금속 구와 일치하도록 설정할 수 있다. 따라서 금속 구가 투시 이미지에서 더 작거나 크게 나타나면 해당 크기를 기반으로 이미지 데이터 세트를 확대할 수 있다. 금속 구체도 모든 각도에서 동일하게 나타난다. 이러한 모양의 일관성은 금속 구가 이미지 데이터 세트에 적용될 형광 투시 이미지의 확대/축소를 감지하는 효과적인 마커가 될 수 있도록 한다.
AR 디스플레이(662)의 사용은 또한 의료 전문가가 직접 본 환자의 실제 모습의 위치 및 배향과 더 잘 일치하도록 가상 환자를 디스플레이하기 위해 AR 디스플레이에 정렬되고 표시되는 투시 이미지 및 이미지 투영의 뷰를 변경하는 능력을 제공할 수 있다. 투시 장치에 의해 포착된 투시 이미지의 방향에 관계없이, 정렬된 투시 이미지와 이미지 투영의 디스플레이는 의사를 지원하는 방식으로 및/E또는 환자의 위치 및/또는 방향의 실제 뷰와 일치하는 방식으로 AR 디스플레이에서 배향될 수 있다. 예를 들어, 투시 이미지는 실제로 보고 있는 환자의 신체와 비교하여 수평, 수직 또는 이상한 방향으로 반전될 수 있다. 어려운 보기 방향은 투시 장치(660)의 캡처 방향으로 인해 발생할 수 있다. 따라서, 정렬된 형광 투시 이미지(654) 및 이미지 투영(656)이 있는 이미지는 뒤집히거나 방향이 바뀔 수 있다(예: 수평으로 뒤집기, 특정 각도만큼 뒤집기, 이상한 방향으로 이동) 의료 전문가가 보기 위해 의료 절차를 수행하기 쉽게 하거나 의료 전문가가 실제 보기에서 보는 것과 더 가깝게 일치시킵니다. 이미지 방향을 변경하는 이 기능은 환자에 대한 절차를 수행할 때 보다 직관적인 상호 작용을 가능하게 한다. 예를 들어 투시 이미지 안내로 의료 절차를 수행하는 것은 모든 것이 거꾸로 되어 있을 때 매우 어려울 수 있다.
그래픽 표시기, 가상 도구 또는 가상 표적화 시스템은 또한 AR 디스플레이를 사용하여 본 인체와 이미지 데이터 세트에 대해 형광투시로 볼 수 있는 물체(가령, 바늘 또는 카테터)의 위치 및 배향을 안내하도록 이미지 데이터 세트 또는 이미지 투영부에 사용될 수 있다. 유사하게, 그래픽 표시기는 의료 절차 동안 형광투시로 볼 수 있는 물체를 안내하는 것을 돕기 위해 투시 이미지(654)에 배치될 수 있다. 대안적으로, 그래픽 표시기는 형광투시 절차에 사용되는 임의의 의료 기구(618)를 안내하는 데 사용될 수 있다.
도 8a는 의료 전문가가 인체(806) 내에서 보이는 항목(810)을 형광투시로 안내할 수 있도록, 사람(806)의 신체의 단면도, 정렬된 이미지 데이터 세트(820)로부터의 이미지 투영(804), 정렬된 형광투시 이미지(802) 및 형광투시 장치(814)의 조합의 측면도를 예시한다. 형광투시로 볼 수 있는 물체(810)(예: 바늘)는 인체와 정렬된 이미지 투영(804) 및/또는 이미지 데이터 세트(820)에 대해 형광투시 이미지(802)에서 의료 전문가에 의해 보여지고 안내될 수 있다. 이미지 투영(804)는 AR 헤드셋 또는 AR 디스플레이에서 투시 이미지(802)에 오버레이된 것으로 볼 수 있다. 대안적으로, 이미지 투영(804)는 투시 이미지(802)가 이미지 투영(804) 위에 오버레이된 것처럼 보일 수 있고, 또는, 이미지 투영(804)가 정렬된 이미지 데이터 세트(820) 내에 있는 것처럼 보일 수 있다. 앞서 논의된 바와 같이, 그래픽 표시기, 가상 도구, 또는 가상 타겟팅 시스템이 이미지 데이터 세트 또는 이미지 투영에 제공되어, 사람(806)의 신체 및 이미지 데이터 세트(820)에 대해 형광투시로 볼 수 있는 물체(810)의 위치 및 배향을 안내할 수 있다.
이미지 데이터 세트와 정렬된 투시 이미지(802)의 투명도는 이미지 투영(804) 또는 의료 전문가가 보고 싶어하는 사람(806)의 현실 세계 신체의 양에 따라 수정될 수 있다. 형광투시로 볼 수 있는 물체(810) 또는 의료 기구는 또한 형광투시로 볼 수 있는 물체(810)에 하나 이상의 광학 코드를 가질 수 있으며, 이 코드는 투시로 볼 수 있는 물체(810)를 이미지 투영(804)에 참조하는 데 사용된다. 인체 및 이미지 투영(804) 또는 이미지 데이터 세트(820)는 의료 도구의 광학 코드 및 사람(808)의 신체 상의 하나 이상의 광학 코드를 사용하여 결정되어 의료 도구가 AR 디스플레이를 통해 본 데이터 및 형광 투시 이미지를 참조할 수 있게 한다.
이미지 데이터 세트(820)로부터의 이미지 투영(804)은 컴퓨터 단층 촬영(CT) 이미지 또는 자기 공명 이미지(MRI)를 사용하여 캡처될 수 있다. 그런 다음 이미지 투영(804)은 라이브 투시 이미지(802)에 오버레이 될 수 있다. 투시 이미지(802)는 라이브 이미지이지만, 투시 이미지는 MRI(자기 공명 이미지) 또는 CT( 컴퓨터 단층 촬영) 이미지의 3D 품질 또는 연조직 콘트래스트 분해능을 갖지 못한다. 투시 이미지(802)가 하나 이상의 광학 코드(예: AprilTag)를 사용하여 환자의 신체에 참조되고 이전에 획득한 3D 이미지 데이터 세트의 투영(804)이 환자의 신체에 있는 이미지 가시 태그에 참조된 경우, 의료 전문가는 AR 헤드셋 또는 AR 디스플레이를 사용하여 팁이 환자(806)의 신체에서 움직일 때 바늘의 가상 끝을 볼 수 있다. 이것은 가상 이미지, 형광 투시 이미지 및 환자의 실제 보기의 중요한 측면을 결합한다. 바늘, 카테터 끝 또는 유사한 방사선 불투과성 물체는 형광투시에서 볼 수 있지만 의료 전문가는 투시 이미지에서 특정 연조직을 볼 수 없다. 따라서, 환자의 실제 모습, 이미지 데이터 세트, 투시 이미지, 투시 장치의 광학 태그, 의료 기구 상의 이미지 가시 태그, 및 의료 기구의 광학 태그의 조합은 이미지 데이터 및/도는 투시 이미지를 참조하여 의료 기구를 의료 전문가가 볼 수 있도록 할 수 있다.
다른 구성에서, 도 8b를 참조하면, 초음파 이미지(860)은 의료 전문가에 의해 의료 시술을 받는 동안 초음파 프로브 또는 초음파 변환기(862)를 이용하여 환자(850)의 신체 일부에 대한 초음파 이미지(860)을 획득할 수 있다. 초음파 변환기(862)는 인체에 대해 이동 가능하거나 이동할 수 있다. 초음파 이미지(860) 또는 초음파 소노그램은 신체 조직에 반사되거나 반향되는 음파에 의해 생성되는 2D, 3D 또는 4D(예: 시계열 포함) 초음파 이미지일 수 있다. 에코는 컴퓨터에 의해 처리되어 초음파 이미지 또는 소노그램을 생성한다.
이러한 초음파 이미지(860)는 의료 절차 중에 얻기에 비교적 빠르고 저렴할 수 있지만 초음파 이미지의 해상도, 정확도 및 위치는 CT 스캔, MRI 및 기타 이미징 방식과 같은 다른 유형의 이미징만큼 높지 않을 수 있다. 이 기술은 의료 전문가가 의료 절차를 수행하는 데 도움이 되도록 초음파 이미지(860)를 다른 이미지 양식과 결합하는 기능을 제공한다.
따라서, 하나 이상의 광학 코드(864)는 초음파 프로브 또는 초음파 변환기(862)(예를 들어, 외부 하우징 상에) 상에 배치되거나 부착될 수 있다. 초음파 변환기(862) 상의 광학 코드는 AR 헤드셋의 센서에 의해 검출될 수 있다. 그 결과, 초음파 변환기(862)의 위치 및 배향이 검출될 수 있고, 초음파 변환기(862)의 위치 및 배향에 기초하여 초음파 빔 및 초음파 이미지의 위치 및 배향이 결정될 수 있다. 환자 또는 인체 상의 광학 코드(852)는 환자(850)의 위치 및 배향을 결정하기 위해 검출될 수 있다. 환자(850) 및 초음파 이미지(860)의 위치 및 배향을 알면 초음파 이미지(860)가 정렬되고 투영될 수 있다. AR 헤드셋을 사용하여 환자의 올바른 위치에 AR 헤드셋을 착용한 환자에게 투영된 초음파 이미지(860)은 부분적으로 투명하거나(예: 의료 전문가가 설정한 투명도 값을 이용하여), 초음파 이미지가 불투명할 수 있다.
초음파 이미지(860) 또는 초음파 이미지는 또한 초음파 이미지에 비해 더 정확하고, 더 선명하고, 더 높은 해상도, 더 크고, 더 나은 조직 대비 정보를 가질 수 있는 이미지 데이터 세트(866)(예를 들어, MRI)와 결합될 수 있다. 이전에 설명된 바와 같이, 광학 코드(864)는 이미지 가시적 마커(856)에 부착될 수 있다. 이 이미지 가시적 마커(856)는 환자로부터 이전에 획득된 이미지 데이터 세트(866)가 환자의 신체와 정렬되도록할 수 있다(논의된 바와 같이 앞서 자세히). 따라서 의료 전문가는 AR 헤드셋 또는 AR 시스템을 통해 환자 신체의 올바른 위치에 정렬되고 투영된 고해상도 이미지 데이터 세트(866)와 결합된 초음파 이미지(860)를 볼 수 있다. 예를 들어, 의료인이 초음파 장비를 이용하여 환자의 간에 의료 시술을 하는 경우, 초음파 이미지를 이용하여 환자의 간 일부를 한 번에 볼 수 있지만, 초음파 이미지와 함께 획득한 이미지 데이터 세트를 이용하면 간 전체를 볼 수 있다. 초음파 이미지와 이미지 데이터 세트는 AR 헤드셋이 보고 있는 3D 공간에서 동일 위치에 있을 수 있다.
전형적으로, 초음파 이미지(860)는 환자에 대한 기준점에 고정되지 않는다. 위와 같은 광학 코드를 사용하면 AR 헤드셋이 바라보는 3D 공간 내에서 기준점이 된다. 또한, 기준 포인트(즉, 광학 코드)는 초음파 이미지(860)를 하나 이상의 이미지 데이터 세트(866)와 정렬하는 데 사용될 수 있다.
초음파 변환기는 전자적으로 유도되는 팬 빔 또는 선형 빔을 사용할 수 있다. 초음파 빔이 기계적으로 또는 전자적으로 이동되거나 안내되는 경우 초음파 이미지의 위치를 결정할 때 이 안내를 고려할 수 있다.
의료 전문가가 유방 생검과 같은 의료 절차를 수행하려는 경우 의료 전문가는 초음파 장비를 사용할 수 있지만 초음파 이미지에서 실제 병변을 보기 어려울 수 있다. 그러나 병변은 CT, MRI, PET, 핵 또는 초음파 이미지와 함께 표시되거나 함께 표시되는 기타 이미지 데이터 세트에서 볼 수 있다. 따라서, 초음파 이미지는 절차 동안 캡처된(예를 들어, 실시간으로) 이미지를 제공하는 데 사용될 수 있으며, 이전에 캡처된 상세한 해부학은 더 높은 공간 또는 대비 해상도 이미지 데이터 세트를 사용하여 동시에 참조될 수 있다.
변환기는 본체의 표면 위로 통과하거나 본체의 개구부에 삽입될 수 있다. 이것은 초음파 이미지 및 이미지 데이터 세트의 융합 또는 합성 뷰가 환자 신체의 다양한 합성 뷰를 제공하도록할 수 있다.
도 8b에 설명된 바와 같이, 실시간 이미지와 환자의 신체 및 이미지 데이터 세트의 정렬은, 실시간 이미지의 위치 및 배향이 이미징 장치의 변환기, 방출기 또는 검출기로부터 획득될 수 있는 임의의 유형의 실시간 의료 이미지에 적용될 수 있다. 초음파 이미지를 대체할 수 있는 이러한 실시간 이미지의 또 다른 예는 CT 형광투시 이미지가다.
도 9a는 의료 절차 동안 이미지 데이터 세트 및 환자의 신체에 대해 의료 기구를 공동-국위화하기 위해 증강 현실 헤드셋을 사용하는 예시적인 방법의 흐름도이다. 이들 및 다른 실시예에서, 방법(900)은 하나 이상의 비일시적 컴퓨터 판독가능 매체에 저장된 하나 이상의 컴퓨터 판독가능 명령에 기초하여 하나 이상의 프로세서에 의해 수행될 수 있다.
방법은 블록(902)에서와 같이 AR 헤드셋의 광 센서를 사용하여 사람 또는 환자의 신체 부분 및 의료 기구의 시각적 이미지 데이터를 캡처할 수 있다. 예를 들어, 광학 코드가 있는 가시적인 환자는 의료 전문가가 사용하는 AR 헤드셋의 카메라에 의해 등록되거나 감지된다. 인체 및 의료 기구와 관련된 하나 이상의 광학 코드는 블록(904)에서와 같이 시각적 이미지 데이터에서 식별될 수 있다. 인체 상의 광학 코드는 또한, 앞서 논의한 바와 같이, 이미지 가시적 마커에 대해 고정 위치에 놓일 수 있다.
이미지 데이터 세트는 인체에 대한 하나 이상의 광학 코드를 사용하여 인체와 정렬될 수 있고, 블록(906)에서와 같이, 이미지 데이터 세트의 이미지 가시적 마커의 표현에 참조될 때 광학 코드에 대해 이미지 가시 마커의 고정 위치 및 사람 신체 상의 하나 이상의 광학 코드를 이용하여 사람 신체와 정렬될 수 있다. 또한, 인체에 대한 의료 도구의 위치 및/또는 방향은 의료 도구 및 사람 신체 상의 하나 이상의 광학 코드를 사용하여 결정될 수 있어서, 블록(908)에서와 같이 의료 도구가 인체 및 이미지 데이터 세트를 참조할 수 있게 된다. 이러한 다중 이미지 측면의 정렬 및 병합은 AR 헤드셋을 통해 볼 수 있다. 일 예에서, 방사선 이미지의 이미지 데이터 세트는 사용자 또는 의료 전문가의 요구에 따라 다른 수준의 불투명도로 표시될 수 있다. 또한 이 불투명도는 언제든지 조정할 수 있다.
하나의 구성에서, 방법은 시각적 표시자, 가상 안내 시스템, 가상 도구, 가상 하이라이트, 또는 이미지 데이터 세트에 주석을 제공하여 신체에 대한 대상의 위치 지정 및 방향을 안내하는 것을 포함할 수 있다. AR 헤드셋을 사용하는 환자. 예를 들어, 가상 도구 또는 시각적 표시기는 그래픽 하이라이트, 3D 채색, 3D 수술 트랙 또는 가상 시술 트랙, 표적 해부학의 그래픽 하이라이트, 병리학의 그래픽 하이라이트, 피해야할 중요한 구조 또는 3D 시각적 코드 및 그래픽 구조(예: 선, 평면, 원통, 부피, 경계 또는 3D 모양 중 하나 이상을 포함할 수 있고, 해부학적 구조 내부 또는 주변에 또한 제공될 수 있다(장기 또는 몸의 질량을 강조하기 위해). 방법은 광학 코드를 시작 기준점으로 사용하여 의료 기구의 윤곽 또는 3D 테두리를 매핑하는 단계를 더 포함할 수 있다. 또한, 의료 기구의 위치 및 배향이 알려져 있기 때문에 환자의 신체에 부분적으로 삽입된 의료 기구(예: 도구 또는 임플란트)를 시스템에서 모니터링하여 이미지 데이터 세트 및 궁극적으로 인체에 대한 올바른 배치 및 위치를 보장할 수 있다.
방법은 사용되거나 검출된 의료 기구가 의료 절차에 사용되도록 할당되었는지 여부를 결정하기 위해 데이터베이스에 질의하는 단계를 포함할 수 있다. 일 예에서, AR 시스템은 특정 의료 절차를 받고 있는 환자를 나타내는 의료 절차 기록을 저장할 수 있다. 이러한 기록에는 개별 절차와 관련된 특정 의료 도구(예: 의료 기기, 임플란트 등) 목록이 포함될 수 있다. 의료 기구가 광학 코드를 사용하여 고유하게 식별되는 경우, 그 광학 코드는 시스템으로 전송되고 의료 기구의 미리 결정된 목록(각각은 별도의 광학 코드와 연관될 수 있음)에 대해 검사될 수 있다. 따라서, 식별된 객체가 현재 의료 절차와 연관되는 것으로 결정되면, 의료 기구가 의료 절차와 연관됨을 나타내는 그래픽 표시자가 표시될 수 있다. 예를 들어, 눈에 보이는 녹색 표시기(예: 확인 표시 또는 녹색 의료 기구 강조 표시)는 절차에 대한 일치를 나타낼 수 있다. 다른 예에서, 절차와 연관되는 것으로 식별된 의료 기구는 지속적으로 강조될 수 있다(예를 들어, AR 디스플레이에서 녹색 표시기로 둘러싸여 있음). 반면에 의료 기구가 현재 절차와 연관되지 않은 것으로 결정되면 부정적인 시각적 표시도 표시될 수 있다. 예를 들어, 깜박이는 빨간색 "X" 또는 빨간색 강조 윤곽선은 부정적인 표시일 수 있다.
방법은 증강 현실 디스플레이에서 의료 기구와 연관된 의료 정보를 디스플레이하는 단계를 포함할 수 있다. 의료 기구와 관련된 정보는 의료 절차에서 의료 기구의 사용을 설명하는 지시 정보를 포함할 수 있다.
환자에 대한 절차를 수행할 때 의사 및 기타 의료 전문가가 직면하는 한 가지 문제는 올바른 환자의 해부학적 구조에 올바른 의료 기구가 사용되고 있는지 확인하는 것이다. 잘못된 사람, 잘못된 부속기, 잘못된 위치, 잘못된 보형물을 수술하거나 잘못된 보형물, 잘못된 기기 크기 또는 잘못된 의료 기기를 사용하는 경우 의료 결과가 좋지 않을 수 있다. 본 기술은 의료 기구에 부착된 광학 코드를 활용하여 향상된 의료 결과를 제공할 수 있다.
추가 구성에서, 본 기술은 의료 절차의 시뮬레이션에 사용될 수 있다. 시뮬레이션 구조를 사용하여 환자의 신체 또는 환자의 해부학을 시뮬레이션할 수 있다. 시뮬레이션 구조는 부드러운 재료(조직, 동맥 등을 나타내는 플라스틱 및 고무) 또는 기타 시뮬레이션 재료로 덮인 플라스틱 또는 사체 뼈일 수 있다. 시뮬레이션된 해부학은 광학 코드 및 이미지 가시 코드를 포함할 수 있다. 그런 다음 향후 절차가 수행될 환자에 대한 이미지 데이터 세트가 시뮬레이션된 해부학적 구조와 정렬될 수 있다.
시술에 사용되는 실제 의료 기구도 시뮬레이션에 포함될 수 있고 AR 헤드셋의 관점에 있을 수 있다. 유사하게, 의료 기구의 제한된 부분(예를 들어, 투관침의 손잡이)이 사용될 수 있고 시뮬레이션된 환자의 가상 도구가 보일 수 있다. 실시간 투시, 초음파 또는 실시간으로 캡처된 기타 의료 이미지를 사용하는 추가 오버레이도 사용할 수 있다. 따라서 의료 전문가는 앞에서 설명한 것과 동일한 기능을 수행할 수 있지만 계획된 실제 절차에서 발생할 수 있는 과제, 문제 또는 기타 쟁점을 더 잘 이해하기 위한 시뮬레이션으로 수행할 수 있다. 이 시뮬레이션은 교육 목적으로도 사용될 수 있다.
유사하게, 의료 연수생 또는 초음파 검사자는 이전에 캡처된 이미지 데이터 세트(예를 들어, MRI 또는 CT 이미지)와 트레이닝 목적을 위해 실시간으로 캡처되는 실제 초음파 이미지를 결합할 수 있다(위에서 설명됨). 낮은 공간 해상도와 명암 대비 해상도로 인해 초음파 이미지에 표시되는 내용을 명확하게 보기 어려울 수 있다. 이를 통해 의료 기술자는 더 나은 공간 해상도 및 대비 해상도(예: MRI, CT 등)의 이미지를 사용하여 초음파 관찰에서 기관, 뼈, 혈관 및 기타 조직이 어떻게 보이는지 훈련할 수 있다.
도 9b는 광학 코드를 사용하여 의료 절차를 검증하는 방법을 예시한다. 방법은 블록 920과 같이 AR 헤드셋의 광 센서를 이용하여 환자의 신체 및 의료 기구의 일부의 이미지 데이터를 검출하는 동작을 포함할 수 있다.
블록 922에서와 같이 환자의 신체 및 의료 기구에 가시적으로 표시되는 하나 이상의 광학 코드가 식별될 수 있다. 환자의 신체에 대한 하나 이상의 광학 코드는 (앞서 설명한 대로) 이미지 가시적 마커에 대해 고정된 위치에 있다. 이미지 데이터 세트는 블록 924에서와 같이 환자의 신체에 있는 하나 이상의 광학 코드를 참조하여 이미지 가시 마커의 알려진 고정 위치를 사용하여 환자의 신체와 정렬될 수 있다.
광학 코드 및 이미지 가시 마커는 다음과 같이 이미지 데이터 세트의 표면과 정렬되는 환자의 신체 표면의 정확한 정렬에 기초하여 올바른 환자가 의료 절차에 있는지 확인하는 데 사용될 수 있다(블록 926). 환자의 신체 표면 및 이미지 데이터 세트의 표면은 다각형 메쉬, 스플라인 또는 표면에 대한 다른 수학적 모델을 사용하여 생성될 수 있다. 표면(예: 메쉬)이 유사하거나 일치하면 올바른 환자가 인식된다. 이것은 모든 개인의 신체가 고유하기 때문에 신체의 "지문"의 윤곽 유형에 비유될 수 있다. 또한, 의료 절차에서 사람 또는 환자의 신원은 하나 이상의 광학 코드를 사용하여 확인할 수도 있다. 이 검증의 추가 기능 또는 측면은 블록 928에서와 같이 하나 이상의 광학 코드를 사용하여 의료 절차에서 신체의 올바른 부분과 올바른 의료 도구가 사용되었는지 확인하는 것이다.
추가 구성에서, 이미지 데이터를 정렬하는 동안 사용된 동일한 광학 코드를 사용하여 이미지 데이터 세트를 자동으로 검색하고 AR 헤드셋에 의해 검색된 이미지 데이터가 시간 소모없이, 성가심없이, 그리고 이미지 데이터의 부정확한 수동식 불러오기 없이 AR 헤드셋을 통해 보고 있는 환자와 일치하도록할 수 있다.
도 10은 AR 헤드셋을 통해 볼 때 광학 코드를 사용하여 의료 도구를 이미지 데이터 세트 및 환자의 신체에 참조하는 데 사용될 수 있는 예시적인 시스템을 도시한다. 시스템(1000)은 카메라 장치(1002), 증강 현실 시스템(1020), 디스플레이 장치(1030), 및 복수의 데이터베이스를 포함할 수 있다. 시스템(1000)은 또한 함께 통신가능하게 결합될 수 있는 하나 이상의 프로세서, 메모리, 파일 시스템, 통신 유닛, 운영 체제, 및 사용자 인터페이스를 포함할 수 있다. 일부 실시예에서, 시스템(1000)은 예를 들어 데스크탑 컴퓨터, 서버 컴퓨터, 랩탑 컴퓨터, 스마트폰, 태블릿 컴퓨터, 임베디드 컴퓨터, AR 헤드셋, VR 헤드셋 등일 수 있다.
카메라 장치(1002)는 가시적 데이터를 캡처하도록 구성될 수 있다. 일 예에서, 카메라 장치(1002)는 의료 절차 동안 가시적 데이터를 캡처하는 데 사용될 수 있다. 카메라 장치(1002)에 의해 캡처된 가시 데이터는 인체(또는 신체의 일부) 및 하나 이상의 의료 기구(예를 들어, 의료 기기, 임플란트 등)의 이미지를 포함할 수 있다. 카메라 장치(1002)는 캡처된 광학 데이터를 증강 현실 시스템(1020)에 전송할 수 있다. 시스템은 또한 표면 센서, 광 센서, 적외선 센서, Lidar 센서 또는 다른 센서를 포함하여 감지된 실제 뷰 또는 실제 뷰 매핑을 지원할 수 있다. AR 시스템. 수술실, 환자, 병실, 물리적 기하학, 의료 도구 또는 기타 물리적 환경이나 물체에 대해 임의의 물체 또는 표면이 감지될 수 있다.
증강 현실 시스템(1020)은 이미지 처리 엔진(1022), 참조 및 정렬 모듈(1024), 이미지 생성 모듈(1026), 및 증강 디스플레이 버퍼(1028)를 포함할 수 있다. 예를 들어, 이미지 처리 엔진(1022)은 캡처된 가시 이미지 데이터를 수신한다. 카메라 장치(1002)로부터 가시 이미지 데이터를 분석하고 가시 이미지 데이터에서 하나 이상의 광학 코드, 물체 또는 사람을 식별한다. 특징 추출, 분할 및/또는 객체 검출을 포함하지만 이에 제한되지 않는 가시 이미지 데이터 내에서 의료 기구를 식별하기 위해 복수의 상이한 기술이 사용될 수 있다.
이미지 처리 엔진(1022)은 또한 이미지 내에서 환자의 신체와 가시 이미지 데이터 내에서 의료 기구 모두에 부착될 수 있는 광학 코드를 식별한다. 이미지 처리 엔진(1022)이 광학 코드(예를 들어, AprilTag, 바코드, QR 코드 등)를 식별하면 이미지 처리 유닛(1022)은 광학 코드와 관련된 정보를 검색하기 위해 광학 코드 데이터베이스(1046)에 액세스한다. 일부 예에서, 광학 코드는 특정 환자, 특정 절차 또는 특정 대상과 연관된다. 광학 코드는 의료 기구, 신체 또는 투시 장치의 위치 및 배향을 보다 정확하게 식별하는 데 사용될 수 있다.
일부 실시예에서, 참조 및 정렬 모듈(1024)은 임의의 식별된 의료 기구, 인체 및 서로에 대한 이미지 데이터 세트를 참조하기 위해 이미지 처리 엔진(1022)과 결합한다. 또한, 기준 및 정렬 모듈(1024)은 의료 기구 데이터베이스(1044)의 광학 코드 정보를 사용하여 의료 기구의 크기 및 형상을 적절하게 식별할 수 있다. 의료 기구 및 환자의 신체의 위치 및 배향이 서로에 대해 결정되면, 기준 및 정렬 제어기(1026)는 방사선 이미지 데이터(1042) 내의 임의의 연관된 방사선 이미지를 환자의 신체 모두와 정렬할 수 있다. 일부 예에서, 방사선 이미지는 환자 기록 데이터베이스(1040)의 환자 기록에 기초하여 방사선 이미지 데이터베이스(1042)로부터 수신된다.
이미지 생성 모듈(1026)은 그래픽 데이터, 가상 도구, 3D 수술로, 덩어리 또는 장기의 3D 채색 또는 음영, 또는 덩어리, 장기 또는 표적의 강조 표시를 생성하여, 의료 기구 또는 환자의 신체 상부에 적층되는 디스플레이 장치(1030)에서 디스플레이할 수 있다. 일부 예들에서, 이 정보는 증강된 디스플레이 버퍼(1028)에 로딩될 수 있다. 이 정보는 사용자에게 디스플레이하기 위해 디스플레이 디바이스(1030)에 전송될 수 있다.
일례에서, 환자 데이터베이스(1040)는 복수의 환자 기록을 포함한다. 각 환자 기록에는 환자에 대해 수행할 하나 이상의 의료 절차가 포함될 수 있다. 환자 기록에는 의료 절차에 대한 메모, 지침 또는 계획도 포함될 수 있다. 환자 기록은 또한 방사선 이미지 데이터베이스(1042)의 하나 이상의 방사선 이미지와 연관될 수 있다. 일부 예에서, 방사선 이미지는 참조 및 정렬 모듈(1026)로 하여금, 이미지 가시 마커에 대한 광학 코드의 고정된 위치를 사용하여 이미지 데이터 세트를 환자의 신체와 적절히 정렬시킬 수 있는, 이미지 가시 마커의 표현을 포함한다. 일부 예에서, 의료 기구 데이터(1044)는 의료 기구, 임플란트, 및 다른 대상을 포함하는 의료 기구를 설명하는 정보를 포함한다.
일부 실시예에서, 증강 현실 시스템은 서버 상에 위치할 수 있고 AR 헤드셋 또는 디스플레이 장치(1030)와 관련하여 기능할 수 있는 임의의 컴퓨터 시스템일 수 있다. 일부 실시예에서, 서버는 AR 헤드셋으로 이미지 데이터를 전달하거나 AR 헤드셋에서 데이터를 수신하기 위해 AR 헤드셋과 컴퓨터 네트워크를 통해 통신하도록 구성될 수 있다.
도 11은 이 기술의 모듈이 실행될 수 있는 컴퓨팅 장치(1110)를 예시한다. 기술의 높은 수준의 예가 실행될 수 있는 컴퓨팅 장치(1110)가 예시되어 있다. 컴퓨팅 장치(1110)는 메모리 장치(1112)와 통신하는 하나 이상의 프로세서(1112)를 포함할 수 있다. 컴퓨팅 장치는 컴퓨팅 장치의 구성요소를 위한 로컬 통신 인터페이스(1118)를 포함할 수 있다. 예를 들어, 로컬 통신 인터페이스는 로컬 데이터 버스 및/또는 원하는 대로 임의의 관련 주소 또는 제어 버스일 수 있다.
메모리 장치(1112)는 프로세서(들)(1112)에 의해 실행 가능한 모듈(1124) 및 모듈(1124)에 대한 데이터를 포함할 수 있다. 모듈(1124)은 앞서 설명된 기능을 실행할 수 있다. 데이터 저장소(1122)는 또한 프로세서(들)(1112)에 의해 실행가능한 운영 체제와 함께 모듈(1124) 및 다른 애플리케이션과 관련된 데이터를 저장하기 위해 메모리 장치(1112)에 위치할 수 있다.
다른 애플리케이션이 또한 메모리 장치(1112)에 저장될 수 있고 프로세서(들)(1112)에 의해 실행될 수 있다. 방법들의 하이브리드를 사용하여 컴파일, 해석, 또는 실행되는 하이 프로그래밍 레벨 언어를 이용하여 소프트웨어 형태로 구현될 수 있는 구성요소 또는 모듈이 본 설명에서 논의되었다.
컴퓨팅 장치는 또한 컴퓨팅 장치에 의해 사용가능한 I/O(입력/출력) 장치(1114)에 대한 액세스를 가질 수 있다. I/O 장치의 예는 컴퓨팅 장치의 출력을 표시하는 데 사용할 수 있는 디스플레이 화면이다. 다른 알려진 I/O 장치가 원하는 대로 컴퓨팅 장치와 함께 사용될 수 있다. 네트워킹 장치(1116) 및 유사한 통신 장치가 컴퓨팅 장치에 포함될 수 있다. 네트워킹 장치(1116)는 인터넷, LAN, WAN 또는 다른 컴퓨팅 네트워크에 연결하는 유선 또는 무선 네트워킹 장치일 수 있다.
메모리 장치(1112)에 저장된 것으로 도시된 구성요소 또는 모듈은 프로세서(1112)에 의해 실행될 수 있다. "실행 가능"이라는 용어는 프로세서(1112)에 의해 실행될 수 있는 형태의 프로그램 파일을 의미할 수 있다. 예를 들어, 고급 언어의 프로그램은 메모리 장치(1112)의 랜덤 액세스 부분에 로드되고 프로세서(1112)에 의해 실행될 수 있는 형식의 기계 코드로 컴파일될 수 있거나 소스 코드는 다른 실행 가능한 프로그램에 의해 로드될 수 있다. 프로세서에 의해 실행될 메모리의 랜덤 액세스 부분에서 명령어를 생성하도록 해석된다. 실행 가능한 프로그램은 메모리 장치(1112)의 임의의 부분 또는 구성요소에 저장될 수 있다. 예를 들어, 메모리 장치(1112)는 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 플래시 메모리, 솔리드 스테이트 드라이브, 메모리 카드, 하드 드라이브, 광 디스크, 플로피 디스크, 자기 테이프 또는 기타 메모리 구성 요소일 수 있다.
프로세서(1112)는 다중 프로세서를 나타낼 수 있고 메모리(1112)는 처리 회로에 병렬로 동작하는 다중 메모리 유닛을 나타낼 수 있다. 이것은 시스템의 프로세스 및 데이터에 대한 병렬 처리 채널을 제공할 수 있다. 로컬 인터페이스(1118)는 임의의 다중 프로세서와 다중 메모리 간의 통신을 용이하게 하는 네트워크로서 사용될 수 있다. 로컬 인터페이스(1118)는 로드 밸런싱, 벌크 데이터 전송 및 유사한 시스템과 같은 통신을 조정하도록 설계된 추가 시스템을 사용할 수 있다.
본 명세서에 설명된 기능 유닛 중 일부는 구현 독립성을 보다 구체적으로 강조하기 위해 모듈로 표시되었다. 예를 들어, 모듈은 맞춤형 VLSI 회로 또는 게이트 어레이, 논리 칩, 트랜지스터 또는 기타 개별 부품과 같은 기성품 반도체를 포함하는 하드웨어 회로로 구현될 수 있다. 모듈은 또한 필드 프로그램 가능 게이트 어레이, 프로그램 가능 어레이 로직, 프로그램 가능 논리 장치 등과 같은 프로그램 가능 하드웨어 장치로 구현될 수 있다.
모듈은 또한 다양한 유형의 프로세서에 의한 실행을 위해 소프트웨어로 구현될 수 있다. 실행 가능한 코드의 식별된 모듈은 예를 들어 객체, 절차 또는 기능으로 구성될 수 있는 컴퓨터 명령의 하나 이상의 블록을 포함할 수 있다. 그럼에도 불구하고, 식별된 모듈의 실행 파일은 물리적으로 함께 위치할 필요는 없지만 논리적으로 함께 결합될 때 모듈을 구성하고 모듈에 대해 명시된 목적을 달성하는 다른 위치에 저장된 이종 명령을 포함할 수 있다.
실제로, 실행 가능한 코드의 모듈은 단일 명령 또는 많은 명령일 수 있고, 심지어 여러 다른 코드 세그먼트에 걸쳐, 다른 프로그램 사이에, 그리고 여러 메모리 장치에 걸쳐 분산될 수 있다. 유사하게, 작동 데이터는 여기에서 모듈 내에서 식별 및 예시될 수 있으며, 임의의 적절한 형태로 구현되고 임의의 적절한 유형의 데이터 구조 내에서 구성될 수 있다. 작동 데이터는 단일 데이터 세트로 수집되거나 다른 저장 장치를 포함하여 다른 위치에 배포될 수 있다. 모듈은 원하는 기능을 수행하도록 작동 가능한 에이전트를 포함하여 수동 또는 능동일 수 있다.
여기에 설명된 기술은 또한 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 기술로 구현된 휘발성 및 비휘발성, 착탈식 및 비이동식 매체를 포함하는 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 컴퓨터 판독 가능 저장 매체에는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, 디지털 다목적 디스크(DVD) 또는 기타 광학 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 원하는 정보 및 기술된 기술을 저장하는 데 사용할 수 있는 기타 자기 저장 장치 또는 기타 컴퓨터 저장 매체가 포함되지만 이에 제한되지 않는다.
여기에 설명된 장치는 또한 장치가 다른 장치와 통신할 수 있도록 하는 통신 연결 또는 네트워킹 장치 및 네트워킹 연결을 포함할 수 있다. 통신 연결은 통신 매체의 한 예이다. 통신 매체는 일반적으로 반송파 또는 기타 전송 메커니즘과 같은 변조된 데이터 신호의 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 및 기타 데이터를 구현하고 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"는 신호의 정보를 인코딩하는 방식으로 하나 이상의 특성이 설정되거나 변경된 신호를 의미한다. 예를 들어, 통신 매체는 유선 네트워크 또는 직접 유선 연결과 같은 유선 매체와 음향, 무선 주파수, 적외선 및 기타 무선 매체와 같은 무선 매체를 포함하지만 이에 제한되지 않다. 본 명세서에서 사용되는 컴퓨터 판독 가능 매체라는 용어는 통신 매체를 포함한다.
도면에 예시된 예를 참조하였고, 특정 언어는 동일한 것을 설명하기 위해 본 명세서에서 사용되었다. 그럼에도 불구하고 기술의 범위에 대한 제한이 의도되지 않음을 이해해야 한다. 본 명세서에 예시된 특징의 변경 및 추가 수정, 및 관련 기술 분야의 숙련자에게 발생하고 본 개시 내용을 소유한 본 명세서에 예시된 예의 추가적인 적용은 설명의 범위 내에서 고려되어야 한다.
또한, 설명된 특징, 구조, 또는 특성은 하나 이상의 예에서 임의의 적절한 방식으로 조합될 수 있다. 이전의 설명에서, 설명된 기술의 예에 대한 철저한 이해를 제공하기 위해 다양한 구성의 예와 같은 수많은 특정 세부사항이 제공되었다. 그러나 관련 기술 분야의 숙련자는 하나 이상의 특정 세부 사항 없이 또는 다른 방법, 구성 요소, 장치 등을 사용하여 기술이 실행될 수 있음을 인식할 것이다. 다른 예에서, 기술의 양태들을 모호하게 하는 것을 피하기 위해 잘 알려진 구조 또는 동작들이 세부적으로 도시 또는 설명되지 않는다.
주제가 구조적 특징 및/또는 작동에 특정한 언어로 설명되었지만, 첨부된 청구범위에 정의된 주제가 반드시 위에서 설명된 특정 특징 및 작동으로 제한되지 않는다는 것을 이해해야 한다. 오히려, 위에서 설명된 특정 특징 및 행위는 청구범위를 구현하는 예시적인 형태로서 개시된다. 설명된 기술의 정신과 범위를 벗어나지 않으면서 수많은 수정 및 대체 배열이 고안될 수 있다.

Claims (29)

  1. 이미지 데이터 세트 및 하나 이상의 광학 코드를 갖는 의료 기구를 공동 국지화하기 위해 증강 현실(AR) 헤드셋을 사용하는 방법으로서,
    상기 AR 헤드셋의 광센서를 이용하여 상기 의료 기구 및 인체 일부의 시각적 이미지 데이터를 검출하는 단계;
    인체 및 의료 기구와 연관된 하나 이상의 광학 코드를 식별하는 단계 - 인체 상의 광학 코드는 이미지 가시 마커에 대해 고정된 위치에 놓임;
    AR 헤드셋을 통해 볼 때 인체 상의 하나 이상의 광학 코드를 사용하여 이미지 데이터 세트를 인체와 정렬하고, 이미지 데이터 세트 내 이미지 가시 마커의 표현에 참조되는 광학 코드에 대한 이미지 가시 마커의 고정 위치를 사용하는 단계; 및
    의료 기구가 AR 헤드셋을 통해 보이는 인체 및 이미지 데이터 세트를 참조할 수 있도록 의료 기구 및 인체 상의 하나 이상의 광학 코드를 사용하여 인체에 대한 의료 기구의 위치를 결정하는 단계를 포함하는 증강 현실 이용 방법.
  2. 제1항에 있어서, 시각적 표시기, 가상 도구, 가상 안내 시스템, 가상 하이라이트, 가상 절차 트랙, 표적 해부학의 그래픽 하이라이트, 병리학의 그래픽 하이라이트, 피해야할 중요한 구조의 그래픽 하이라이트, 또는 AR 헤드셋을 사용하는 환자의 신체에 대한 의료 기구의 포지셔닝 및 배향을 안내하기 위한 이미지 데이터 세트 상의 주석을 제공하는 단계를 더 포함하는, 증강 현실 이용 방법.
  3. 제1항에 있어서,
    인체 일부와 관련된 광학 코드를 사용하여 환자의 정보를 불러오는 단계; 및
    올바른 환자 및 올바른 신체 부위가 의료 절차를 거치고 있는지 확인하기 위해 AR 헤드셋을 통해 환자의 정보를 표시하는 단계를 더 포함하는, 증강 현실 이용 방법.
  4. 제1항에 있어서,
    의료 기구가 의료 절차에 사용되도록 할당되었는지 여부를 결정하기 위해 데이터베이스에 질의하는 단계; 및
    의료 기구가 의료 절차와 연관되는지 여부를 나타내는 그래픽 표시자를 의료 전문가에게 표시하는 단계를 더 포함하는, 증강 현실 이용 방법.
  5. 제1항에 있어서, 가시적 기구와 가상 기구의 정렬을 허용하도록 그래픽 가상 기구를 디스플레이하는 단계를 더 포함하는 증강 현실 이용 방법.
  6. 제1항에 있어서, 의료 절차에서 의료 기구의 사용을 설명하는 지시 정보를 포함하는 의료 기구와 연관된 의료 정보를 불러오는 단계를 더 포함하는 증강 현실 이용 방법.
  7. 제1항에 있어서, 의료 기구가 의료 기기, 투관침, 카테터, 바늘, 정형외과용 하드웨어, 또는 외과용 임플란트인 증강 현실 이용 방법.
  8. 제1항에 있어서, 하나 이상의 광학 코드를 시작 기준점으로 사용하여 의료 기구의 윤곽을 매핑하는 단계를 더 포함하는 증강 현실 이용 방법.
  9. 제1항에 있어서, 인체 상의 하나 이상의 광학 코드를 사용하여 인체에 대한 이미지 데이터 세트를 자동으로 불러오는 단계를 더 포함하는 증강 현실 이용 방법.
  10. 이미지 데이터 세트로부터 이미지 투영 및 인체에 대해 투시 이미지를 정렬시키도록 증강 현실(AR) 디스플레이를 사용하는 방법으로서,
    상기 AR 디스플레이의 광 센서를 이용하여 인체에 대해 이동 가능한 투시 장치 및 인체 부위의 시각적 이미지 데이터를 검출하는 단계;
    인체 및 투시 장치 상의 하나 이상의 광학 코드를 식별하는 단계 - 인체 상의 하나 이상의 광학 코드는 이미지 가시 마커에 대해 고정된 위치를 가짐;
    상기 AR 디스플레이를 통해 볼 때 인체 상의 하나 이상의 광학 코드에 대한 이미지 가시 마커의 고정된 위치를 사용하여 인체의 이미지 데이터 세트를 정렬하는 단계;
    투시 장치 상의 하나 이상의 광학 코드를 사용하여 인체에 대한 투시 장치의 위치 및 배향을 결정하는 단계;
    투시 장치의 위치 및 배향에 부분적으로 기초하여 이미지 데이터 세트의 이미지 투영을 생성하는 단계;
    AR 디스플레이를 통해 이미지 투영을 표시하는 단계; 및
    AR 디스플레이를 사용하여 투시 장치의 위치 및 배향 또는 이미지 가시 마커에 기초하여 이미지 투영과 인체와 정렬된 투시 장치로부터의 투시 이미지를 투영하는 단계를 포함하는, 증강 현실 디스플레이 사용 방법.
  11. 제10항에 있어서,
    인체에 대한 투시 장치의 위치 및 배향의 변화를 검출하는 단계; 및
    투시 장치의 위치 및 배향의 변화에 의해 정의된 바와 같이 이미지 투영 및 투시 이미지 위치 및 배향을 수정하는 단계를 더 포함하는, 증강 현실 디스플레이 사용 방법.
  12. 제10항에 있어서, AR 디스플레이를 통해 보이는 이미지 투영의 위치를 조정하는 단계는 환자의 신체의 위치 및 배향에 비해 투시 장치 상의 하나 이상의 광학 코드를 이용하여 검출되는 투시 장치의 위치 및 배향의 변화에 기초하는, 증강 현실 디스플레이 사용 방법.
  13. 제10항에 있어서,
    인체에 대해 주밍(zooming)된 투시 장치로부터 줌 값을 수신하는 단계; 및
    투시 장치의 줌 값에 의해 정의된 이미지 데이터 세트를 조정하는 단계를 더 포함하는, 증강 현실 디스플레이 사용 방법.
  14. 제13항에 있어서, 이미지 데이터 세트를 조정하는 단계는 이미지 데이터 세트가 투시 이미지의 줌과 일치하도록 하기 위해 투시 이미지에서 캡처된 이미지 가시 마커의 크기를 사용하는 것에 기초하여 수행되는 증강 현실 디스플레이 사용 방법.
  15. 제10항에 있어서, 투시 이미지에서 투시적으로 보이는 물체는 인체와 정렬된 이미지 데이터 세트와 관련하여 의료 전문가에 의해 보여지고 안내될 수 있는 증강 현실 디스플레이 사용 방법.
  16. 제10항에 있어서, AR 디스플레이를 사용하여 볼 때 인체 및 이미지 데이터 세트에 대한 투시적으로 보이는 물체의 위치 및 배향을 안내하기 위해 이미지 데이터 세트 상에 그래픽 표시기, 가상 도구 또는 가상 타겟팅 시스템을 제공하는 단계를 더 포함하는, 증강 현실 디스플레이 사용 방법.
  17. 제10항에 있어서, 투시 장치의 배향을 결정하는 단계는 인체에 대한 투시 장치의 위치 및 배향을 결정하는 단계를 더 포함하는 증강 현실 디스플레이 사용 방법.
  18. 제10항에 있어서, 이미지 데이터 세트의 이미지 투영을 재구성하고, 투시 장치의 배향 및 위치의 변화에 대응하여 AR 디스플레이에서 볼 때 투시 이미지를 이동시키는 단계를 더 포함하는 증강 현실 디스플레이 사용 방법.
  19. 제10항에 있어서, 이미지 데이터 세트와 정렬된 투시 이미지의 투명도가 수정될 수 있는 증강 현실 디스플레이 사용 방법.
  20. 제10항에 있어서,
    의료 기구 상에 가시적으로 표시되는 하나 이상의 추가 광학 코드를 식별하는 단계; 및
    AR 디스플레이를 통해 볼 때 의료 기구가 이미지 데이터를 참조할 수 있도록, 의료 기구 상의 하나 이상의 추가 광학 코드 및 인체 상의 하나 이상의 광학 코드를 사용하여 이미지 투영 및 인체에 대한 의료 기구의 위치를 결정하는 단계를 더 포함하는, 증강 현실 디스플레이 사용 방법.
  21. 하나 이상의 광학 코드를 갖는 투시 장치의 위치 및 배향을 사용하여 하나 이상의 광학 코드를 갖는 인체에 대해 투시 이미지를 정렬하기 위해 증강 현실(AR) 디스플레이를 사용하는 방법에 있어서
    AR 디스플레이의 광 센서를 사용하여 인체 및 인체에 대해 이동 가능한 투시 장치 상의 하나 이상의 광학 코드를 식별하는 단계;
    투시 장치 상의 하나 이상의 광학 코드를 사용하여 인체에 대한 투시 장치의 위치 및 배향을 결정하는 단계; 및
    인체 상의 광학 코드와 투시 장치의 위치 및 배향을 참조함으로써, 인체와 정렬된 투시 장치의 형광 투시 이미지를, AR 디스플레이를 사용하여, 표시하는 단계를 포함하는, 증강 현실 디스플레이 사용 방법.
  22. 제21항에 있어서,
    이미지 가시 마커에 대해 고정된 위치를 갖는 인체 상의 하나 이상의 광학 코드를 식별하는 단계;
    AR 디스플레이를 통해 볼 때 사람 신체 상의 하나 이상의 광학 코드에 대해 이미지 가시 마커의 고정된 위치를 사용하여 사람 신체의 이미지 데이터 세트를 정렬하는 단계;
    AR 디스플레이를 통한 이미지 데이터 세트를 인체 및 투시 이미지와 정렬된 상태로 표시하는 단계를 더 포함하는, 증강 현실 디스플레이 사용 방법.
  23. 제22항에 있어서,
    투시 장치의 위치 및 배향에 기초하여 이미지 데이터 세트의 이미지 투영을 생성하는 단계; 및
    투시 이미지와 함께, 인체와 정렬된 AR 디스플레이를 통해 이미지 투영을 표시하는 단계를 더 포함하는, 증강 현실 디스플레이 사용 방법.
  24. 제22항에 있어서, 이미지 투영은 투시 장치의 변경된 위치와 일치하도록 투시 장치의 움직임에 기초하여 재구성될 수 있는, 증강 현실 디스플레이 사용 방법.
  25. 제21항에 있어서, AR 헤드셋을 사용하는 뷰어의 위치 및 배향에 기초하여 이미지 데이터 세트의 이미지 투영을 생성하는 단계를 더 포함하는 증강 현실 디스플레이 사용 방법.
  26. 인체에 대해 초음파 이미지를 정렬하기 위해 증강 현실(AR) 디스플레이를 사용하는 방법으로서,
    상기 AR 디스플레이의 광센서를 이용하여 초음파 변환기(ultrasonic transducer) 및 인체 부위의 이미지 데이터를 검출하는 단계;
    인체 및 초음파 변환기 상에서 하나 이상의 광학 코드를 식별하는 단계;
    상기 초음파 변환기 상의 하나 이상의 광학 코드를 사용하여 인체에 대한 초음파 변환기의 위치 및 배향을 결정하는 단계; 및
    상기 AR 디스플레이를 이용하여, 인체 상의 광학 코드와 초음파 변환기의 위치 및 배향을 참조함으로써, 인체와 정렬된 초음파 변환기의 초음파 이미지를 표시하는 단계를 포함하는, 증강 현실 디스플레이 사용 방법.
  27. 광학 코드를 사용하여 의료 절차를 검증하는 방법으로서,
    AR 헤드셋의 광센서를 이용하여, 환자의 신체 일부 및 의료 기구의 시각적 이미지 데이터를 검출하는 단계;
    환자의 신체 및 의료 기구 상에 가시적으로 디스플레이되는 하나 이상의 광학 코드를 식별하는 단계 - 환자의 신체 상의 하나 이상의 광학 코드는 이미지 가시 마커에 대해 고정된 위치에 있음;
    환자의 신체 상의 하나 이상의 광학 코드를 참조하여 이미지 가시 마커의 알려진 고정 위치를 사용하여 이미지 데이터 세트를 환자의 신체와 정렬하는 단계;
    상기 이미지 데이터 세트의 표면과 정렬된 환자의 신체 표면의 정확한 정렬에 기초하여 올바른 환자가 의료 절차에 있음을 확인하는 단계; 및
    하나 이상의 광학 코드를 사용하여 신체의 올바른 부분과 올바른 의료 도구가 의료 절차에 있음을 확인하는 단계를 포함하는, 의료 절차 검증 방법.
  28. 제27항에 있어서, 하나 이상의 광학 코드를 사용하여 AR 헤드셋에 표시하기 위해 환자 데이터를 불러오는 단계를 더 포함하는, 의료 절차 검증 방법.
  29. 제27항에 있어서, AR 헤드셋을 사용하여 환자의 신체 및 이미지 데이터 세트에 대한 의료 기구의 위치 및 배향을 안내하기 위해 이미지 데이터 세트 상에 주석을 제공하는 단계를 더 포함하는 의료 절차 검증 방법.
KR1020217018532A 2018-11-17 2019-11-15 광학 코드를 이용한 증강 현실 디스플레이 KR20210104715A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/194,333 US11287874B2 (en) 2018-11-17 2018-11-17 Using optical codes with augmented reality displays
US16/194,333 2018-11-17
PCT/US2019/061864 WO2020102761A1 (en) 2018-11-17 2019-11-15 Using optical codes with augmented reality displays

Publications (1)

Publication Number Publication Date
KR20210104715A true KR20210104715A (ko) 2021-08-25

Family

ID=70727564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217018532A KR20210104715A (ko) 2018-11-17 2019-11-15 광학 코드를 이용한 증강 현실 디스플레이

Country Status (5)

Country Link
US (2) US11287874B2 (ko)
EP (1) EP3880110A4 (ko)
JP (1) JP2022507622A (ko)
KR (1) KR20210104715A (ko)
WO (1) WO2020102761A1 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2955481B1 (fr) 2010-01-27 2013-06-14 Tornier Sa Dispositif et procede de caracterisation glenoidienne d'une omoplate a protheser ou a resurfacer
US11227509B2 (en) * 2014-12-29 2022-01-18 Help Me See Inc. Surgical simulator systems and methods
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10010379B1 (en) * 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
US9892564B1 (en) 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
US11684401B2 (en) 2018-09-07 2023-06-27 Cilag Gmbh International Backplane connector design to connect stacked energy modules
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11532132B2 (en) * 2019-03-08 2022-12-20 Mubayiwa Cornelious MUSARA Adaptive interactive medical training program with virtual patients
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
WO2021058087A1 (en) * 2019-09-24 2021-04-01 Brainlab Ag Method and system for projecting an incision marker onto a patient
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11237627B2 (en) 2020-01-16 2022-02-01 Novarad Corporation Alignment of medical images in augmented reality displays
DE102020126029A1 (de) * 2020-10-05 2022-04-07 B. Braun New Ventures GmbH Chirurgisches Assistenzsystem und Darstellungsverfahren
DE102020134898A1 (de) 2020-12-23 2022-06-23 Sensopart Industriesensorik Gmbh Zielmarke zur Bestimmung einer dreidimensionalen Pose eines Objekts
US20220202493A1 (en) * 2020-12-30 2022-06-30 Novarad Corporation Alignment of Medical Images in Augmented Reality Displays
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US11657578B2 (en) * 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US20220331047A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Method for intraoperative display for surgical systems
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US11948265B2 (en) * 2021-11-27 2024-04-02 Novarad Corporation Image data set alignment for an AR headset using anatomic structures and data fitting
US20230169696A1 (en) * 2021-11-27 2023-06-01 Novarad Corporation Transfer of Alignment Accuracy Between Visible Markers Used with Augmented Reality Displays
CN114177544B (zh) * 2022-01-17 2023-08-11 中国科学院合肥物质科学研究院 一种用于放疗规划的ct、光学共定位辅助装置
US20230240790A1 (en) * 2022-02-03 2023-08-03 Medtronic Navigation, Inc. Systems, methods, and devices for providing an augmented display
WO2023192395A1 (en) * 2022-03-29 2023-10-05 Project Moray, Inc. Registration of medical robot and/or image data for robotic catheters and other uses
WO2024025850A1 (en) * 2022-07-26 2024-02-01 Becton, Dickinson And Company System and method for vascular access management
US20240046555A1 (en) * 2022-08-08 2024-02-08 Gustav Lo Arcuate Imaging for Altered Reality Visualization

Family Cites Families (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8496474B2 (en) 1997-06-20 2013-07-30 Align Technology, Inc. Computer automated development of an orthodontic treatment plan and appliance
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US6470207B1 (en) * 1999-03-23 2002-10-22 Surgical Navigation Technologies, Inc. Navigational guidance via computer-assisted fluoroscopic imaging
US6919867B2 (en) 2001-03-29 2005-07-19 Siemens Corporate Research, Inc. Method and apparatus for augmented reality visualization
US20030100830A1 (en) 2001-11-27 2003-05-29 Sheng-Ping Zhong Implantable or insertable medical devices visible under magnetic resonance imaging
US7369101B2 (en) 2003-06-12 2008-05-06 Siemens Medical Solutions Usa, Inc. Calibrating real and virtual views
US7467119B2 (en) 2003-07-21 2008-12-16 Aureon Laboratories, Inc. Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
US20050215879A1 (en) 2004-03-12 2005-09-29 Bracco Imaging, S.P.A. Accuracy evaluation of video-based augmented reality enhanced surgical navigation systems
US9681925B2 (en) 2004-04-21 2017-06-20 Siemens Medical Solutions Usa, Inc. Method for augmented reality instrument placement using an image based navigation system
US7394946B2 (en) 2004-05-18 2008-07-01 Agfa Healthcare Method for automatically mapping of geometric objects in digital medical images
CN101237903A (zh) 2005-01-18 2008-08-06 皇家飞利浦电子股份有限公司 用于控制所摄入胶囊通过的系统和方法
US20070066881A1 (en) 2005-09-13 2007-03-22 Edwards Jerome R Apparatus and method for image guided accuracy verification
JP4665710B2 (ja) 2005-10-21 2011-04-06 株式会社デンソーウェーブ 情報コード担体
US9782229B2 (en) 2007-02-16 2017-10-10 Globus Medical, Inc. Surgical robot platform
US7546950B2 (en) 2006-03-28 2009-06-16 Seiko Epson Corporation Method and apparatus for locating and decoding a two-dimensional machine-readable symbol
EP3032456B1 (en) 2006-03-30 2018-04-25 Stryker European Holdings I, LLC System and method for optical position measurement and guidance of a rigid or semi-flexible tool to a target
WO2008076079A1 (en) 2006-12-19 2008-06-26 Bracco Imaging S.P.A. Methods and apparatuses for cursor control in image guided surgery
EP2109410B1 (en) * 2007-01-22 2015-07-01 Avent, Inc. Positioning tool for positioning an instrument at a treatment site
JPWO2008090676A1 (ja) 2007-01-25 2010-05-13 コニカミノルタエムジー株式会社 医用画像システム、電子カルテ端末及びプログラム
WO2008139354A2 (en) * 2007-05-10 2008-11-20 Koninklijke Philips Electronics N. V. Targeting method, targeting device, computer readable medium and program element
US7886978B2 (en) 2007-09-20 2011-02-15 Microsoft Corporation Techniques for decoding images of barcodes
US7853558B2 (en) 2007-11-09 2010-12-14 Vibrant Media, Inc. Intelligent augmentation of media content
JP2011525283A (ja) 2008-06-18 2011-09-15 オブロング・インダストリーズ・インコーポレーテッド 車両インターフェース用ジェスチャ基準制御システム
US20110306986A1 (en) 2009-03-24 2011-12-15 Min Kyu Lee Surgical robot system using augmented reality, and method for controlling same
EP2329786A2 (en) 2009-10-01 2011-06-08 Navotek Medical Ltd. Guided surgery
WO2011085815A1 (en) 2010-01-14 2011-07-21 Brainlab Ag Controlling a surgical navigation system
US8657809B2 (en) 2010-09-29 2014-02-25 Stryker Leibinger Gmbh & Co., Kg Surgical navigation system
US9119655B2 (en) 2012-08-03 2015-09-01 Stryker Corporation Surgical manipulator capable of controlling a surgical instrument in multiple modes
US9521966B2 (en) 2012-05-17 2016-12-20 Alan N. Schwartz Localization of the parathyroid
DE112012000752A5 (de) 2011-02-11 2013-11-21 Olaf Christiansen Endoskopisches Bildverarbeitungssystem mit Mitteln, welche im Erfassungsbereich einer optischen Digitalkamera eine geometrische Vermessungsinformation erzeugen
US8401343B2 (en) 2011-03-27 2013-03-19 Edwin Braun System and method for defining an augmented reality character in computer generated virtual reality using coded stickers
JP6021353B2 (ja) 2011-08-04 2016-11-09 オリンパス株式会社 手術支援装置
US9123155B2 (en) 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
US20130197354A1 (en) * 2012-01-30 2013-08-01 Siemens Aktiengesellschaft Minimally invasive treatment of mitral regurgitation
US9594877B2 (en) * 2012-08-31 2017-03-14 Nuvectra Corporation Virtual reality representation of medical devices
US9817440B2 (en) 2012-09-11 2017-11-14 L.I.F.E. Corporation S.A. Garments having stretchable and conductive ink
US8945328B2 (en) 2012-09-11 2015-02-03 L.I.F.E. Corporation S.A. Methods of making garments having stretchable and conductive ink
US9323057B2 (en) 2012-12-07 2016-04-26 Blackberry Limited Mobile device, system and method for controlling a heads-up display
JP2014131552A (ja) 2013-01-07 2014-07-17 Akira Takebayashi 医療支援装置
US9336629B2 (en) 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
KR20140112207A (ko) 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US9898866B2 (en) 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US9047664B2 (en) 2013-05-31 2015-06-02 Kathryn Pearson Peyton Apparatus and method for utilizing mammogram images for verification
JP6023324B2 (ja) 2013-06-11 2016-11-09 敦 丹治 外科手術支援システム、外科手術支援装置、外科手術支援方法、外科手術支援プログラムおよび情報処理装置
US9572516B1 (en) 2013-08-06 2017-02-21 Babak Sheikh Application and method for producing images of moving joints
US10433911B2 (en) 2013-09-18 2019-10-08 iMIRGE Medical INC. Optical targeting and visualization of trajectories
EP2870941A1 (en) 2013-11-08 2015-05-13 Orthotaxy Method for planning a surgical intervention
JP6264014B2 (ja) 2013-12-17 2018-01-24 セイコーエプソン株式会社 頭部装着型表示装置
US10231704B2 (en) 2013-12-20 2019-03-19 Raghu Raghavan Method for acquiring ultrasonic data
EP3110331B1 (en) 2014-02-26 2018-10-10 Brainlab AG Tracking soft tissue in medical images
JP6445784B2 (ja) 2014-05-16 2018-12-26 キヤノン株式会社 画像診断支援装置、その処理方法及びプログラム
WO2015176163A1 (en) 2014-05-21 2015-11-26 Millennium Three Technologies Inc Fiducial marker patterns, their automatic detection in images, and applications thereof
US20210186355A1 (en) 2014-11-30 2021-06-24 Elbit Systems Ltd. Model registration system and method
US20160180441A1 (en) 2014-12-22 2016-06-23 Amazon Technologies, Inc. Item preview image generation
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US9830488B2 (en) 2014-12-30 2017-11-28 Hand Held Products, Inc. Real-time adjustable window feature for barcode scanning and process of scanning barcode with adjustable window feature
US10004610B2 (en) 2015-02-04 2018-06-26 DePuy Synthes Products, Inc. Non-invasive methods for modifying tissue to facilitate treatment
AU2016226388A1 (en) 2015-03-01 2017-10-19 ARIS MD, Inc. Reality-augmented morphological procedure
TWI553508B (zh) 2015-03-03 2016-10-11 緯創資通股份有限公司 物件感測裝置與方法
US20180140362A1 (en) 2015-04-07 2018-05-24 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
US9436993B1 (en) * 2015-04-17 2016-09-06 Clear Guide Medical, Inc System and method for fused image based navigation with late marker placement
WO2016181182A1 (en) 2015-05-08 2016-11-17 Synaptive Medical (Barbados) Inc. Magnetic resonance visible labels and markers for encoding information
CN108352195A (zh) 2015-10-29 2018-07-31 皇家飞利浦有限公司 具有用于经由增强现实眼镜远程协助空间放置任务的用户界面的远程协助工作站、方法和系统
WO2017093034A1 (en) 2015-12-01 2017-06-08 Brainlab Ag Method and apparatus for determining or predicting the position of a target
AU2016370633A1 (en) 2015-12-14 2018-07-05 Nuvasive, Inc. 3D visualization during surgery with reduced radiation exposure
US20170178540A1 (en) 2015-12-22 2017-06-22 Truinject Medical Corp. Injection training with modeled behavior
JP6112689B1 (ja) 2016-02-17 2017-04-12 株式会社菊池製作所 重畳画像表示システム
CN105769232B (zh) 2016-02-22 2018-01-12 上海联影医疗科技有限公司 Ct设备的x射线管灯丝预热方法和预热电路
CN111329553B (zh) 2016-03-12 2021-05-04 P·K·朗 用于手术的装置与方法
JP6780948B2 (ja) 2016-03-28 2020-11-04 キヤノンメディカルシステムズ株式会社 Ｘ線ｃｔ装置
US20170296292A1 (en) * 2016-04-16 2017-10-19 Eitezaz MAHMOOD Systems and Methods for Surgical Imaging
IL245339A (en) 2016-04-21 2017-10-31 Rani Ben Yishai Method and system for verification of registration
US9589348B1 (en) 2016-05-31 2017-03-07 Oculus Vr, Llc Camera calibration system
WO2018024342A1 (en) 2016-08-05 2018-02-08 Brainlab Ag Automatic image registration of scans for image-guided surgery
US20180049622A1 (en) 2016-08-16 2018-02-22 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
US11071596B2 (en) 2016-08-16 2021-07-27 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
CA3034314C (en) 2016-08-17 2021-04-20 Synaptive Medical (Barbados) Inc. Methods and systems for registration of virtual space with real space in an augmented reality system
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use
US10888228B2 (en) 2016-11-10 2021-01-12 SK Commercial Construction, Inc. Method and system for correlating anatomy using an electronic mobile device transparent display screen
WO2018132804A1 (en) 2017-01-16 2018-07-19 Lang Philipp K Optical guidance for surgical, medical, and dental procedures
US11551380B2 (en) * 2017-01-17 2023-01-10 Koninklijke Philips N.V. Augmented reality interventional system providing contextual overlays
IL250432A0 (en) 2017-02-02 2017-06-29 Elbit Systems Ltd Magnified imaging with high resolution and traceability for medical use
US20200188030A1 (en) 2017-02-08 2020-06-18 Duke University Augmented Reality-Based Navigation for Use in Surgical and Non-Surgical Procedures
US10478149B2 (en) 2017-02-21 2019-11-19 Siemens Healthcare Gmbh Method of automatically positioning an X-ray source of an X-ray system and an X-ray system
US10010379B1 (en) * 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
US9922172B1 (en) * 2017-02-28 2018-03-20 Digital Surgery Limited Surgical guidance system based on a pre-coded surgical procedural map
US10871934B2 (en) 2017-05-04 2020-12-22 Microsoft Technology Licensing, Llc Virtual content displayed with shared anchor
US20180373327A1 (en) 2017-06-26 2018-12-27 Hand Held Products, Inc. System and method for selective scanning on a binocular augmented reality device
US11388240B2 (en) 2017-06-28 2022-07-12 Commscope Technologies Llc Systems and methods for managed connectivity wall outlets using low energy wireless communication
US20200405395A1 (en) 2017-07-03 2020-12-31 Spine Align, Llc Intraoperative alignment assessment system and method
US11540767B2 (en) 2017-07-03 2023-01-03 Globus Medical Inc. Intraoperative alignment assessment system and method
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
EP3470006B1 (en) 2017-10-10 2020-06-10 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
ES2945711T3 (es) 2017-08-15 2023-07-06 Holo Surgical Inc Sistema de navegación quirúrgica para proporcionar una imagen de realidad aumentada durante la operación
US11432879B2 (en) 2017-08-18 2022-09-06 Siemens Healthcare Gmbh Method and apparatus for wide area multi-body 6D pose tracking system
US20190075456A1 (en) 2017-09-07 2019-03-07 Bae Systems Information And Electronic Systems Integration Inc. Secure wireless pairing of master slave devices withqr codes
WO2019051464A1 (en) 2017-09-11 2019-03-14 Lang Philipp K INCREASED REALITY DISPLAY FOR VASCULAR AND OTHER INTERVENTIONS, COMPENSATION FOR CARDIAC AND RESPIRATORY MOVEMENT
US11199946B2 (en) 2017-09-20 2021-12-14 Nec Corporation Information processing apparatus, control method, and program
US10504250B2 (en) 2018-01-27 2019-12-10 Uih America, Inc. Systems and methods for correcting mismatch induced by respiratory motion in positron emission tomography image reconstruction
GB201804383D0 (en) 2018-03-19 2018-05-02 Microsoft Technology Licensing Llc Multi-endpoint mixed reality meetings
US20190310819A1 (en) 2018-04-10 2019-10-10 Carto Technologies, LLC Augmented reality image display systems and methods
US10809958B2 (en) 2018-04-16 2020-10-20 Microsoft Technology Licensing, Llc Setting up multiple displays via user input
US11145123B1 (en) 2018-04-27 2021-10-12 Splunk Inc. Generating extended reality overlays in an industrial environment
TWI678181B (zh) 2018-04-30 2019-12-01 長庚大學 手術導引系統
WO2019217893A1 (en) 2018-05-10 2019-11-14 Memorial Sloan Kettering Cancer Center Systems for augmented reality surgical and clinical visualization
US10825563B2 (en) 2018-05-14 2020-11-03 Novarad Corporation Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient
EP3803540B1 (en) 2018-06-11 2023-05-24 Brainlab AG Gesture control of medical displays
EP3810013A1 (en) 2018-06-19 2021-04-28 Tornier, Inc. Neural network for recommendation of shoulder surgery type
US10803761B2 (en) 2018-08-13 2020-10-13 University Of Central Florida Research Foundation, Inc. Multisensory wound simulation
US11244509B2 (en) 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US20200186786A1 (en) 2018-12-06 2020-06-11 Novarad Corporation Calibration for Augmented Reality
EP3893788A1 (en) 2018-12-12 2021-10-20 Howmedica Osteonics Corp. Soft tissue modeling and planning system for orthopedic surgical procedures
WO2020185405A1 (en) 2019-03-12 2020-09-17 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
EP3937825A4 (en) 2019-03-13 2022-12-28 Smith&Nephew, Inc. AUGMENTED REALITY ASSISTED SURGICAL TOOL ALIGNMENT
JP2022535738A (ja) 2019-05-29 2022-08-10 マーフィー，ステファン，ビー 外科手術に拡張現実を利用するためのシステム及び方法
US10929670B1 (en) 2019-10-21 2021-02-23 The Boeing Company Marker-to-model location pairing and registration for augmented reality applications
US20220202493A1 (en) 2020-12-30 2022-06-30 Novarad Corporation Alignment of Medical Images in Augmented Reality Displays
US11172996B1 (en) 2021-01-13 2021-11-16 MediVis, Inc. Instrument-based registration and alignment for augmented reality environments
US11786206B2 (en) 2021-03-10 2023-10-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems
US11948265B2 (en) 2021-11-27 2024-04-02 Novarad Corporation Image data set alignment for an AR headset using anatomic structures and data fitting

Also Published As

Publication number Publication date
EP3880110A4 (en) 2023-01-11
WO2020102761A1 (en) 2020-05-22
EP3880110A1 (en) 2021-09-22
US11287874B2 (en) 2022-03-29
US11989338B2 (en) 2024-05-21
US20200159313A1 (en) 2020-05-21
JP2022507622A (ja) 2022-01-18
US20220291741A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
US11989338B2 (en) Using optical codes with augmented reality displays
US11754971B2 (en) Method and system for displaying holographic images within a real object
JP6400793B2 (ja) 画像表示の生成方法
CN109419524B (zh) 医学成像系统的控制
EP3793434A1 (en) Aligning image data of a patient with actual views of the patient using an optical code affixed to the patient
US20180168730A1 (en) System and method for medical procedure planning
CN110494921A (zh) 利用三维数据增强患者的实时视图
CN109195527A (zh) 用于与骨骼手术一起使用的设备及方法
US11948265B2 (en) Image data set alignment for an AR headset using anatomic structures and data fitting
US20220202493A1 (en) Alignment of Medical Images in Augmented Reality Displays
CN108472085B (zh) 用于计划医疗过程的系统和方法
JP6548110B2 (ja) 医用観察支援システム及び臓器の３次元模型
CN114795464A (zh) 术中增强现实方法及系统
US20200022774A1 (en) Implantable markers to aid surgical operations
US11941765B2 (en) Representation apparatus for displaying a graphical representation of an augmented reality
US20230169696A1 (en) Transfer of Alignment Accuracy Between Visible Markers Used with Augmented Reality Displays
US20240144497A1 (en) 3D Spatial Mapping in a 3D Coordinate System of an AR Headset Using 2D Images
US20220409283A1 (en) Presentation device for displaying a graphical presentation of an augmented reality
US20230015717A1 (en) Anatomical scanning, targeting, and visualization
US20230298186A1 (en) Combining angiographic information with fluoroscopic images
JP2024516547A (ja) Ｌｉｄａｒベースの解剖学的マッピングに係るシステム及び方法
CN117677358A (zh) 用于手术期间现场x射线荧光透视和c形臂计算机断层扫描成像的立体投影和交叉参考的增强现实系统和方法
WO2023049528A1 (en) Anatomical scanning, targeting, and visualization
CN115176283A (zh) 增强现实定位医学视图