KR101536115B1 - 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템 - Google Patents

수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템 Download PDF

Info

Publication number
KR101536115B1
KR101536115B1 KR1020130100945A KR20130100945A KR101536115B1 KR 101536115 B1 KR101536115 B1 KR 101536115B1 KR 1020130100945 A KR1020130100945 A KR 1020130100945A KR 20130100945 A KR20130100945 A KR 20130100945A KR 101536115 B1 KR101536115 B1 KR 101536115B1
Authority
KR
South Korea
Prior art keywords
long
term
model
image
virtual
Prior art date
Application number
KR1020130100945A
Other languages
English (en)
Other versions
KR20150024029A (ko
Inventor
홍재성
최현석
Original Assignee
재단법인대구경북과학기술원
주식회사 고영테크놀러지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원, 주식회사 고영테크놀러지 filed Critical 재단법인대구경북과학기술원
Priority to KR1020130100945A priority Critical patent/KR101536115B1/ko
Priority to US14/441,398 priority patent/US20160163105A1/en
Priority to PCT/KR2014/007909 priority patent/WO2015030455A1/ko
Priority to JP2016538846A priority patent/JP2016533832A/ja
Publication of KR20150024029A publication Critical patent/KR20150024029A/ko
Application granted granted Critical
Publication of KR101536115B1 publication Critical patent/KR101536115B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20128—Atlas-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

증강 현실을 통해 형상화되는 2차원 장기 이미지를 3차원 렌더링하여 가상의 장기 모형으로 변환 함으로써, 사용자가 가상 현실에서 가상의 장기 모형 간의 깊이 정도 및 가상의 장기 모형과 수술 도구 간의 깊이 관계를 보다 용이하게 인지할 수 있도록 하는 수술 내비게이션 시스템 운용 방법이 개시된다.
본 발명에 따른 수술 내비게이션 시스템 운용 방법은, 카메라에 의해 촬상되는 인체영상으로부터 오브젝트를 식별하는 단계와, 증강현실을 이용하여, 상기 오브젝트에 대한 2차원의 장기 이미지를 형상화하는 단계 및 상기 장기 이미지를 3차원 렌더링하여, 가상의 장기 모형을 작성하는 단계를 포함한다.

Description

수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템{METHOD FOR OPERATING SURGICAL NAVIGATIONAL SYSTEM AND SURGICAL NAVIGATIONAL SYSTEM}
본 발명은 증강 현실을 통해 형상화되는 <0001> 2차원 장기 이미지를 3차원 렌더링하여 가상의 장기 모형으로 변환함으로써, 사용자가 가상 현실에서 가상의 장기모형 간의 깊이 정도 및 가상의 장기 모형과 수술 도구 간의 깊이 관계를 보다 용이하게 인지할 수 있도록 하는 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템에 관한 것이다. 본 발명은 지식경제부의 산업원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제고유번호:10040097, 과제명: 의료수술로봇영상기반 이비인후과 및 신경외과 수술용 최소침습 다자유도 수술로봇 시스템 기술 개발].
증강 현실을 이용한 수술 내비게이션 시스템은 카메라를 통해 촬영하는 실제 환자의 영상에, 피부나 장기 내부와 같이 실제로 촬영할 수 없는 해부학적 구조를 가상의 물체를 이용하여 표시하는 시스템으로, 이를 이용하여 수술 시 장기의 손상을 방지하고, 불필요한 부위에 대한 절개를 막을 수 있다.
한편, 증강 현실을 이용한 수술 내비게이션 시스템을 사용하여 수술 시 사용자(의사)는 깊이감을 인식하는데 어려움을 느낄 수 있다. 사용자가 수술 내비게이션 시스템에서 구현된 수술 도구와 환자의 장기 간의 깊이감을 정확히 인식하지 못할 경우, 원하지 않는 부위를 손상시킬 우려가 있다. 증강 현실에서는 3차원 공간 상의 가상 물체들이 2차원 화면 상에 투영되기 때문에, 실제 환자의 위치와 여러 가상 물체들과의 깊이 관계를 파악하기 어려울 수 있으며, 특히 가상 물체들이 반투명할 경우에는 가상 물체들 간의 깊이 관계를 파악하는 데에도 어려움이 따를 수 있다.
이러한 깊이 인식 문제를 해결하기 위해, 다양한 시각화 방법들이 개발되고 있다. 대표적으로 가상의 물체 간의 명암을 조절하여 깊이감을 부여하는 방법이 널리 사용되고 있다. 하지만, 물체가 반투명일 경우에는 명암이 정확히 나타나지 않을 수도 있고, 대상의 범위가 넓으면 깊이감을 부여하는 것이 더 어려워지는 문제점이 있다.
또한, 두부 부착형 디스플레이(HMD)와 스테레오 비전을 결합한 시각화 방법도 자주 사용되고 있으나, 두부 부착형 디스플레이를 장시간 착용할 경우 사용자에게 피로를 유발할 수 있다.
이에 따라, 사용자에게 부담을 주지 않으면서도 깊이감을 용이하게 느끼게 할 수 있는 수술 내비게이션 시스템의 개발이 절실히 요구되고 있다.
본 발명은 증강 현실을 통해 형상화되는 2차원 장기 이미지에 대해 선택 신호가 입력 됨에 따라, 선택 신호가 입력된 상기 장기 이미지 내 지점을 기준으로 3차원 렌더링하여 가상의 장기 모형으로 변환 함으로써, 사용자가 가상 현실에서 직접 가상 카메라의 시점을 이동시켜, 가상의 장기 모형 간의 깊이 정도를 쉽게 파악할 수 있도록 하는 수술 내비게이션 시스템 운용 방법 및 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 가상의 장기 모형과 수술 도구와의 위치 관계(방향 및 거리)를 실시간으로 화면에 표시 함으로써, 사용자가 가상 현실에서 가상의 장기 모형과 수술 도구 간의 깊이 관계를 보다 정확히 인지할 수 있도록 하는 수술 내비게이션 시스템 운용 방법 및 시스템을 제공하는 것을 목적으로 한다.
상기 목적을 이루기 위한 수술 내비게이션 시스템 운용 방법은, 카메라에 의해 촬상되는 인체영상으로부터 오브젝트를 식별하는 단계와, 증강현실을 이용하여, 상기 오브젝트에 대한 2차원의 장기 이미지를 형상화하는 단계 및 상기 장기 이미지를 3차원 렌더링하여, 가상의 장기 모형을 작성하는 단계를 포함한다.
또한, 상기의 목적을 달성하기 위한 기술적 장치로서, 수술 내비게이션 시스템은, 카메라에 의해 촬상되는 인체영상으로부터 오브젝트를 식별하는 오브젝트 식별부와, 증강현실을 이용하여, 상기 오브젝트에 대한 2차원의 장기 이미지를 형상화하는 이미지 형상화부 및 상기 장기 이미지를 3차원 렌더링하여, 가상의 장기 모형을 작성하는 장기 모형 작성부를 포함하여 구성한다.
본 발명에 따르면, 증강 현실을 통해 형상화되는 2차원 장기 이미지에 대해 선택 신호가 입력 됨에 따라, 선택 신호가 입력된 상기 장기 이미지 내 지점을 기준으로 3차원 렌더링하여 가상의 장기 모형으로 변환 함으로써, 사용자가 가상 현실에서 직접 가상 카메라의 시점을 이동시켜, 가상의 장기 모형 간의 깊이 정도를 쉽게 파악할 수 있도록 하는 수술 내비게이션 시스템 운용 방법 및 시스템을 제공할 수 있다.
또한, 본 발명에 의하면, 가상의 장기 모형과 수술 도구와의 위치 관계(방향 및 거리)를 실시간으로 화면에 표시 함으로써, 사용자가 가상 현실에서 가상의 장기 모형과 수술 도구 간의 깊이 관계를 보다 정확히 인지할 수 있게 된다.
도 1은 본 발명의 일실시예에 따른 수술 내비게이션 시스템의 구체적인 구성을 나타내는 도면이다.
도 2는 2차원의 장기 이미지 및 가상의 장기 모형의 일례를 도시한 도면이다.
도 3은 선택 신호의 입력에 따라, 증강 현실에서 가상 현실로 전환되는 일례를 도시한 도면이다.
도 4는 선택 신호의 입력에 따라, 가상 현실에서 가상의 장기 모형을 확대하는 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 수술 내비게이션 시스템 운용 방법을 도시한 작업 흐름도이다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 수술 내비게이션 시스템의 구체적인 구성을 나타내는 도면이다.
본 발명의 수술 내비게이션 시스템(100)은 오브젝트 식별부(110), 이미지 형상화부(120) 및 장기 모형 작성부(130)를 포함하여 구성할 수 있다. 또한, 실시예에 따라, 수술 내비게이션 시스템(100)은 방향/거리 표시부(140)를 추가하여 구성할 수 있다.
오브젝트 식별부(110)는 카메라에 의해 촬상되는 인체영상으로부터 오브젝트를 식별한다.
여기서 상기 오브젝트는, 상기 인체영상에서 예를 들어, '뇌', '심장', '위'와 같은 환자의 장기가 위치하는 영역, 또는 위치하는 것으로 추정되는 영역을 지칭할 수 있다. 또한, 본 발명의 수술 내비게이션 시스템(100)은 예를 들어, '뇌', '심장', '위' 등의 각 장기의 일반적인 형태를 정규 모델로서 유지할 수 있다.
일례로, 오브젝트 식별부(110)는 상기 인체영상을, 장기에 관한 정규 모델로 투영하여, 상기 정규 모델과 선정된 범위 이내에서 중첩되는 상기 인체영상 내 오브젝트를 식별할 수 있다. 예를 들어, 오브젝트 식별부(110)는 상기 인체영상을, 유지되는 장기 '뇌'에 관한 정규 모델, 장기 '심장'에 관한 정규 모델, 장기 '위'에 관한 정규 모델 등으로 각각 투영하여, '70%' 이상의 범위 이내인 상기 인체영상 내 오브젝트를 각각 식별할 수 있다.
이미지 형상화부(120)는 증강현실을 이용하여, 상기 오브젝트에 대한 2차원의 장기 이미지를 형상화한다.
본 발명의 수술 내비게이션 시스템(100)은 카메라에 의해 상기 인체영상이 촬상된 환자에 관한 DICOM(Digital Imaging and Communications in Medicine) 이미지를 유지할 수 있다. 여기서, 상기 DICOM 이미지는 CT, MRI, X-ray 등의 의료 장비를 이용하여 여러 방향(예컨대, 정면, 측면, 단면 등)에서 환자를 촬영하여 획득한 이미지를 통칭할 수 있다.
일례로, 이미지 형상화부(120)는 상기 오브젝트의 식별과 연관되는 상기 정규 모델의 DICOM 이미지를 평면 형태로 2차원 렌더링하여, 상기 장기 이미지를 형상화할 수 있다. 예를 들어, 상기 인체영상에서 장기 '뇌'에 해당하는 오브젝트가 식별되는 경우, 이미지 형상화부(120)는 환자의 장기 '뇌'를 여러 방향에서 촬영한 복수의 DICOM 이미지를 각각 2차원 렌더링하여, 상기 인체영상에서 상기 식별한 오브젝트의 영역에 장기 '뇌'에 관한 2차원 장기 이미지를 시각화 할 수 있다.
장기 모형 작성부(130)는 상기 장기 이미지를 3차원 렌더링하여, 가상의 장기 모형을 작성한다.
일례로, 장기 모형 작성부(130)는 상기 장기 이미지에 대해 터치 신호 및 클릭 신호를 포함하는 선택 신호를 입력받고, 상기 선택 신호가 입력된 상기 장기 이미지 내 지점에 대해, 상기 3차원 렌더링할 수 있다.
즉, 장기 모형 작성부(130)는 상기 장기 이미지에 대해 선택 신호가 입력 됨에 따라, 화면의 움직임 없이(즉, 상기 카메라에 대응하는 가상 카메라의 위치 및 초점을 유지한 채) 2차원의 증강 현실에서 3차원의 가상 현실로 화면을 매끄럽게 전환할 수 있다.
이때, 장기 모형 작성부(130)는 상기 평면 형태의 장기 이미지들 사이에서 발생하는 평면의 각 위치에서의 멀고 가까운 정도를 이용하여 상기 장기 모형에 대한 깊이 정보를 추출하고, 상기 깊이 정보를 통해 상기 장기 모형에 대한 깊이감을 그래픽적으로 표현할 수 있다.
또한, 장기 모형 작성부(130)는 상기 장기 모형에 대한, 터치 신호 및 클릭 신호를 포함하는 선택 신호의 입력에 연동하여, 상기 장기 모형에 대해, 회전, 확대, 및 축소 중 적어도 하나의 제어를 수행 함으로써, 3차원의 가상 현실로 전환된 화면에서 상기 장기 모형 간의 위치 관계 및 깊이감이 용이하게 표현되도록 할 수 있다.
이와 같이, 본 발명에 따르면, 증강 현실을 통해 형상화되는 2차원 장기 이미지에 대해 선택 신호가 입력 됨에 따라, 선택 신호가 입력된 상기 장기 이미지 내 지점을 기준으로 3차원 렌더링하여 가상의 장기 모형으로 변환 함으로써, 사용자가 가상 현실에서 직접 가상 카메라의 시점을 이동시켜, 가상의 장기 모형 간의 깊이 정도를 쉽게 파악할 수 있도록 하는 수술 내비게이션 시스템 운용 방법 및 시스템을 제공할 수 있다.
또한, 실시예에 따라, 본 발명의 수술 내비게이션 시스템(100)은 사용자가 가상 현실에서 가상의 장기 모형 간의 깊이 정도 뿐만 아니라, 가상의 장기 모형과 수술 도구 간의 깊이 관계에 대해서도 보다 정확히 인지할 수 있도록, 방향/거리 표시부(140)를 더 포함할 수 있다.
방향/거리 표시부(140)는 최단 이웃점 탐색 기법을 이용하여, 수술 도구의 끝 부분과 상대적으로 근접하는 상기 장기 모형의 표면 상에 있는 점의 위치를 획득하고, 상기 획득한 점과 수술 도구 사이의 거리를 연산하여, 상기 장기 모형과 함께 화면에 표시할 수 있다. 또한, 방향/거리 표시부(140)는 상기 장기 모형으로 접근하는 수술 도구의 진입 방향을 연산하여 표시할 수 있다. 이때, 방향/거리 표시부(140)는 상기 연산된 거리에 따라, 단계적으로 경고를 표시할 수 있다.
이와 같이, 본 발명에 의하면, 가상의 장기 모형과 수술 도구와의 위치 관계(방향 및 거리)를 실시간으로 화면에 표시 함으로써, 사용자가 가상 현실에서 가상의 장기 모형과 수술 도구 간의 깊이 관계를 보다 정확히 인지할 수 있게 된다. 즉, 본 발명은 사용자에게 가상의 장기 모형과 수술 도구 간 최단 거리를 표시 함으로써, 직관적인 깊이감을 제공하고, 시술의 안정성 향상에 기여할 수 있다.
한편, 수술 내비게이션 시스템(100)은 카메라 및 환자에 각각 대응하는 가상 카메라 및 가상의 환자 또는 장기를 가상 공간에 나타내고, 카메라에서 획득한 영상을 가상의 물체 뒤에 투영시켜 가상의 장기와 실제 장기가 정확히 중첩되도록 함으로써 상기 증강 현실을 구현할 수 있다. 이를 위해, 카메라의 내부 파라메터값과 환자와 카메라 간의 위치 관계가 파악되어야 한다.
상술한 카메라의 내부 파라메터값을 얻어내기 위해, Zhengyou Zhang의 카메라 켈리브레이션 방법이 사용될 수 있다. 상기 내부 파라메터값은, 체스보드 모양의 캘리브레이션 도구를 각각 다른 위치에서 50회 촬영하여 계산될 수 있다. 또한, 카메라와 환자 간의 위치 관계는, 환자와 카메라 몸통에 각각 패시브 마커를 부착한 뒤 광학식 위치 추적기(Polaris Spectra, NDI, Waterloo, Canada 등)를 사용하여 실시간으로 추적이 되도록 할 수 있다.
가상 공간은 카메라의 내부 파라메터값과 카메라와 환자 간의 위치 관계를 이용하여 구성될 수 있다. 가상 카메라의 Field of view(FOV)는 실제 카메라의 CCD 크기와 내부 파라메터값을 이용하여 계산될 수 있으며, 증강 현실을 구현하기 위한 가상 스크린의 크기 역시 카메라의 파라메터값과 카메라와 환자간의 관계를 이용하여 계산될 수 있다.
가상 현실에서는 가상 카메라의 위치를 자유롭게 변경하여 해당 물체(예컨대, 장기)를 관찰하는 것이 가능하다. 본 발명의 수술 내비게이션 시스템(100)은 증강 현실과 가상 현실의 장점을 이용하여 직관적인 깊이 인식이 가능하도록 할 수 있다. 예컨대, 수술 내비게이션 시스템(100)은 증강 현실의 화면 상에서 관찰하고 있는 장기의 위치가 바뀌지 않고, 자연스럽게 가상 현실 환경으로 넘어갈 수 있도록, 가상 카메라의 위치는 그대로 두고 초점만 가상의 장기를 향하도록 할 수 있다. 또한, 수술 내비게이션 시스템(100)은 증강 현실에서도 깊이 인식이 가능하도록 증강 현실의 화면 상에서 DICOM 이미지를 시각화하고, 가상 물체와 환자의 단면 영상을 비교하여 깊이 인식을 도울 수 있다.
또한, 수술 내비게이션 시스템(100)은 수술 도구의 끝 부분과 가장 가까이 위치한 특정 장기의 표면 간의 거리 및 방향을 실시간으로 추적하여 시각화 함으로써 깊이 인식 문제를 해결할 수 있다. 일례로, 수술 내비게이션 시스템(100)은 탐색 속도를 높이기 위해 KD Tree 자료구조를 사용하여 목표로 하는 장기의 표면 데이터를 등록하고, 최단 이웃점 탐색기법을 이용하여 수술 도구의 끝부분과 가장 가까운 가상 물체의 표면 상에 있는 점의 위치를 획득하여, 화면에 표시할 수 있다. 또한, 수술 내비게이션 시스템(100)은 수술 도구와의 거리가 가까워지면 단계적으로 경고 표시를 하여 사용자가 인지하도록 할 수 있다.
이와 같이, 본 발명에 따르면, 화면의 움직임 없이 증강 현실에서 가상 현실로 자연스럽게 이동하도록 하여, 사용자가 가상 현실 시스템에서 직접 가상 카메라의 시점을 이동시켜 물체 간의 깊이 정도를 쉽게 파악할 수 있도록 하고, 가상의 장기와 수술 도구와의 관계를 실시간으로 화면에 나타내어 정확한 깊이 관계를 시각적으로 구현 함으로써, 사용자에게 부담을 주지 않으면서 깊이감을 느끼게 할 수 있는 수술 내비게이션 시스템이 제공될 수 있다.
도 2는 2차원의 장기 이미지(ⅰ) 및 가상의 장기 모형(ⅱ)의 일례를 도시한 도면이다.
도 2의 (ⅰ)을 참조하면, 본 발명의 수술 내비게이션 시스템은 오브젝트의 식별과 연관되는 정규 모델의 DICOM 이미지를 평면 형태로 2차원 렌더링하여, 장기 이미지를 형상화할 수 있다. 즉, 수술 내비게이션 시스템은 인체영상에서 장기 '뇌'에 해당하는 오브젝트가 식별 됨에 따라, 환자의 장기 '뇌'를 여러 방향에서 촬영한 복수의 DICOM 이미지를 각각 2차원 렌더링하여, 상기 인체영상에서 상기 식별한 오브젝트의 영역에 장기 '뇌'에 관한 2차원 장기 이미지를 시각화 함으로써, DICOM 이미지를 이용하여 깊이감을 전달할 수 있다.
상기 장기 이미지가 표시되는 화면에서 터치 신호 및 클릭 신호를 포함하는 선택 신호가 입력되면, 수술 내비게이션 시스템은 2차원의 증강 현실에서 3차원의 가상 현실로 화면을 전환하고, 상기 선택 신호가 입력된 상기 장기 이미지 내 지점에 대해 상기 장기 이미지를 3차원 렌더링하여, 도 2의 (ⅱ)와 같이 가상의 장기 모형을 가상 현실의 화면 상에 작성할 수 있다. 이때, 수술 내비게이션 시스템은 수술 도구의 끝 부분과 가장 가까이 위치한 특정 장기의 표면 간의 최소 거리 및 방향을 실시간으로 추적하여 시각화 함으로써, 정확한 깊이 정보를 전달할 수 있다.
도 3은 선택 신호의 입력에 따라, 증강 현실(ⅰ)에서 가상 현실(ⅱ)로 전환되는 일례를 도시한 도면이다.
도 3을 참조하면, 본 발의 수술 내비게이션 시스템은 도 3의 (ⅰ)에 도시된 증강 현실을 통해 형상화되는 2차원 장기 이미지에 대해 선택 신호가 입력되면, 화면의 움직임 없이 초점을 유지한 채, 2차원의 증강 현실에서 3차원의 가상 현실로 화면을 매끄럽게 전환할 수 있다. 즉, 수술 내비게이션 시스템은 도 3의 (ⅱ)와 같이, 선택 신호가 입력된 상기 장기 이미지 내 지점을 기준으로 3차원 렌더링하여 가상의 장기 모형으로 변환할 수 있다. 이때, 수술 내비게이션 시스템은 상기 평면 형태의 장기 이미지들 사이에서 발생하는 평면의 각 위치에서의 멀고 가까운 정도를 이용하여 상기 장기 모형에 대한 깊이 정보를 추출하고, 상기 깊이 정보를 통해 상기 장기 모형에 대한 깊이감을 그래픽적으로 표현할 수 있다.
도 4는 선택 신호의 입력에 따라, 가상 현실에서 가상의 장기 모형을 확대하는 일례를 도시한 도면이다.
도 4를 참조하면, 본 발의 수술 내비게이션 시스템은 도 3의 (ⅱ)에 도시된 가상 현실에서 가상의 장기 모형에 대한, 터치 신호 및 클릭 신호를 포함하는 선택 신호의 입력에 연동하여, 상기 장기 모형에 대해, 회전, 확대, 및 축소 중 적어도 하나의 제어를 수행 함으로써, 상기 장기 모형 간의 위치 관계 및 깊이감이 용이하게 표현되도록 할 수 있다. 또한, 사용자는 가상 현실에서 직접 가상 카메라의 시점을 이동시켜, 가상의 장기 모형 간의 깊이 정도를 쉽게 파악할 수도 있다.
이하, 도 5에서는 본 발명의 실시예에 따른 수술 내비게이션 시스템(100)의 작업 흐름을 상세히 설명한다.
도 5는 본 발명의 일실시예에 따른 수술 내비게이션 시스템 운용 방법을 도시한 작업 흐름도이다.
본 실시예에 따른 수술 내비게이션 시스템 운용 방법은 상술한 수술 내비게이션 시스템(100)에 의해 수행될 수 있다.
우선, 수술 내비게이션 시스템(100)은 카메라에 의해 촬상되는 인체영상으로부터 오브젝트를 식별한다(510).
예를 들어, 수술 내비게이션 시스템(100)은 상기 인체영상을, 유지되는 장기 '뇌'에 관한 정규 모델, 장기 '심장'에 관한 정규 모델, 장기 '위'에 관한 정규 모델 등으로 각각 투영하여, '70%' 이상의 범위 이내인 상기 인체영상 내 오브젝트를 각각 식별할 수 있다.
그 다음으로, 수술 내비게이션 시스템(100)은 증강현실을 이용하여, 상기 오브젝트에 대한 2차원의 장기 이미지를 형상화한다(520).
예를 들어, 상기 인체영상에서 장기 '뇌'에 해당하는 오브젝트가 식별되는 경우, 수술 내비게이션 시스템(100)은 환자의 장기 '뇌'를 여러 방향에서 촬영한 복수의 DICOM 이미지를 각각 2차원 렌더링하여, 상기 인체영상에서 상기 식별한 오브젝트의 영역에 장기 '뇌'에 관한 2차원 장기 이미지를 시각화 할 수 있다. 여기서, 상기 DICOM 이미지는 CT, MRI, X-ray 등의 의료 장비를 이용하여 여러 방향(예컨대, 정면, 측면, 단면 등)에서 환자를 촬영하여 획득한 이미지를 통칭할 수 있다.
그 다음으로, 수술 내비게이션 시스템(100)은 상기 장기 이미지를 3차원 렌더링하여, 가상의 장기 모형을 작성하고(530), 상기 장기 모형에 대한, 터치 신호 및 클릭 신호를 포함하는 선택 신호의 입력에 연동하여, 상기 장기 모형을, 회전, 확대, 및 축소 중 적어도 하나의 제어를 수행한다(540).
수술 내비게이션 시스템(100)은 상기 장기 이미지에 대해 선택 신호가 입력 됨에 따라, 화면의 움직임 없이(즉, 상기 카메라에 대응하는 가상 카메라의 위치 및 초점을 유지한 채) 2차원의 증강 현실에서 3차원의 가상 현실로 화면을 매끄럽게 전환할 수 있다.
이때, 수술 내비게이션 시스템(100)은 상기 평면 형태의 장기 이미지들 사이에서 발생하는 평면의 각 위치에서의 멀고 가까운 정도를 이용하여 상기 장기 모형에 대한 깊이 정보를 추출하고, 상기 깊이 정보를 통해 상기 장기 모형에 대한 깊이감을 그래픽적으로 표현할 수 있다.
끝으로, 수술 내비게이션 시스템(100)은 수술 도구의 끝 부분과 상대적으로 근접하는 장기 모형의 표면 상에 있는 점과 수술 도구 사이의 거리를 연산하여 상기 장기 모형과 함께 화면에 표시하고(550), 수술 내비게이션 시스템(100)은 상기 장기 모형으로 접근하는 수술 도구의 진입 방향을 연산하여 표시한다(560).
구체적으로, 수술 내비게이션 시스템(100)은 최단 이웃점 탐색 기법을 이용하여, 수술 도구의 끝 부분과 상대적으로 근접하는 상기 장기 모형의 표면 상에 있는 점의 위치를 획득하고, 상기 획득한 점과 수술 도구 사이의 거리 및 상기 장기 모형으로 접근하는 수술 도구의 진입 방향을 연산하여, 상기 장기 모형과 함께 화면에 표시할 수 있다. 이때, 수술 내비게이션 시스템(100)은 상기 연산된 거리에 따라, 단계적으로 경고를 표시하여, 사용자가 인지하도록 할 수 있다.
이와 같이, 본 발명에 의하면, 가상의 장기 모형과 수술 도구와의 위치 관계(방향 및 거리)를 실시간으로 화면에 표시 함으로써, 사용자가 가상 현실에서 가상의 장기 모형과 수술 도구 간의 깊이 관계를 보다 정확히 인지할 수 있게 된다. 즉, 본 발명은 사용자에게 가상의 장기 모형과 수술 도구 간 최단 거리를 표시 함으로써, 직관적인 깊이감을 제공하고, 시술의 안정성 향상에 기여할 수 있다.
본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 수술 내비게이션 시스템
110: 오브젝트 식별부 120: 이미지 형상화부
130: 장기 모형 작성부 140: 방향/거리 표시부

Claims (13)

  1. 카메라에 의해 촬상되는 환자의 인체영상으로부터 오브젝트를 식별하는 단계;
    상기 환자를 복수의 방향에서 촬영하여 획득된 DICOM(Digital Imaging and Communications in Medicine) 이미지들 중 상기 오브젝트와 연관되는 DICOM 이미지들을 각각 2차원 렌더링하여, 상기 오브젝트에 대한 2차원의 장기 이미지를 증강현실을 이용하여 형상화하는 단계; 및
    상기 장기 이미지를 3차원 렌더링하여, 가상의 장기 모형을 작성하는 단계를 포함하고,
    상기 가상의 장기 모형을 작성하는 단계는,
    상기 장기 이미지가 표시되는 화면 중 임의의 지점에서의 터치 또는 클릭에 의해 형성된 제1 선택 신호를 입력받는 단계; 및
    증강현실을 이용하여 형상화된 상기 장기 이미지를 상기 제1 선택 신호가 입력된 상기 임의의 지점에서 3차원 렌더링하여 상기 가상의 장기 모형을 가상현실을 이용하여 작성하는 단계를 포함하며,
    상기 가상의 장기 모형을 가상현실을 이용하여 작성하는 단계는,
    상기 오브젝트와 연관되는 DICOM 이미지들 사이에서 발생하는 평면의 각 위치에서의 멀고 가까운 정도를 이용하여 상기 장기 모형에 대한 깊이 정보를 추출하고, 상기 깊이 정보를 통해 상기 장기 모형에 대한 깊이감을 그래픽적으로 표현하는 단계를 포함하는 것을 특징으로 하는 수술 내비게이션 시스템 운용 방법.
  2. 제1항에 있어서,
    상기 오브젝트를 식별하는 단계는,
    상기 인체영상을, 장기에 관한 정규 모델로 투영하여, 상기 정규 모델과 선정된 범위 이내에서 중첩되는 상기 인체영상 내 오브젝트를 식별하는 단계
    를 포함하는 수술 내비게이션 시스템 운용 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    화면을 통해 표시되는 상기 장기 모형에서의 터치 또는 클릭에 의해 형성된 제2 선택 신호의 입력에 연동하여, 상기 장기 모형에 대해, 회전, 확대, 및 축소 중 적어도 하나의 제어를 수행하는 단계
    를 더 포함하는 수술 내비게이션 시스템 운용 방법.
  7. 제1항에 있어서,
    최단 이웃점 탐색 기법을 이용하여, 수술 도구의 끝 부분과 상대적으로 근접하는 상기 장기 모형의 표면 상에 있는 점의 위치를 획득하는 단계; 및
    상기 획득한 점과 수술 도구 사이의 거리를 연산하여, 상기 장기 모형과 함께 화면에 표시하는 단계
    를 더 포함하는 수술 내비게이션 시스템 운용 방법.
  8. 제7항에 있어서,
    상기 장기 모형으로 접근하는 수술 도구의 진입 방향을 연산하여 표시하는 단계
    를 더 포함하는 수술 내비게이션 시스템 운용 방법.
  9. 제7항에 있어서,
    상기 연산된 거리에 따라, 단계적으로 경고를 표시하는 단계
    를 더 포함하는 수술 내비게이션 시스템 운용 방법.
  10. 카메라에 의해 촬상되는 환자의 인체영상으로부터 오브젝트를 식별하는 오브젝트 식별부;
    상기 환자를 복수의 방향에서 촬영하여 획득된 DICOM(Digital Imaging and Communications in Medicine) 이미지들 중 상기 오브젝트와 연관되는 DICOM 이미지들을 각각 2차원 렌더링하여, 상기 오브젝트에 대한 2차원의 장기 이미지를 증강현실을 이용하여 형상화하는 이미지 형상화부; 및
    상기 장기 이미지가 표시되는 화면 중 임의의 지점에서의 터치 또는 클릭에 의해 형성된 제1 선택 신호를 입력받고, 증강현실을 이용하여 형상화된 상기 장기 이미지를 상기 제1 선택 신호가 입력된 상기 임의의 지점에서 3차원 렌더링하여 가상의 장기 모형을 가상현실을 이용하여 작성하는 장기 모형 작성부를 포함하고,
    상기 장기 모형 작성부는
    상기 가상의 장기 모형을 가상현실을 이용하여 작성할 때, 상기 오브젝트와 연관되는 DICOM 이미지들 사이에서 발생하는 평면의 각 위치에서의 멀고 가까운 정도를 이용하여 상기 장기 모형에 대한 깊이 정보를 추출하고, 상기 깊이 정보를 통해 상기 장기 모형에 대한 깊이감을 그래픽적으로 표현하는 것을 특징으로 하는 수술 내비게이션 시스템.
  11. 제10항에 있어서,
    상기 장기 모형 작성부는,
    화면을 통해 표시되는 상기 장기 모형에서의 터치 또는 클릭에 의해 형성된 제2 선택 신호의 입력에 연동하여, 상기 장기 모형에 대해, 회전, 확대, 및 축소 중 적어도 하나의 제어를 수행하는
    수술 내비게이션 시스템.
  12. 제10항에 있어서,
    최단 이웃점 탐색 기법을 이용하여, 수술 도구의 끝 부분과 상대적으로 근접하는 상기 장기 모형의 표면 상에 있는 점의 위치를 획득하고, 상기 획득한 점과 수술 도구 사이의 거리를 연산하여, 상기 장기 모형과 함께 화면에 표시하는 방향/거리 표시부
    를 더 포함하는 수술 내비게이션 시스템.
  13. 제12항에 있어서,
    상기 방향/거리 표시부는,
    상기 장기 모형으로 접근하는 수술 도구의 진입 방향을 연산하여 표시하는
    수술 내비게이션 시스템.
KR1020130100945A 2013-08-26 2013-08-26 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템 KR101536115B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130100945A KR101536115B1 (ko) 2013-08-26 2013-08-26 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
US14/441,398 US20160163105A1 (en) 2013-08-26 2014-08-26 Method of operating a surgical navigation system and a system using the same
PCT/KR2014/007909 WO2015030455A1 (ko) 2013-08-26 2014-08-26 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
JP2016538846A JP2016533832A (ja) 2013-08-26 2014-08-26 手術ナビゲーションシステム運用方法及び手術ナビゲーションシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130100945A KR101536115B1 (ko) 2013-08-26 2013-08-26 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템

Publications (2)

Publication Number Publication Date
KR20150024029A KR20150024029A (ko) 2015-03-06
KR101536115B1 true KR101536115B1 (ko) 2015-07-14

Family

ID=52586929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130100945A KR101536115B1 (ko) 2013-08-26 2013-08-26 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템

Country Status (4)

Country Link
US (1) US20160163105A1 (ko)
JP (1) JP2016533832A (ko)
KR (1) KR101536115B1 (ko)
WO (1) WO2015030455A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190066937A (ko) * 2017-12-06 2019-06-14 조선대학교산학협력단 저장 매체에 저장된 수술 네비게이션 컴퓨터 프로그램, 그 프로그램이 저장된 스마트 기기 및 수술 네비게이션 시스템
KR102056930B1 (ko) 2017-11-21 2019-12-17 경희대학교 산학협력단 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
CN105045886B (zh) * 2015-07-23 2020-03-13 青岛海信医疗设备股份有限公司 一种dicom图像的导入方法
CN109310476B (zh) 2016-03-12 2020-04-03 P·K·朗 用于手术的装置与方法
US10748339B2 (en) * 2016-06-03 2020-08-18 A Big Chunk Of Mud Llc System and method for implementing computer-simulated reality interactions between users and publications
CN108268120B (zh) 2016-12-29 2020-07-28 同方威视技术股份有限公司 基于vr或ar的图像数据处理方法、设备和安检系统
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
EP3568070B1 (en) 2017-01-16 2024-01-03 Philipp K. Lang Optical guidance for surgical, medical, and dental procedures
US11696629B2 (en) 2017-03-22 2023-07-11 A Big Chunk Of Mud Llc Convertible satchel with integrated head-mounted display
US11801114B2 (en) 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
TWI642404B (zh) * 2017-12-06 2018-12-01 奇美醫療財團法人奇美醫院 Bone surgery navigation system and image navigation method for bone surgery
WO2019148154A1 (en) 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
CN108459802B (zh) * 2018-02-28 2020-11-20 北京航星机器制造有限公司 一种触控显示终端交互方法和装置
US11857378B1 (en) 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
US11553969B1 (en) 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11786206B2 (en) 2021-03-10 2023-10-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems
CN113761776B (zh) * 2021-08-24 2023-03-14 中国人民解放军总医院第一医学中心 基于增强现实的心脏出血与止血模型的仿真系统和方法
US20230210627A1 (en) * 2021-12-31 2023-07-06 Auris Health, Inc. Three-dimensional instrument pose estimation
KR20230166339A (ko) * 2022-05-30 2023-12-07 (주)휴톰 환자 맞춤형 3d 수술 시뮬레이션을 제공하는 방법, 장치 및 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100106834A (ko) * 2009-03-24 2010-10-04 주식회사 이턴 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
KR20110094529A (ko) * 2010-02-17 2011-08-24 전남대학교산학협력단 최소 침습 수술을 위한 영상 유도 튜블라 매니퓰레이터 수술 로봇 시스템
KR101288167B1 (ko) * 2011-10-11 2013-07-18 (주)지씨에스그룹 의료 영상 표준 규격의 의료 영상 처리 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10334220A (ja) * 1997-05-29 1998-12-18 Hitachi Medical Corp 手術支援ナビゲーション方法
JP2004538538A (ja) * 2000-10-05 2004-12-24 シーメンス コーポレイト リサーチ インコーポレイテツド 強化現実可視化付きの、手術中にイメージガイドされる神経外科手術法及び手術用装置
JP2003079637A (ja) * 2001-09-13 2003-03-18 Hitachi Medical Corp 手術ナビゲーションシステム
GB0507204D0 (en) * 2005-04-08 2005-05-18 Leuven K U Res & Dev Maxillofacial and plastic surgery
US20120032959A1 (en) * 2010-03-24 2012-02-09 Ryoichi Imanaka Resection simulation apparatus
JP2013202313A (ja) * 2012-03-29 2013-10-07 Panasonic Corp 手術支援装置および手術支援プログラム
US20130316318A1 (en) * 2012-05-22 2013-11-28 Vivant Medical, Inc. Treatment Planning System

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100106834A (ko) * 2009-03-24 2010-10-04 주식회사 이턴 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
KR20110094529A (ko) * 2010-02-17 2011-08-24 전남대학교산학협력단 최소 침습 수술을 위한 영상 유도 튜블라 매니퓰레이터 수술 로봇 시스템
KR101288167B1 (ko) * 2011-10-11 2013-07-18 (주)지씨에스그룹 의료 영상 표준 규격의 의료 영상 처리 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
증강현실 기반의 최소침습수술용 인터페이스의 개발, 로봇공학회논문 제3권제1호(2008.3) *
증강현실 기반의 최소침습수술용 인터페이스의 개발, 로봇공학회논문 제3권제1호(2008.3)*

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102056930B1 (ko) 2017-11-21 2019-12-17 경희대학교 산학협력단 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법
KR20190066937A (ko) * 2017-12-06 2019-06-14 조선대학교산학협력단 저장 매체에 저장된 수술 네비게이션 컴퓨터 프로그램, 그 프로그램이 저장된 스마트 기기 및 수술 네비게이션 시스템
KR102082290B1 (ko) * 2017-12-06 2020-02-27 조선대학교산학협력단 저장 매체에 저장된 수술 네비게이션 컴퓨터 프로그램, 그 프로그램이 저장된 스마트 기기 및 수술 네비게이션 시스템

Also Published As

Publication number Publication date
JP2016533832A (ja) 2016-11-04
WO2015030455A1 (ko) 2015-03-05
KR20150024029A (ko) 2015-03-06
US20160163105A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
KR101536115B1 (ko) 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
US11484365B2 (en) Medical image guidance
Wang et al. A practical marker-less image registration method for augmented reality oral and maxillofacial surgery
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
Kersten-Oertel et al. The state of the art of visualization in mixed reality image guided surgery
JP5551957B2 (ja) 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
JP6972163B2 (ja) 奥行き知覚を高める仮想陰影
US9681925B2 (en) Method for augmented reality instrument placement using an image based navigation system
EP2829218B1 (en) Image completion system for in-image cutoff region, image processing device, and program therefor
EP3008689B1 (en) Pose determination from a pattern of four leds
WO2009045827A2 (en) Methods and systems for tool locating and tool tracking robotic instruments in robotic surgical systems
JPH09508994A (ja) 像形成装置及び方法
CN103356155A (zh) 虚拟内窥镜辅助的腔体病灶检查系统
EP3789965B1 (en) Method for controlling a display, computer program and mixed reality display device
US20230114385A1 (en) Mri-based augmented reality assisted real-time surgery simulation and navigation
JP5934070B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
Haouchine et al. Towards an accurate tracking of liver tumors for augmented reality in robotic assisted surgery
Paulus et al. Handling topological changes during elastic registration: Application to augmented reality in laparoscopic surgery
JP2024501897A (ja) 術前画像データを手術シーンなどのシーンの術中画像データにレジストレーションする方法およびシステム
Kumar et al. Stereoscopic visualization of laparoscope image using depth information from 3D model
EP3075342B1 (en) Microscope image processing device and medical microscope system
JP6112689B1 (ja) 重畳画像表示システム
KR101903996B1 (ko) 의료 영상 시뮬레이션 방법 및 그 방법을 이용한 장치
JP6476125B2 (ja) 画像処理装置、及び手術顕微鏡システム
US20220175485A1 (en) Method for operating a visualization system in a surgical application, and visualization system for a surgical application

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant