KR20220024055A - 추적 시스템 시야 위치설정 시스템 및 방법 - Google Patents

추적 시스템 시야 위치설정 시스템 및 방법 Download PDF

Info

Publication number
KR20220024055A
KR20220024055A KR1020217041109A KR20217041109A KR20220024055A KR 20220024055 A KR20220024055 A KR 20220024055A KR 1020217041109 A KR1020217041109 A KR 1020217041109A KR 20217041109 A KR20217041109 A KR 20217041109A KR 20220024055 A KR20220024055 A KR 20220024055A
Authority
KR
South Korea
Prior art keywords
optical tracking
fov
detectors
view
visible light
Prior art date
Application number
KR1020217041109A
Other languages
English (en)
Inventor
다니엘 패트릭 보니
조엘 주하르
Original Assignee
씽크 써지컬, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씽크 써지컬, 인크. filed Critical 씽크 써지컬, 인크.
Publication of KR20220024055A publication Critical patent/KR20220024055A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1739—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body
    • A61B17/1764—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body for the knee
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure

Abstract

컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정을 보조하는 방법 및 시스템이 제공된다. 방법은 가시광 검출기로부터의 조망을 디스플레이 상에 화상표시하는 단계와, 및 가시광 검출기로부터의 화상표시된 조망 상에 둘 이상의 광학 추적 검출기들의 FOV의 윤곽을 디스플레이 상의 오버레이로 생성하는 단계를 포함한다. 그러면 사용자는 가시광 검출기로부터 화상표시된 조망과 생성된 윤곽에 기반하여 a) 둘 이상의 광학 추적 검출기, 또는 b) 피추적 객체 중의 적어도 하나를 위치 설정한다.

Description

추적 시스템 시야 위치설정 시스템 및 방법
관련 출원들
본 출원은 2019년 6월 19일자 출원된 미국특허가출원 일련번호 제62/863,624호에 대한 우선권 혜택을 주장하는 바, 그 내용은 이 명세서에 참고로 포함되어 있다.
기술분야
본 발명은 일반적으로 광학 추적 시스템(optical tracking system)에 관한 것으로, 더 구체적으로는 컴퓨터 지원 수술 과정(computer-assisted surgical procedure) 동안 광학 추적 시스템의 시야(field-of-view)를 위치설정(positioning)하는 데 사용자를 보조(assist)하는 시스템 및 방법에 관한 것이다.
컴퓨터 지원 수술은 관절전치환술(total joint arthroplasty; TJA), 골절 수복, 턱얼굴 재건(maxillofacial reconstruction), 및 척추 재건에 응용되는 확장되고 있는 분야이다. 이 분야에서 현재 사용되고 있는 컴퓨터 지원 정형외과 수술 시스템들은 RIO 로봇 아암 대화형 정형외과 시스템(RIO Robotic Arm Interactive Orthopedic System)(Stryker-Mako사, 미시간주 캘러머주(Kalamazoo, MI)), Navio 수술 시스템(NavioTM Surgical System)(Smith & Nephew사, 영국, 런던(London, United Kingdom)), 및 ROSA 로봇 시스템(ROSA Robotic System)(Zimmer-Biomet사, 인디애나주 바르샤바(Warsaw, IN))을 포함한다. 각 시스템은 계획된 위치 및 방향(position and orientation; POSE)에 임플란트(implant)를 수용하도록 뼈를 준비하는 것을 돕는 로봇 장치와 광학 추적 시스템을 사용한다. 광학 추적 시스템은 환자의 해부학적 구조(anatomy)에 대한 로봇 장치의 위치를 추적함으로써 뼈가 계획된 대로 준비되는 것을 보장한다. 광학 추적 시스템은 많은 컴퓨터 지원 수술 시스템의 핵심 컴포넌트로 수술실(operating room; OR)에서 널리 사용되고 있다.
도 1에는 광학 추적 시스템(12)을 갖는 종래기술의 컴퓨터 지원 수술 시스템(10)의 특정한 예가 수술실의 환경에서 도시되어 있다. 컴퓨터 지원 수술 시스템(10)은 광학 추적 시스템(12)과, 피추적(tracked) 핸드헬드 수술 장치(hand-held surgical device; 14)와, 및 디스플레이(16)를 포함한다. 핸드헬드 수술 장치(14)는 2 자유도로 작동되어, 본원의 양수인(assigned)에게 양도되고(assigned) 그 전체로서 이 명세서에 참고로 포함된 미국특허공보 제2018/0344409호에 더 상세히 기재된 슬관절전치환술(total knee arthroplasty; TKA) 과정 동안, 하나 이상의 평평한 뼈 절개부들의 생성을 보조하는 엔드이펙터(end effector; 15)를 포함한다. 디스플레이(16)는 작업흐름 명령(workflow instruction), 프롬프트(prompt), 환자 정보, 장치 데이터 등 수술 과정에 대한 정보들을 화상표시하고, 또한 후술하는 바와 같이 광학 추적 시스템(12)의 시야를 일시적으로 화상표시할 수 있다.
광학 추적 시스템(12)은 (예를 들어 광학 카메라 등) 2개 이상의 광학 (추적) 검출기(18a, 18b)들과, 이 명세서에 그 전체로서 참고로 포함된 미국특허 제6,601,644호에 더 상세히 기재된 바와 같은, 광학 (추적) 검출기(18a, 18b)들의 시야(field-of-view; FOV) 내의 객체들의 위치 및 방향(POSE)을 추적하는 하나 이상의 프로세서들을 포함한다. 광학 (추적) 검출기(18a, 18b)들은 최적의 시야각을 위해 수술 램프(22)의 외부에 부착되거나 내부에 통합될 수 있다. 일반적으로, 광학 (추적) 검출기(18a, 18b)들은 강체(rigid body) 상에 배치되거니 피추적 장치에 직접 통합된 (예를 들어 능동적 발광다이오드(light emitting diode; LED), (수동적) 역반사 구(retroreflective sphere) 등) 3개 이상의 기준 마커(fiducial marker)들로부터 방출 또는 반사되는 광(light)을 검출한다. 강체 상에 배치된 기준 마커들은 집합적으로 추적 어레이(tracking array; 20a, 20b, 20c)로 지칭되는데, 추적 시스템(12)이 추적되는 다른 객체들을 구별할 수 있게 하도록 각 추적 어레이(20)는 고유한(unique) 기준 마커들의 배치 또는 고유한 송신 파장/주파수를 갖는다. 배경 객체(background object)로부터 기준 마커들을 구별하기 위해, 광학 (추적) 검출기(18a, 18b)들은 필터 또는 다른 기구들을 경유하는 적외선 광만을 검출하도록 구성된다. 기준 마커들은 마찬가지로 적외선 광을 반사 또는 방출한다. 이는 가시광 간섭 없이 프로세서가 각 기준 마커의 위치들을 찾아내어(pinpoint) 위치측정(triangulate)할 수 있게 해준다.
도 1에 도시된 바와 같이, 경골(tibia; T), 대퇴골(femur; F), 및 핸드헬드 수술 장치(14)가 경골(T)에 조립된 제1 추적 어레이(20a), 대퇴골(F)에 조립된 제2 추적 어레이(20b), 및 핸드헬드 수술 장치(14)에 통합된 제3 추적 어레이(20c)를 통해 추적된다. 수술 과정 동안 (예를 들어 대퇴골(F), 경골(T), 수술 장치(14) 등의) 이 객체들의 각각을 정확하게 추적하기 위해서는, 각 추적 어레이(20) 상의 적어도 3개의 기준 마커들이 광학 (추적) 검출기(18a, 18b)들의 FOV 내에 들어올 것이 필수적이다. 광학 (추적) 검출기(18a, 18b)들의 위치설정에 사용자를 보조(assist)하기 위해, 사용자가 광학 (추적) 검출기(18a, 18b)들의 위치를 조정하는 동안 광학 (추적) 검출기(18a, 18b)로부터의 조망(view)이 디스플레이(16) 상에 화상표시된다. 그러나 광학 (추적) 검출기(18a, 18b)들이 적외선만을 검출하도록 구성되어 있으므로, 기준 마커들은 도 1에 도시된 바와 같이 디스플레이(16) 상에서만 볼 수 있는 대상인데, 각 흑점(24)이 기준 마커를 나타내고 흑점들의 각 집합(cluster)이 추적 어레이(20a, 20b, 20c)를 나타낸다. 이 제한된 정보로는, 사용자가 광학 (추적) 검출기(18a, 18b)들을 정확한 점에 조준하기 어려울 수 있다. 또한 수술 동안 적외선 스펙트럼으로는 보이지 않고 피추적 객체들의 미래 위치들에 관련될 수 있는, FOV 내에 있어야 하는 (예를 들어 환자, 수술 부위(surgical site) 등) 다른 관련 항목들이 존재한다.
이에 따라, 적외선 광각 추적 시스템으로는 보이지 않는 수술실(OR) 내의 추가 관련 항목들을 처리할 수 있는, 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 FOV의 최적화에 사용자를 보조하는 시스템 및 방법에 대한 요구가 존재한다.
컴퓨터 지원 수술 과정(computer-assisted surgical procedure) 동안 광학 추적 시스템(optical tracking system)의 시야(field-of-view; FOV)의 위치설정(positioning)을 보조(assist)하는 방법이 제공된다. 이 방법은 가시광 검출기(visible light detector)로부터의 조망(view)을 디스플레이(display) 상에 화상표시하는 단계와, 및 가시광 검출기로부터 화상표시된 조망 상에 둘 이상의 광학 추적 시스템들의 FOV의 디스플레이 상의 오버레이(overlay)로서의 윤곽(outline)을 생성하는 단계를 포함한다. 그러면 사용자는 가시광 검출기로부터의 화상표시된 조망과 생성된 윤곽에 기반하여 a) 둘 이상의 광학 추정 시스템들; 또는 b) 피추적 객체(tracked object)들 중의 적어도 하나를 위치 설정한다(position).
컴퓨터 지원 수술 시스템이 제공된다. 이 시스템은 가시광 검출기와 둘 이상의 광학 추적 검출기들을 갖는 추적 시스템과, 하나 이상의 프로세서들과, 및 디스플레이를 포함한다. 하나 이상의 프로세서들은 소프트웨어를 실행하고, 기준 마커(fiducial marker)들의 세트(set)의 위치들을 추적하는 추적 시스템과 통신 가능하거나 그 일부이다. 디스플레이는 가시광 검출기로부터의 조망을 화상표시하는 데 사용되는데, 프로세서에 의해 실행될 때 소프트웨어는 프로세서가 가시광 검출기로부터 화상표시된 조망 상에 둘 이상의 광학 추적 시스템들의 FOV의 표시화상(display) 상의 오버레이로서 윤곽을 생성하도록 한다.
본 발명의 일부 국면(aspect)들을 보이도록 의도했지만 본 발명의 구현을 한정하는 것으로 해석되어서는 안 되는 이하의 도면들을 참조하여 본 발명을 더 상세히 설명하는데, 도면에서:
도 1은 수술실의 환경에서 도시된 광학 추적 시스템을 갖는 종래기술의 컴퓨터 지원 수술 시스템의 예이고;
도 2a는 본 발명의 하나의 실시예에 따른, 수술 램프에 부착된 광학 추적 시스템을 보이며;
도 2b는 본 발명의 하나의 실시예에 따른, 스탠드에 부착된 광학 추적 시스템을 보이며;
도 3a는 본 발명의 하나의 실시예에 따른, 수술 램프 상에 위치한 가시광 검출기로부터의 조망을 화상표시하는 디스플레이를 도시하고;
도 3b는 본 발명의 하나의 실시예에 따른, 광학 (추적) 검출기로부터의 피추적 객체의 거리에 기반하여 변화되는 광학 추적 검출기의 FOV의 크기의 가변의 변경을 화상표시하는 도 3a의 디스플레이를 도시하며;
도 4는 본 발명의 하나의 실시예에 따른, 도 2a의 광학 추적 시스템과 함께 사용되기 위한, 핸드헬드 수술 장치를 갖는 수술실(OR) 환경에서의 수술 장치를 도시하고; 그리고
도 5는 본 발명의 하나의 실시예에 따른, 도 2b의 신규한 광학 추적 시스템과 함께 사용되기 위한, 수술 로봇을 갖는 수술실(OR) 환경에서의 수술 시스템을 도시한다.
본 발명은 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(field-of-view; FOV)의 최적화에 사용자를 보조하는 시스템 및 방법으로서의 유용성을 갖는다. 이하 본 발명을 다음 실시예들을 참조하여 설명할 것이다. 이 설명에서 자명한 바와 같이, 본 발명은 다른 형태들로 구현될 수 있으므로 이 명세서에 제시된 실시예들에 한정되는 것으로 해석되어서는 안 된다. 오히려 이 실시예들은 (본 발명의) 개시를 철저하고 완전하게 하도록 제공되어, 당업계에 통상의 기술을 갖는 자에게 본 발명의 범위를 충분히 전달할 것이다. 예를 들어, 하나의 실시예에 대해 설명된 특징들은 다른 실시예들에 포함될 수 있고, 특정한 실시예에 대해 설명된 특징들은 그 실시예에서 삭제될 수 있다. 또한, 이 명세서에 제안된 실시예들에 대한 다양한 변화와 추가들은 (본 발명의) 개시를 참조하면 당업계에 통상의 기술을 가진 자에게 자명할 것인데, 이들은 본 발명을 벗어나지 않는다. 이에 따라, 이하의 명세서는 본 발명의 일부 특정한 실시예들을 예시할 것을 의도한 것이며, 모든 치환, 조합, 및 그 변형을 빠짐없이(exhaustively) 규정하고자 의도한 것이 아니다.
또한, 이 명세서에 설명된 시스템 및 방법들이 컴퓨터 지원 정형외과 수술을 참조하고 있지만, 이 시스템 및 방법들은 다른 의료 또는 비 의료 응용들에 응용될 수 있음을 이해해야 할 것이다. 그러나 수술실(operating room; OR)의 한정된 공간(광학 검출기를 위치 설정하는 경우 오류의 여지가 적도록)과 컴퓨터 지원 수술에 필요한 의료 및 기술적 고려사항들 때문에 수술 설정이 특히 본 발명에 적합하다.
이 명세서에 언급된 모든 간행물, 출원, 특허, 및 다른 참증들은 그 전체로사 이 명세서에 참고로 포함된다.
또한 값들의 범위가 제공되는 경우, 이 범위는 범위의 양단 값들뿐 아니라 명시적으로 범위 내에 포함되고 범위의 마지막 유효숫자(last significant figure)만큼씩(by) 변동되는 범위의 중간값들까지 포괄하기를 의도한 것이다. 예를 들어 1 내지 4로 기재된 범위는 1-2, 1-3, 2-4, 3-4, 및 1-4를 포함하기를 의도한 것이다.
달리 정의되지 않는 한, 이 명세서에 사용된 모든 기술 및 과학 용어들은 본 발명이 속한 업계에 통상의 기술을 자진 자에게 일반적으로 이해되는 것과 동일한 의미를 갖는다. 이 명세서에서 본 발명의 설명에 사용된 용어들은 특정한 실시예들의 목적을 위한 것일 뿐이며 본 발명을 한정할 것을 의도한 것이 아니다.
명시적 또는 문맥에 의해 달리 지시되지 않는 한, 다음 용어들은 이 명세서에서 아래 제시된 바와 같이 사용된다.
본 발명의 상세한 설명과 첨부된 청구항들에 사용된 단수형 "a,""an" 및 "the"들은 문맥이 명확히 달리 지시하지 않는 한 복수형 역시 포함할 것을 의도한 것이다.
또한 이 명세서에 사용된, "및/또는(and/or)"는 선택적("또는(or)")로 해석될 때의 조합이 없는 경우들과 함께 하나 이상의 관련하여 열거된 항목들의 모든(any and all) 조합들을 지칭 및 포괄한다.
이 명세서에 사용된, "실시간(real-time)"이라는 용어는 연산된 값들이 연산 개시로부터 2초 이내에 사용 가능하도록 하는 수 밀리초 내의 입력 데이터의 처리를 지칭한다.
이 명세서에 사용된, "디지타이저(digitizer)"라는 용어는 3차원 공간 내의 물리적 좌표들을 측정할 수 있는 측정 장치를 지칭한다. 예를 들어 '디지타이저'는: 미국특허 제6,033,415호에 기재된 바와 같은 고해상도 전자 기계적 센서 아암(high-resolution electro mechanical sensor arm) 등의 수동적 링크 및 관절(joint)들을 갖는 "기계적 디지타이저(mechanical digitizer)"; 미국특허 제7,043,961호에 기재된 바와 같은 (예를 들어 광학적 피추적, 전자기적(electromagnetical) 피추적, 음향 피추적, 및 그 등가물 등의) 비 기계적 피추적 디지타이저 프루브(probe); 또는 로봇 장치(robotic device)의 엔드 이펙터(end effector)가 될 수 있다.
이 명세서에 사용된, "디지타이징(digitizing)이라는 용어는 디지타이저로 공간 내의 물리적 점들을 수집, 측정, 및/또는 기록하는 것을 지칭한다.
이 명세서에는 또한 "컴퓨터 지원 수술 시스템(computer-assisted surgical systems)"이 기재되어 있다. 컴퓨터 지원 수술 시스템은 수술 과정에서의 보조에 컴퓨터를 요구하는 어떤 시스템을 지칭한다. 컴퓨터 지원 수술 시스템의 예들은 미국특허 제5,086,401호; 제7,206,626호; 제8,876,830호; 제8,961,536호 및 9,707,043호와; PCT 공보 W02017/058620호에 기재된 바와 같은, 1-N 자유도 핸드헬드 수술 장치, 추적 시스템, 피추적(tracked) 수동적 기구, 능동적 또는 반능동(semi-active) 핸드헬드 수술 장치 및 시스템, 자율적(autonomous) 직렬연쇄(serial-chain) 조작기(manipulator) 시스템, 촉각(haptic) 직렬연쇄 조작기 시스템, 병렬(parallel) 로봇 시스템, 또는 마스터-슬레이브(master-slave) 로봇 시스템들 포함한다. 로봇 수술 시스템은 능동/자동 제어, 반능동/반자동 제어, 촉각 제어, 전력 제어(power control), 또는 그 어떤 조합을 제공할 수 있다. 구체적인 수술 시스템의 예는 도 4 및 5를 참조하여 이하에 설명된다.
또한 이 명세서에는 수술 계획(surgical plan)을 참조하고 있다. 환경상, 수술 계획은 수술전(pre-operatively)이건 수술중(intra-operatively)이건 사용자에 의해 계획수립 소프트웨어를 사용하여 생성된다. 계획수립 소프트웨어는 컴퓨터 단층촬영술(computed tomography; CT), 자기공명영상(magnetic resonance imaging; MRI), x-선(x-ray), 초음파 화상 데이터 세트, 또는 수술중 뼈 위에서 수집된 점들의 집합으로부터 환자의 뼈 구조(bony anatomy)의 3차원(3-D) 모델들을 생성하는 데 사용된다. 제작자의 보철물(prosthesis)의 3-D 컴퓨터 지원 설계(computer aided design; CAD) 모델들의 세트가, 사용자가 원하는 보철물의 구성요소들을 뼈 구조의 3-D 모델에 위치시켜 뼈에 대한 임플란트(implant)의 최적의 맞춤, 위치, 및 방향을 지정할 수 있게 하는 소프트웨어에 사전 로딩된다(pre-loaded).
이 명세서에는 또한 본원의 양수인에게 양도되고 이 명세서에 그 전체로서 참고로 포함된 미국특허 제10,507,063호에 기재된 바와 같은 적외선 또는 가시광을 통한 무선 데이터 통신을 지칭하는 "광학 통신(optical communication)"이라는 용어도 사용되었다.
이제 도면들을 참조하면, 도 2a 및 2b는 광학 추적 시스템(30A, 30B)의 FOV의 최적화에 사용자를 보조하는 신규한 광학 추적 시스템(30A, 30B)의 실시예들을 도시하는데, 도 2A는 수술 램프(surgical lamp; 22)에 부착된 신규한 광학 추적 시스템(30A)을 도시하고, 도 2b는 스탠드(stand; 33)에 부착된 신규한 광학 추적 시스템(30B)을 도시한다. 신규한 광학 추적 시스템(30A, 30B)의 실시예들은 둘 이상의(도 2a에는 4개, 도 2b에는 2개의 검출기들이 도시됨) 광학 추적 검출기(18a, 18b, 18c, 18d)들과, 적어도 하나의 가시광 검출기(visible light detector; 32)와, 및 하나 이상의 추적 컴퓨터(34)를 포함한다. 광학 추적 검출기(18a, 18b, 18c, 18d)들은 피추적 객체(tracked object)에 부착된 기준 마커(fiducial marker)들로부터 방출 또는 반사되는 적외선 광을 검출하도록 구성된다. 광학 추적 검출기(18a, 18b, 18c, 18d)들은 CCD 카메라, CMOS 카메라, 광학 스캐너, 또는 필터, 설치된(embedded) 소프트웨어, 또는 당업계에 알려진 다른 기술을 통해 자외선을 검출하는 다른 광 감지 소자들이 될 수 있다. 가시광 검출기(32)는 광학 추적 검출기(18a, 18b, 18c, 18d)들에 대한 위치에 고정되어 후술할 바와 같이 가시광 검출기(32)의 FOV가 광학 추적 검출기(18a, 18b, 18c, 18d)들의 FOV를 초과할 수 있다. 가시광 검출기(32)는 전하결합소자(charged coupled device; CCD) 카메라, 상보적금속산화물반도체(complementary metal-oxide-semiconductor; CMOS) 카메라, 또는 가시광을 검출하는 다른 광 감지 소자가 될 수 있다. 이 명세서에 사용된 적외선 광은 700 나노미터 내지 1 밀리미터 사이의 어떤 파장 범위를 갖는 전자기 방사(electromagnetic radiation)를 지칭하고, 가시광은 380 나노미터 내지 740 나노미터 사이의 어떤 파장 범위를 갖는 전자기 방사를 지칭한다. 하나 이상의 추적 컴퓨터(34)는 (예를 들어 프로세서(들), 비휘발성 메모리, 및/또는 컨트롤러 등의) 하드웨어와 소프트웨어를 포함하여 기준 마커들, 추적 어레이, 및/또는 3-D 공간 내에서의 객체들의 POSE를 검출한다. 둘 이상의 광학 (추적) 검출기들과 프로세서로 객체를 추적하는 방법은 미국특허 제6,601,644호에 기재된 추적 시스템과 같이 당업계에 알려져 있다.
이제 신규한 광학 추적 시스템(30A, 30B)의 실시예들의 FOV의 최적화에 사용자를 보조하는 방법을 도 3a 및 3b를 참조하여 설명한다. 도 3a는 가시광 검출기(32)로부터의 조망(view)을 화상표시하는(displaying) 디스플레이(display; 16)를 도시한다. 여기서 가시광 검출기(32)는 수술 장치(14)와, 경골(tibia; T)과, 및 대퇴골(femur; F)을 그 안에 포착하는 가시광 검출기와 함께 수술대(operating table) 위의 수술 램프(22) 상에 위치한다. 제어 소프트웨어를 실행하는 (예를 들어 추적 컴퓨터(34), 또는 도 4 또는 5를 참조하여 설명할 (수술)장치 컴퓨터 등의) 하나 이상의 프로세서들 또는 컴퓨터들은 디스플레이(16)가 광학 추적 검출기의 FOV의 윤곽(outline; 36)을 가시광 검출기(32)로부터의 화상표시된 조망(view) 상에 오버레이(overlay)하도록 한다. 광학 추적 검출기의 FOV의 윤곽(36)은 (예를 들어 사각형, 원형, 타원형 등의) 경계를 갖는(bounded) 기하학적 형태, 반투명 음영 영역, 그래디언트 패턴(gradient pattern)으로 채워진 경계를 갖는 영역, 또는 광학 추적 검출기의 FOV를 나타낼 수 있는 다른 형태가 될 수 있다. 하나 이상의 프로세서들은 또한 디스플레이(16)가 광학 추적 검출기의 FOV의 중심을 나타내는 마킹(marking; 37)이 오버레이되도록 구성된다. 마킹(37)은 가시광 검출기(32)로부터의 화상표시된 조망 상에 오버레이되는 십자선(cross-hair), 마름모(diamond), 원형, 또는 다른 기하학적 형태가 될 수 있다. 광학 추적 검출기의 FOV가 가시광 검출기(32)로부터의 화상표시된 조망 상에 정확히 묘사되도록 보장하기 위해 당업계에 알려진 검정 기법(calibration technique)들이 수술 절차에 앞서 실행될 수 있다. 시스템의 정확도를 유지하기 위해 가시광 검출기(32)와 광학 추적 검출기(18a, 18b, 18c, 18d)들의 위치는 서로에 대해 고정된다. 수술실(OR)에서, 사용자가 광학 추적 검출기(18a, 18b, 18c, 18d)들의 위치를 조정함에 따라 화상표시된 윤곽(36)은 광학 추적 검출기들의 FOV를 반영한다(reflect). 그러면 사용자는 광학 추적 검출기들의 FOV의 위치를 최적화하고, 광학 추적 검출기(18a, 18b, 18c, 18d)들에 보이지 않는 (예를 들어 수술 부위, 환자 등) 수술실(OR) 내의 추가적 객체들을 처리할 수 있게 된다.
신규한 광학 추적 시스템(30A, 30B)의 실시예들을 사용하는 방법은 다음 단계들을 포함할 수 있다. 광학 추적 검출기(18a, 18b, 18c, 18d)들과 가시광 검출기(32)들이 제1 위치에 위치 설정되어 수술실 내의 하나 이상의 피추적 객체들을 시각화한다. 하나 이상의 프로세서들이, 디스플레이가 가시광 검출기(32)로부터의 조망을 광학 추적 검출기들의 FOV의 윤곽(36)과 함께 출력하도록 한다. 사용자가 둘 이상의 광학 추적 검출기(18a, 18b, 18c, 18d)들의 위치를 조정함에 따라 화상표시된 윤곽(36)은 광학 추적 검출기의 FOV를 반영한다. 이는 광학 추적 검출기의 FOV의 위치를 최적화하는 광학 추적 검출기(18a, 18b, 18c, 18d)들의 위치의 결정에 사용자를 보조한다. 수술 과정은 최적화된 위치에 있는 광학 추적 검출기(18a, 18b, 18c, 18d)들로 시작된다. 수술 동안 어느 시점에라도, 사용자는 광학 추적 검출기의 FOV를 재위치시키기 위해 화상표시된 윤곽(36)을 사용하여 광학 추적 검출기(18a, 18b, 18c, 18d)들의 위치를 재조정할 수 있다.
다른 실시예에서, 사용자는 둘 이상의 광학 추적 검출기(18a, 18b, 18c, 18d)들의 위치에 대한 어느 피추적 객체들의 위치를 조정할 수 있다. 둘 이상의 광학 추적 검출기(18a, 18b, 18c, 18d)들의 위치가 변화 없이 유지된 상태에서, 사용자는 화상표시된 윤곽(36)을 사용하여 (예를 들어 피추적 수술 장치, 피추적 뼈 등) 하나 이상의 피추적 객체들을 이동 또는 위치 설정할 수 있다. 또 다른 실시예에서, 사용자는 화상표시된 윤곽(36)을 가이드(guide)로 사용하여 둘 이상의 광학 (추적) 검출기들의 위치와 어떤 피추적 객체들 양자를 조정함으로써 서로에 대한 이들의 위치들을 최적화할 수 있다.
도 3b에서, 신규한 광학 추적 시스템(30A, 30B)은 광학 (추적) 검출기(18a, 18b, 18c, 18d)들로부터의 피추적 객체의 거리에 기반하여 변화되는 광학 추적 검출기들의 FOV의 크기의 가변적인 변동을 더 처리할 수 있다. (입체 또는 다중 검출기의) 광학 추적 시스템을 사용할 때, 광학 추적 검출기(18a, 18b, 18c, 18d)들의 FOV는 관심 있는 피추적 객체가 광학 (추적) 검출기(18a, 18b, 18c, 18d)들로부터 얼마나 떨어져있는지에 따라 면내(in-plane)의 크기가 변화될 수 있다. 예를 들어, 광학 추적 검출기들의 FOV는 광학 (추적) 검출기(18a, 18b, 18c, 18d)들로부터 더 먼 피추적 객체에 비해 광학 (추적) 검출기(18a, 18b, 18c, 18d)들에 더 가까운 피추적 객체에 대해 더 클 수 있다. 이 크기의 변화는 추적되는 다른 객체들 사이에서 광학 (추적) 검출기(18a, 18b, 18c, 18d)들을 앞뒤로 초점을 맞춘 결과가 될 수 있다. 이 크기의 가변적 변화를 처리하기 위해, 신규한 광학 추적 시스템(30A, 30b)은 다음 중의 하나 이상을 실행할 수 있다. 특정한 본 발명 실시예에서, 광학 추적 검출기들의 FOV의 단일한 윤곽(36)이 디스플레이(16) 상에 화상표시되는데, 이 단일한 윤곽(36)은 광학 (추적) 검출기(18)에 가장 가까운 피추적 객체에 대한 광학 추적 검출기들의 FOV를 반영한다. 광학 추적 시스템(30A, 30B)은 가장 가까운 피추적 객체의 위치/심도(depth)를 알고 있으므로, 단일한 윤곽(36)을 이에 따라 조정할 수 있다. 본 발명의 다른 실시예에서, 다중의(multiple) 윤곽(36, 38)들이 디스플레이(16) 상에 화상표시될 수 있는데, 각 윤곽(26, 38)은 피추적 객체들의 각각에 대한 광학 추적 검출기의 FOV를 반영한다. 예를 들어 도 3b에서, 제1 윤곽(36)은 피추적 수술 장치(14)에 대한 광학 추적 검출기들의 FOV를 반영하는 한편, 제2 윤곽(38)은 대퇴골(F) 및 경골(T)에 대한 광학 추적 검출기들의 FOV를 반영할 수 있다. 이에 따라 각 윤곽(36, 38)은 광학 추적 검출기들의 FOV에서의 다른 피추적 객체의 심도에 대응한다. 각 윤곽(36, 38)은 윤곽(36, 38)들을 다른 것과 구별하기 위해 다른 지표(예를 들어 색깔 또는 패턴)를 가질 수 있다. 또한 각 윤곽(36, 38)은 피추적 객체 또는 그 피추적 객체와 연계된 추적 어레이에 대응하는 지표 또는 라벨(label)을 가질 수 있다. 예를 들어, 제1 윤곽(36)은 수술 도구(14)에 통합된 청색 추적 어레이에 맞는 청색이 될 수 있다. 제2 윤곽(38)은 대퇴골(F)에 부착된 황색 추적 어레이에 맞는 청색이 될 수 있고, 이하 마찬가지다.
광학 추적 검출기(18a, 18b, 18c, 18d)들을 위치 설정하는 동안 다른 문제가 발생될 수 있다. 추적 어레이 상의 실제 마커들을 가시광 검출기로부터의 화상표시된 조망 상에 시각화하기가 어려울 수 있다는 것이 고려되었다. 이에 따라, 본 발명의 특정한 실시예들에서 실제 마커들의 가상(virtual) 윤곽 또는 지표가 가시광 검출기로부터의 조망 내에 화상표시될 수 있다. 예를 들어, 도 1에 도시된 마커들의 위치가 가시광 검출기(32)로부터의 조망 상에 오버레이될 수 있다. 이는 사용자에게 가시광 검출기(32)의 FOV 내에 마커들의 정확한 조망을 제공한다. 실제 마커들의 가상 윤곽 또는 표지가 광학 추적 검출기들의 FOV의 하나 이상의 윤곽(36, 38)들의 화상표시와 함께 또는 없이 화상표시될 수 있다.
본 발명의 특정한 실시예에서, 다시 도 2a 및 2b를 참조하면, 신규한 광학 추적 시스템(30A, 30B)은 적어도 하나의 움직임 검출 장치(motion detection device; 39)를 더 포함할 수 있다. 움직임 검출 장치(39)는 둘 이상의 광학 추적 검출기(18a, 18b, 18c, 18d)들의 어떤 움직임을 검출하도록 구성된다. 움직임 검출 장치(39)는 또한 광학 추적 검출기(18a, 18b, 18c, 18d)들이 움직이거나 움직이지 않을 때 제어 소프트웨어에 신호하고, 제어 소프트웨어가 이에 응답하여 디스플레이를 자동으로 조정 모드와 비 조정 모드로 진입시키도록 더 구성된다. 예를 들어, (예를 들어 사용자가 광학 추적 검출기(18a, 18b, 18c, 18d)들의 위치를 조정함에 따라) 움직임 검출 장치(39)가 광학 추적 검출기(18a, 18b, 18c, 18d)들의 움직임의 검출에 응답하여, 제어 소프트웨어는 자동으로 디스플레이(16)가 가시광 카메라(32)로부터의 조망을 화상표시하고 윤곽(36)의 오버레이를 생성하도록 할 수 있다. 이는 광학 추적 검출기(18a, 18b, 18c, 18d)들의 위치 설정에 사용자를 보조한다(즉 조정 모드). 움직임 검출 장치(39)가 더 이상 움직임을 감지하지 않으면, 제어 소프트웨어는 조정 모드에서 나가 디스플레이(16)가 가시광 카메라(32)로부터의 조망 및/또는 윤곽(36) 이외의 어떤 것을 화상표시하도록 할 수 있다.
움직임 검출 장치(39)는 예를 들어 가속도계(accelerometer), 자이로스코프(gyroscope), 관성 측정 유닛(inertial measuring unit; IMU), 변형계(strain gauge), 또는 제2 광학 추적 시스템이 될 수 있다. 움직임 검출 장치(들)(39)는 수술 램프 또는 스탠드에 부착 또는 통합되거나 광학 추적 검출기(18a, 18b, 18c, 18d)들에 부착 또는 통합될 수 있다. 그러나 움직임 검출 장치(39)에 대한 몇 가지 다른 위치들이 존재할 수 있더라도 움직임 검출 장치(39)가 둘 이상의 광학 추적 검출기(18a, 18b, 18c, 18d)들의 어떤 움직임의 검출을 허용하는 위치여야 한다는 것을 이해해야 할 것이다, 움직임 검출 장치(39)는 또한 제어 소프트웨어를 실행하는 하나 이상의 전술한 프로세서 또는 컴퓨터들과 유선 또는 무선 통신할 수 있다.
수술 시스템(Surgical Systems)
도 4는 이 명세서에 설명된 신규한 광학 추적 시스템(30A)과 사용되기 위한 핸드헬드 수술 장치(14)를 갖는, 수술실(operating room; OR) 환경에서의 수술 시스템(100)을 도시한다. 도 5는 이 명세서에 설명된 신규한 광학 추적 시스템(30B)과 사용되기 위한 수술 로봇(surgical robot; 202)을 갖는, 수술실(OR) 환경에서의 수술 시스템(200)을 도시한다. 도 4 및 5에 도시된 시스템들은 동일한 참조번호를 갖는 공통 요소들로 단일하게 설명될 것이다.
도 4의 수술 시스템(100)은 본원의 양수인에게 양도된 미국특허공보 제2018/0344409호에 더 상세히 기재되어있다. 2-자유도(2-DOF) 수술 시스템(100)은 대략 연산 시스템(102)과, 추적 어레이(20c)를 갖는 핸드헬드 관절운동(articulating) 수술 장치(14)와, 및 본 발명 광학 추적 시스템(30A)의 실시예를 포함한다. 수술 시스템(100)은 정형외과 수술을 위해 뼈 위에 핀들의 위치설정과 절개부의 형성을 정확히 하도록 사용자를 안내 및 보조할 수 있다.
연산 시스템(102)은: 프로세서를 포함하는 항행 컴퓨터(navigation computer; 108)와; 프로세서를 포함하는 계획수립 컴퓨터(planning computer; 110)와 프로세서를 포함하는 추적 컴퓨터(34)와; 및 주변 장치들을 포함할 수 있다. 프로세서들은 연산 시스템(102) 내에서 작동되어 본 발명 시스템 및 방법에 연계된 연산들을 수행한다. 프로세서 기능들은 컴퓨터(108, 110, 34), 또는 그 부분집합; 원격 서버; 클라우드 컴퓨팅 설비(cloud computing facility); 또는 그 조합들 간에 분담(share)될 수 있음을 이해해야 할 것이다.
본 발명의 특정한 실시예들에서, 항행 컴퓨터(108)는 수술 과정에 관련된 기능들을 수행하기 위해 하나 이상의 프로세서들과, 컨트롤러들과, 소프트웨어와, 데이터와, 및 RAM, ROM, 또는 다른 비휘발성 또는 휘발성 메모리 등의 데이터 저장 매체(들)를 포함할 수 있다. 이 기능들은 예를 들어: 수술 작업흐름(workflow)의 제어; 사용자에게 안내의 제공; 수술전에 계획된 수술 데이터의 해석; 및 수술 장치(14)의 제어 및 작동, 중의 적어도 하나를 포함한다. 일부 실시예들에서, 항행 컴퓨터(108)는 광학 추적 시스템(30A)과 직접 통신하여 광학 추적 시스템(106)이 시야(field of view; FOV) 내의 추적 가능한 장치들을 식별할 수 있고, 항행 컴퓨터(108)는 (예를 들어 수술 장치(14), 대퇴골(F), 경골(T) 등) 피추적 객체들의 POSE의 식별에 기반하여 수술 장치(14)의 작업흐름 및/또는 제어를 이에 따라 제어할 수 있다. 일부 실시예들에서, 항행 컴퓨터(108)는 핸드헬드 수술 장치(14)의 핸드헬드 부 내에 수납되어 수술 장치(14)에 국부적 제어(local control)를 제공한다. 신규한 광학 추적 시스템(30A)은 유선 또는 무선 연결을 통해 정보 데이터, 추적 데이터, 및/또는 시술 데이터(operational data)를 항행 컴퓨터(108)에 통신할 수 있다. 이 무선 연결은 본원의 양수인에게 양도되고 그 전체로서 본원에 포함된 미국특허 제10,507,063호에 기재된 가시광 통신을 통할 수 있다. 또한 항행 컴퓨터(108)와 추적 컴퓨터(34)는 도시된 바와 같이 별도의 개체들로 분리될 수 있거나, 또는 그 작동들이 수술 시스템(100)의 구성에 따라 단 하나 또는 2개의 컴퓨터들 상에서 실행될 수 있다. 예를 들어, 추적 컴퓨터(34)는 항행 컴퓨터(108)의 필요 없이 작업흐름을 직접 제어하는 시술 데이터를 가질 수 있다. 이와는 달리(or), 항행 컴퓨터(108)는 추적 컴퓨터(34)의 필요 없이, 시술 데이터 또는 광학 추적 검출기(18a, 18b, 18c, 18d)들로부터 직접 독출(read)하는 제어 소프트웨어를 포함하거나 및/또는 디스플레이(16)가 가시광 검출기(32)로부터의 조망을 화상표시하고 윤곽(36)을 생성하도록 할 수 있다.
주변 장치들은 사용자가 수술 시스템(100)과 접속(interface)할 수 있게 해주고: 디스플레이 또는 모니터(16) 등 하나 이상의 사용자 인터페이스(user interface); 및 예를 들어 키보드(114), 마우스(122), 펜던트(124), 조이스틱(126), 풋 페달(128)을 포함하는 다양한 사용자 입력 기구들을 포함하거나 모니터(16)가 터치스크린 기능을 가질 수 있다.
계획수립 컴퓨터(110)는 바람직하기로 수술전 또는 수술중 (수술)과정의 계획수립 전용이다. 예를 들어, 계획 컴퓨터(110)는 (예를 들어 프로세서, 컨트롤러, 및 비휘발성 메모리 등의) 하드웨어와, 소프트웨어와, 데이터와, 및 의료 화상 데이터(medical imaging data)를 수신 및 독출하고, 화상 데이터를 분할하며, 3차원(3D) 가상 모델을 구성 및 조작하고, 컴퓨터 지원 설계(computer-aided design; CAD) 파일들을 저장 및 제공하며, 시스템(100)이 사용할 수술 계획 데이터를 생성하고, 그리고 수술 과정을 계획하는 데 사용자를 보조하는 다른 다양한 기능들을 제공할 수 있는 유틸리티들을 포함할 수 있다. 최종 수술 계획 데이터는 뼈의 화상 데이터 세트(set)와, 뼈 등록 데이터와, 환자식별 정보(subject identification information)와, 뼈에 대한 임플란트의 POSE와, 뼈에 대해 정의된 하나 이상의 목표 평면(target plane)들의 POSE와, 및 어떤 조직 변경 명령(tissue modification instruction)들을 포함할 수 있다. 최종 수술 계획은 용이하게, 수술실(OR) 내의 유선 또는 무선 연결을 통해 항행 컴퓨터(108) 및/또는 추적 컴퓨터(34)에 전달되거나; 계획 컴퓨터(110)가 수술실(OR) 외부에 위치할 때는 (예를 들어 콤팩트디스크(CD), 휴대용 범용 시리얼 버스(portable universal serial bus)(USB 드라이브) 등의) 비 일시적(non-transient) 데이터 저장 매체를 통해 전달될 수 있다.
수술 시스템(100)은 또한 전술한 신규의 광학 추적 시스템(30A)을 더 포함한다. 이 신규한 광학 추적 시스템(30A)은 광학 추적 카메라(18a, 18b, 18c, 18d)들의 FOV를 최적화하는 데 사용자를 보조하여 수술 과정 동안 핸드헬드 수술 장치(14), 대퇴골(F), 경골(T)을 정확히 추적한다. 추적 (시스템) 컴퓨터(34)는 추적 하드웨어와, 소프트웨어와, 데이터와, 국부적 및 전체 좌표계에서 (예를 들어 대퇴골(F) 및 경골(T) 등의 뼈와, 수술 장치(14) 등의) 객체들의 POSE를 판단하는 유틸리티들을 포함한다. 객체들의 POSE는 이 명세서에서 POSE 데이터 또는 추적 데이터로 지칭되는데, POSE 데이터는 항행 컴퓨터(108)에 용이하게 통신될 수 있다. 추적 (시스템) 컴퓨터(34)는 디스플레이 모니터(16)와 유선 또는 무선 통신하여 디스플레이 모니터(16)가 도 3a 및 3b에 도시된 바와 같이 가시광 검출기(32)로부터 화상표시된 조망 상에 광학 추적 검출기(18)의 FOV의 오버레이(36)를 화상표시하도록 한다.
수술 시스템(100)은 또한 피추적(tracked) 디지타이저 프루브(digitizer probe; 130)를 더 포함한다. 디지타이저 프루브(130)는 피추적 디지타이저 프루브(130)에 부착 또는 통합된 추적 어레이(20d)를 통해 추적된다. 피추적 디지타이저 프루브(130)는 3-D 공간 내의 점들의 수집, 측정, 또는 기록을 보조한다. 점들의 수집은 뼈들의 수술 계획에 대한 등록을 촉진시키는 데 사용된다.
유사한 번호가 붙은 국면들은 전술한 도면들을 참조하여 설명한 바와 같은 의미를 갖는 도 5의 수술 시스템(200)에서, 수술 로봇(202)은 가동(movable) 베이스(208)와, 이 베이스(208)에 연결된 조작기 아암(manipulator arm; 210)과, 조작기 아암(210)의 원격단(distal end; 212)에 위치하는 엔드이펙터(end effector; 211)와, 엔드이펙터(211) 근방에 위치하여 엔드이펙터(211) 상에 작용하는 힘을 감지하는 힘 센서(214)를 포함한다. 베이스(208)는 휠(wheel; 217)들의 세트를 포함하여 베이스(208)을 기동시키는데, 이는 유압 브레이크 등의 제동 기구를 사용하여 제자리에 고정될 수 있다. 베이스(208)는 또한 조작기 아암(210)의 높이를 조정하는 액튜에이터를 더 포함할 수 있다. 조작기 아암(210)은 엔드이펙터(211)를 다양한 자유도로 조작하는 다양한 관절(joint) 및 링크(link)들을 포함한다. 관절들은 예를 들어 미끄럼형(prismatic), 회전형(revolute), 구형(spherical), 또는 그 조합이 될 수 있다. 수술 로봇(202)은 또한 엔드이펙터(211)의 위치를 추적하는 추적 어레이(20c)를 더 포함한다. 추적 어레이(20c)는 엔드이펙터(211)에 부착되어 엔드이펙터(211)를 직접 추적하거나, 또는 엔드이펙터(211)의 POSE의 추적에 추적 데이터와 함께 수술 로봇의 운동학(kinematics)이 사용되는 경우 추적 어레이(20c)가 베이스(208) 또는 수술 로봇(202)의 링크에 위치할 수 있다.
연산 시스템(204)은 대략 계획수립 컴퓨터(216)와; 장치 컴퓨터(218)와; 추적 컴퓨터(34)와; 및 주변장치들을 포함한다. 계획수립 컴퓨터(216)와 장치 컴퓨터(218)와 추적 컴퓨터(34)는 수술 시스템에 따라 별도의 개체들, 동일 개체(one-in-the-same), 또는 그 조합이 될 수 있다. 또한 일부 실시예들에서, 계획수립 컴퓨터(216), 장치 컴퓨터(218), 및/또는 추적 컴퓨터(34)들의 조합이 유선 또는 무선으로 연결된다. 주변 장치는 사용자가 수술 시스템의 컴포넌트들과 접속할 수 있게 해주며: 디스플레이 또는 모니터(16) 및 키보드(114), 마우스(122), 펜던트(124), 조이스틱(126), 풋페달(128), 또는 본 발명의 일부 실시예들에서 터치스크린 기능을 갖는 모니터(16) 등 사용자 입력 기구와 같은 하나 이상의 사용자 인터페이스를 포함할 수 있다.
계획수립 컴퓨터(216)는 (예를 들어 프로세서, 컨트롤러, 및/또는 메모리 등의) 하드웨어와, 소프트웨어와, 데이터와, 및 본 발명의 일부 실시예들에서 수술전이건 수술중이건 수술 과정의 계획수립 전용인 유틸리티들을 포함한다, 이는 의료 화상 데이터의 독출, 화상 데이터의 분할, 3차원(3D) 가상 모델들의 구축, 컴퓨터 지원 설계(CAD) 파일의 저장, 수술 계획의 계획수립에서 사용자를 보조하는 다양한 기능들 또는 위젯(widget)들의 제공, 및 수술 계획 데이터의 생성을 포함할 수 있다, 최종 수술 계획은 수술전 뼈 데이터, 환자 데이터, 수술전 뼈 데이터에 대해 정의된 점(P)들의 세트의 POSE를 포함하는 등록 데이터, 및/또는 시술 데이터(operational data)를 포함할 수 있다. 시술 데이터는 뼈의 시술양(volume)을 자동으로 수정할 절개 파일(cut-file) 내의 (예를 들어 절개 경로, 속도 등의) 절개 파라미터들의 세트, 뼈를 수정하도록 정의된 경계 내에서 툴(tool)을 촉각적으로(haptically) 제약하도록 정의된 가상 경계들의 세트, 뼈에 핀 또는 터널을 천공하기 위한 평면 또는 천공 구멍들의 세트, 또는 조직을 수정하기 위한 그래픽하게 항행되는(graphically navigated) 명령들의 세트 등, 해부학적 구조에 대해 정의되는 조직의 양을 수정할 명령들의 세트가 될 수 있다. 특정한 실시예들에서, 시술 데이터는 구체적으로 뼈의 시술양을 자동으로 수정하도록 수술 로봇에 의해 실행될 절개 파일을 포함하는데, 이는 정확도와 작업성(usability)의 관점에서 유용하다. 계획수립 컴퓨터(216)에서 생성된 수술 계획 데이터는 장치 컴퓨터(218) 및/또는 추적 컴퓨터(34)에 수술실(OR) 내의 유선 또는 무선 연결을 통해 전송되거나; 또는 계획수립 컴퓨터(216)가 수술실(OR) 외부에 위치할 때는 (예를 들어 콤팩트디스크(CD), 휴대용 범용 시리얼 버스(USB) 드라이브 등의) 비 일시적 데이터 저장 매체를 통해 전송될 수 있다. 특정한 실시예들에서, 장치 컴퓨터(218)로의 수술 계획 데이터의 무선 통신은 가시광 통신을 통해 이뤄질 수 있다.
본 발명의 일부 실시예들에서, 장치 컴퓨터(218)는 가동 베이스(208)에 수납되고 하드웨어와, 소프트웨어와, 데이터와, 및 바람직하기로 수술 로봇 장치(202) 작동 전용인 유틸리티들을 포함한다. 이는 수술 장치 제어, 로봇 조작기 제어, 운동학적 및 역 운동학적 데이터의 처리, 등록 알고리즘의 실행, 검정 루틴(calibration routines)의 실행, (예를 들어 절개 파일, 촉각 제약 등) 시술 데이터의 실행, 좌표 변환 처리, 사용자에게의 작업흐름 명령들의 제공, 및 추적 시스템(30B)로부터의 위치 및 방향(position and orientation; POSE) 데이터의 이용을 포함할 수 있다. 일부 실시예들에서, 수술 시스템(200)은 베이스(208)에 부착된 기계적 디지타이저 아암(205)을 포함한다. 이 디지타이저 아암(205)은 그 자체의 디지타이저 컴퓨터를 갖거나 장치 컴퓨터(218)에 직접 연결될 수 있다. 기계적 디지타이저 아암(205)은 기계적 디지타이저 아암(205)의 원격단(distal end)에 조립되는 디지타이저 프루브(digitizer probe)로 작용할 수 있다. 본 발명의 다른 실시예들에서, 시스템은 프루브 팁(tip)과 추적 어레이(20d)를 갖는 피추적 디지타이저 프루브(130)를 포함한다.
수술 시스템(100)은 또한 전술한 신규의 광학 추적 시스템(30B)을 더 포함한다. 신규한 광학 추적 시스템(30B)은 수술 과정 동안 광학 추적 카메라(18)들의 FOV의 위치를 수술 로봇(202)과, 대퇴골(F)과, 및 경골(T)을 정확히 추적하도록 최적화하는 데 사용자를 보조한다. 추적 (시스템) 컴퓨터(34)는 추적 하드웨어와, 소프트웨어와, 데이터와, 및 국부 또는 전체 좌표계에서 (예를 들어 대퇴골(F) 및 경골(T) 등의 뼈들과 수술 로봇 장치(202)의 엔드이펙터(211) 등) 객체들의 POSE를 판단하는 유틸리티들을 포함한다. 객체들의 POSE는 이 명세서에서 POSE 데이터 또는 추적 데이터로 지칭되는데, 이 POSE 데이터는 장치 컴퓨터(218)에 용이하게 통신된다. 추적 (시스템) 컴퓨터(34)는 디스플레이(16)에 유선 또는 무선으로 통신 가능하여 디스플레이(16)가 가시광 검출기(32)의 화상표시된 조망 내에 광학 추적 검출기(18)의 FOV의 오버레이(36)를 화상표시하도록 한다.
POSE 데이터 또는 추적 데이터는 광학 추적 검출기(18)로 검출되거나 화상 처리, 화상 필터링, 위치측정 알고리즘(triangulation algorithms), 기하학적 관계 처리, 등록 알고리즘, 검정 알고리즘, 및 좌표 변환 처리 등의 연산/처리된 위치 데이터를 사용하여 신규한 광학 추적 시스템(30B)에 의해 결정된다.
POSE 데이터는 수술 로봇(202)이 수술 계획을 정확하게 실행하도록, 수술 동안 연산 시스템(204)에 의해 뼈(B)의 POSE 및/또는 좌표 변환, 수술 계획, 조작기 아암(210)으로서의 수술 로봇(202), 및/또는 수술 동안의 뼈(들)(F, T)의 이동의 갱신에 사용된다.
다른 실시예들(Other Embodiments)
이상의 상세한 설명에서 적어도 하나의 예시적 실시예가 제공되었지만, 광대한 수의 변형들이 존재함을 이해해야 할 것이다. 또한 이 예시적 실시예 또는 예시적 실시예들은 단지 예들이며, 기재된 실시예의 범위, 응용 가능성, 또는 구성을 어떤 방식으로건 한정하여 의도한 것이 아님 역시 이해해야 할 것이다. 오히려, 이상의 상세한 설명은 당업계에 통상의 기술을 가진 자에게 이 예시적 실시예 또는 예시적 실시예들을 구현할 편리한 지침을 제공할 것이다. 첨부된 청구항들에 규정된 범위와 그 법적 등가물들을 벗어나지 않고도 요소들의 기능과 배치에 다양한 변경이 이뤄질 수 있음을 이해해야 할 것이다.

Claims (20)

  1. 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정하는 방법으로, 상기 방법이:
    가시광 검출기로부터의 조망을 디스플레이 상에 화상표시하는 단계와;
    상기 가시광 검출기로부터의 화상표시된 조망 상에 상기 디스플레이 상의 오버레이로 둘 이상의 광학 추적 검출기의 FOV의 윤곽을 생성하는 단계와; 및
    가시광 검출기로부터 화상표시된 조망과 생성된 윤곽에 기반하여 a) 상기 둘 이상의 광학 추적 검출기, 또는 b) 피추적 객체 중의 적어도 하나를 위치 설정하는 단계를 포함하는, 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정하는 방법.
  2. 제1항에 있어서,
    상기 광학 추적 시스템이 수술 램프 또는 스탠드에 부착 또는 통합되는, 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정하는 방법.
  3. 제1항에 있어서,
    상기 둘 이상의 광학 추적 검출기들이 피추적 객체에 부착 또는 통합된 기준 마커들의 세트로부터 방출 또는 반사되는 적외선 광을 검출하도록 구성되는, 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정하는 방법.
  4. 제1항 내지 제3항 중의 어느 한 항에 있어서,
    상기 가시광 검출기가 상기 둘 이상의 광학 추적 검출기들에 대한 위치에 고정되는, 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정하는 방법.
  5. 제1항 내지 제3항 중의 어느 한 항에 있어서,
    상기 디스플레이 상의 오버레이로서의 윤곽이 경계를 가진 기하학적 형태, 반투명 음영 영역, 또는 그래디언트 패턴으로 채워진 경계를 가진 영역의 형태인, 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정하는 방법.
  6. 제1항에 있어서,
    상기 가시광 검출기의 화상표시된 조망 상에 상기 둘 이상의 광학 추적 검출기들의 FOV의 중심을 나타내는 상기 디스플레이 상이 오버레이로서의 마킹을 생성하는 단계를 더 포함하는, 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정하는 방법.
  7. 제6항에 있어서,
    상기 마킹이 십자선인, 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정하는 방법.
  8. 제1항에 있어서,
    하나 이상의 추가적 윤곽들을 생성하는 단계로서, 상기 추가적 윤곽들의 각각이 상기 FOV 내의 고유한 피추적 객체에 대응하는 단계를 더 포함하는, 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정하는 방법.
  9. 제8항에 있어서,
    상기 둘 이상의 광학 추적 검출기들에 대한 피추적 객체의 거리에 기반하여 상기 둘 이상의 광학 추적 검출기들의 FOV 내의 변경을 반영하도록 상기 하나 이상의 추가적 윤곽들을 자동으로 갱신하는 단계를 더 포함하는, 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정하는 방법.
  10. 제9항에 있어서,
    자동적 갱신이 추적 컴퓨터 또는 장치 컴퓨터에 의해 수행되는, 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정하는 방법.
  11. 제8항에 있어서,
    상기 하나 이상의 추가적 윤곽들의 각각이 상기 하나 이상의 추가적 윤곽들을 서로 구별하는 다른 지표 또는 색깔 코드를 갖는, 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정하는 방법.
  12. 제8항에 있어서,
    상기 하나 이상의 추가적 윤곽들의 각각이 상기 하나 이상의 추가적 윤곽들을 서로 구별하도록 고유한 피추적 객체에 맞는 라벨을 갖는, 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정하는 방법.
  13. 제8항에 있어서,
    상기 가시광 검출기로부터의 FOV 내의 고유한 피추적 객체에 부착된 추적 어레이 상의 실제 마커들의 가상 윤곽 또는 표시를 생성하는 단계를 더 포함하는, 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정하는 방법.
  14. 제1항에 있어서,
    상기 둘 이상의 광학 추적 검출기들이 전하 결합 소자(CCD) 카메라, 상보적 금속 산화물 반도체(CMOS) 카메라, 광학 스캐너, 또는 다른 광 감지 장치들 중의 적어도 하나이고, 상기 둘 이상의 광학 추적 검출기들이 필터 또는 내장된 소프트웨어를 통해 적외선 광을 검출하도록 조정되는, 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정하는 방법.
  15. 제14항에 있어서,
    상기 적외선 광이 700 나노미터 내지 1 밀리미터 사이의 어떤 파장 범위를 갖는 전자기 방사를 지칭하고, 가시광이 380 나노미터 내지 740 나노미터 사이의 어떤 파장 범위를 갖는 전자기 방사를 지칭하는, 컴퓨터 지원 수술 과정 동안 광학 추적 시스템의 시야(FOV)를 위치 설정하는 방법.
  16. 가시광 검출기와 둘 이상의 광학 추적 검출기들을 갖는 추적 시스템과;
    소프트웨어를 실행하는 하나 이상의 프로세서들로서, 기준 마커들의 세트의 위치들을 추적하는 상기 추적 시스템과 통신 가능하거나 그 일부인 하나 이상의 프로세서들과; 및
    상기 가시광 검출기로부터의 조망을 화상표시하는 디스플레이로, 상기 소프트웨어가 상기 프로세서로 실행될 때 상기 프로세서가 상기 가시광 검출기의 상기 화상표시된 조망 상에 상기 둘 이상의 광학 추적 검출기들의 FOV의 상기 디스플레이 상의 오버레이로서 윤곽을 생성하도록 하는 상기 디스플레이를
    구비하는, 컴퓨터 지원 수술 시스템.
  17. 제16항에 있어서,
    상기 광학 추적 시스템이 수술 램프 또는 스탠드에 부착 또는 통합되는, 컴퓨터 지원 수술 시스템.
  18. 제16항 또는 제17항에 있어서,
    상기 둘 이상의 광학 추적 검출기들이 피추적 객체에 부착된 기준 마커들의 세트로부터 방출 또는 반사되는 적외선 광을 검출하도록 구성되는, 컴퓨터 지원 수술 시스템.
  19. 제16항 또는 제17항에 있어서,
    피추적 핸드헬드 수술 장치 또는 수술 로봇의 피추적 엔드이펙터를 더 구비하는, 컴퓨터 지원 수술 시스템.
  20. 제16항 또는 제17항에 있어서,
    상기 소프트웨어가 상기 프로세서로 실행될 때 상기 프로세서가 상기 가시광 검출기로부터의 화상표시된 조망 상에 상기 둘 이상의 광학 추적 검출기들의 FOV의 중심을 나타내는 상기 디스플레이 상의 오버레이로서 마킹을 생성하도록 하는, 컴퓨터 지원 수술 시스템.
KR1020217041109A 2019-06-19 2020-06-19 추적 시스템 시야 위치설정 시스템 및 방법 KR20220024055A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962863624P 2019-06-19 2019-06-19
US62/863,624 2019-06-19
PCT/US2020/038657 WO2020257594A1 (en) 2019-06-19 2020-06-19 System and method to position a tracking system field-of-view

Publications (1)

Publication Number Publication Date
KR20220024055A true KR20220024055A (ko) 2022-03-03

Family

ID=74037385

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217041109A KR20220024055A (ko) 2019-06-19 2020-06-19 추적 시스템 시야 위치설정 시스템 및 방법

Country Status (6)

Country Link
US (1) US20220338886A1 (ko)
EP (1) EP3986313A4 (ko)
JP (1) JP2022537891A (ko)
KR (1) KR20220024055A (ko)
AU (1) AU2020295555A1 (ko)
WO (1) WO2020257594A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230270503A1 (en) * 2022-02-03 2023-08-31 Mazor Robotics Ltd. Segemental tracking combining optical tracking and inertial measurements
US11547486B1 (en) * 2022-08-03 2023-01-10 Ix Innovation Llc Digital image analysis for robotic installation of surgical implants

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5086401A (en) 1990-05-11 1992-02-04 International Business Machines Corporation Image-directed robotic system for precise robotic surgery including redundant consistency checking
US6675040B1 (en) * 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
US6033415A (en) 1998-09-14 2000-03-07 Integrated Surgical Systems System and method for performing image directed robotic orthopaedic procedures without a fiducial reference system
JP4399925B2 (ja) 1999-10-21 2010-01-20 株式会社デンソー 犠牲腐食層の形成方法、熱交換器及び複式熱交換器
EP1364183B1 (en) 2001-01-30 2013-11-06 Mako Surgical Corp. Tool calibrator and tracker system
AU2003218010A1 (en) 2002-03-06 2003-09-22 Z-Kat, Inc. System and method for using a haptic device in combination with a computer-assisted surgery system
US7492930B2 (en) 2003-02-04 2009-02-17 Aesculap Ag Method and apparatus for capturing information associated with a surgical procedure performed using a localization device
US20080112700A1 (en) * 2006-11-13 2008-05-15 Foxenland Eral D Imaging device with projected viewfinder
US8876830B2 (en) 2009-08-13 2014-11-04 Zimmer, Inc. Virtual implant placement in the OR
WO2011133927A2 (en) 2010-04-22 2011-10-27 Blue Belt Technologies, Llc Navigated freehand surgical tool and kit
CA3067299A1 (en) 2011-09-02 2013-03-07 Stryker Corporation Surgical instrument including a cutting accessory extending from a housing and actuators that establish the position of the cutting accessory relative to the housing
US10441366B2 (en) * 2014-10-22 2019-10-15 Think Surgical, Inc. Actively controlled optical tracker with a robot
US20170333136A1 (en) * 2014-10-29 2017-11-23 Intellijoint Surgical Inc. Systems and devices including a surgical navigation camera with a kinematic mount and a surgical drape with a kinematic mount adapter
CN107072740B (zh) 2014-11-21 2020-05-22 思外科有限公司 视觉跟踪系统和跟踪识别器间传输数据的可见光通信系统
EP3261571B1 (en) 2015-02-25 2023-03-08 Mako Surgical Corporation Navigation systems and methods for reducing tracking interruptions during a surgical procedure
CN108289705B (zh) 2015-09-30 2022-01-28 伊西康有限责任公司 用于外科器械的频率捷变发生器
CN108348294A (zh) 2015-11-24 2018-07-31 思想外科有限公司 用于全膝关节置换术中的主动式机器人钉配置
US10398514B2 (en) * 2016-08-16 2019-09-03 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
KR20200015803A (ko) * 2017-07-03 2020-02-12 스파인 얼라인, 엘엘씨 수술 중 정렬 평가 시스템 및 방법
US11135015B2 (en) * 2017-07-21 2021-10-05 Globus Medical, Inc. Robot surgical platform
WO2020163355A1 (en) * 2019-02-05 2020-08-13 Smith & Nephew, Inc. Methods for improving robotic surgical systems and devices thereof

Also Published As

Publication number Publication date
AU2020295555A1 (en) 2022-01-20
US20220338886A1 (en) 2022-10-27
JP2022537891A (ja) 2022-08-31
WO2020257594A1 (en) 2020-12-24
EP3986313A4 (en) 2023-06-21
EP3986313A1 (en) 2022-04-27

Similar Documents

Publication Publication Date Title
US11872005B2 (en) Method and system for guiding user positioning of a robot
US11844574B2 (en) Patient-specific preoperative planning simulation techniques
US11707330B2 (en) Systems and methods for surgical navigation
CN108472096B (zh) 用于在由虚拟对象限定的目标部位处对患者执行手术的系统和方法
US20190223962A1 (en) Environmental mapping for robotic assisted surgery
US20230165649A1 (en) A collaborative surgical robotic platform for autonomous task execution
US11819297B2 (en) Light guided digitization method to register a bone
US20220022968A1 (en) Computer input method using a digitizer as an input device
KR20220024055A (ko) 추적 시스템 시야 위치설정 시스템 및 방법
US11883112B2 (en) Rollable digitizer for computer-assisted surgery
US20220192754A1 (en) System and method to check cut plane accuracy after bone removal
US20240065776A1 (en) Light guided digitization method to register a bone

Legal Events

Date Code Title Description
A201 Request for examination