CN110403699B - 手术导引系统 - Google Patents

手术导引系统 Download PDF

Info

Publication number
CN110403699B
CN110403699B CN201811329715.6A CN201811329715A CN110403699B CN 110403699 B CN110403699 B CN 110403699B CN 201811329715 A CN201811329715 A CN 201811329715A CN 110403699 B CN110403699 B CN 110403699B
Authority
CN
China
Prior art keywords
reference element
image
user
guidance system
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811329715.6A
Other languages
English (en)
Other versions
CN110403699A (zh
Inventor
刘浩澧
邱锡彦
廖振渊
林文彦
陈品元
魏国珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huayu Pharmaceutical Co ltd
Original Assignee
Chang Gung University CGU
Chang Gung Memorial Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chang Gung University CGU, Chang Gung Memorial Hospital filed Critical Chang Gung University CGU
Publication of CN110403699A publication Critical patent/CN110403699A/zh
Application granted granted Critical
Publication of CN110403699B publication Critical patent/CN110403699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/22Implements for squeezing-off ulcers or the like on the inside of inner organs of the body; Implements for scraping-out cavities of body organs, e.g. bones; Calculus removers; Calculus smashing apparatus; Apparatus for removing obstructions in blood vessels, not otherwise provided for
    • A61B17/225Implements for squeezing-off ulcers or the like on the inside of inner organs of the body; Implements for scraping-out cavities of body organs, e.g. bones; Calculus removers; Calculus smashing apparatus; Apparatus for removing obstructions in blood vessels, not otherwise provided for for extracorporeal shock wave lithotripsy [ESWL], e.g. by using ultrasonic waves
    • A61B17/2256Implements for squeezing-off ulcers or the like on the inside of inner organs of the body; Implements for scraping-out cavities of body organs, e.g. bones; Calculus removers; Calculus smashing apparatus; Apparatus for removing obstructions in blood vessels, not otherwise provided for for extracorporeal shock wave lithotripsy [ESWL], e.g. by using ultrasonic waves with means for locating or checking the concrement, e.g. X-ray apparatus, imaging means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32Surgical cutting instruments
    • A61B17/320068Surgical cutting instruments using mechanical vibrations, e.g. ultrasonic
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/14Fixators for body parts, e.g. skull clamps; Constructional details of fixators, e.g. pins
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N7/00Ultrasound therapy
    • A61N7/02Localised ultrasound hyperthermia
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681Aspects not otherwise provided for
    • A61B2017/00725Calibration or performance testing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2063Acoustic tracking systems, e.g. using ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/372Details of monitor hardware
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/374NMR or MRI
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/378Surgical systems with images on a monitor during operation using ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983Reference marker arrangements for use with image guided surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502Headgear, e.g. helmet, spectacles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N7/00Ultrasound therapy
    • A61N2007/0086Beam steering
    • A61N2007/0095Beam steering by modifying an excitation signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gynecology & Obstetrics (AREA)
  • Robotics (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Urology & Nephrology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Vascular Medicine (AREA)
  • Neurosurgery (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种手术导引系统,包含一个光学摄影机、一个设置于一个使用者旁的第一参考元件、一个设置于一个手术器械的第二参考元件、N个显示装置、N个分别设置在该等显示装置的第三参考元件及一个处理单元。该处理单元电连接该光学摄影机以接收两个影像,进而分析该第一参考元件、该第二参考元件及该N个第三参考元件在空间中的多个空间位置,并与该N个显示装置连线,以根据该等空间位置将N个辅助信息分别传送至该N个显示装置。该手术导引系统还包含一种定位架及一种校正工具,以执行分别相关增强现实影像与超音波探头的校准与校正。本发明能提升医疗人员例如在执行手术时的便利性。

Description

手术导引系统
技术领域
本发明涉及一种导引系统,特别是涉及一种手术导引系统、及其所包含的定位架与校正工具。
背景技术
随着科技的发展,手术导航系统已经成为手术中不可或缺的重要工具。目前现有的手术导引系统的使用情形为:当利用手术导引系统进行手术辅助导引时,操作的外科医师通常需要通过注视手术导引机的计算机屏幕,来进行手术的操作,使得其视线无法离开手术导引机的计算机屏幕。然而,这样的操作程序,对手术进行的操作不但造成许多不方便,也不是最直观的手术进行方法。因此,以往的手术导引系统便存有许多改善的空间。
发明内容
本发明的目的在于提供一种更便利的手术导引系统、及其所包含的定位架与校正工具。于是,根据本发明的一观点,提供一种手术导引系统,适用于一个使用者,并包含一个光学摄影机、一个第一参考元件、一个第二参考元件、N个显示装置、N个第三参考元件及一个处理单元。
该光学摄影机包括两个摄影模块,以同时撷取两个影像。该第一参考元件固定且邻近地设置于该使用者旁。该第二参考元件适用于设置在一个手术器械上。N为正整数。该N个第三参考元件分别设置于该N个显示装置上。
该处理单元电连接该光学摄影机以接收该等影像,进而分析该第一参考元件、该第二参考元件及该N个第三参考元件在空间中的多个空间位置,并与该N个显示装置连线,以根据该等空间位置将N个辅助信息分别传送至该N个显示装置。
在一些实施态样中,其中,每一个辅助信息包括相关于该使用者的增强现实(Augmented Reality;AR)影像。每一个显示装置是一个头戴装置,并适用于一个医疗人员配戴,且包括一个透视式(See Through)显示器,以显示对应的该辅助信息的该增强现实影像。
在一些实施态样中,其中,该处理单元分析该第一参考元件、该第二参考元件及该N个第三参考元件在空间中的该等空间位置,获得一个坐标向量(O,V1,V2,…,VN,Vt,Vf),位置O是该手术导引系统以该光学摄影机的位置作为一个原点参考点,Vi是第i个显示装置的该第三参考元件相对于该原点参考点的位置向量,i等于1、2…N,Vt是该第二参考元件相对于该原点参考点的位置向量,Vf是该第一参考元件相对于该原点参考点的位置向量。
在一些实施态样中,其中,该处理单元通过X2=T1*(Vt-V1,Vt-V2,…,Vt-VN,Vf-Vt,V1-Vf,V2-Vf,…,VN-Vf)的关系式,获得以该N个显示装置的该等第三参考元件为另一个原点参考点的坐标信息X2,并使得该N个显示装置获得该手术器械的该第二参考元件的即时坐标信息,T1是一个作空间坐标转换的矩阵。
在一些实施态样中,其中,该处理单元通过X3=T2*T1*(Vt-V1,Vt-V2,…,Vt-VN,Vf-Vt,V1-Vf,V2-Vf,…,VN-Vf)的关系式,获得以该N个显示装置的该等第三参考元件为另一个原点参考点的坐标信息X3,并使得该N个显示装置获得该手术器械的一个器械尖端的即时坐标信息,T2是一个作空间坐标转换的矩阵。
在一些实施态样中,其中,该手术导引系统还包含一个校正工具,该校正工具适用于一个超音波探头,并包括一个上半部及一个可分离的下半部。
该第二参考元件不设置在该手术器械上,而改为设置在该校正工具的该上半部,该下半部包括一个端点,该第二参考元件与该端点的距离等于该第二参考元件设置于该手术器械上时该第二参考元件与该器械尖端的距离。
当该下半部与该上半部分离时,该上半部可与该超音波探头相组合,使得该超音波探头所产生的超音波能量聚焦于该下半部与该上半部结合时该下半部的该端点的所在位置。
在另一些实施态样中,其中,该手术导引系统还包含一个定位架,该定位架包括一个框架本体,以适用于该使用者配戴于头部,其中,该增强现实影像包括该使用者的多个脸部特征及头部的三维影像医学信息,该定位架通过一个校准程序将该增强现实影像中的该使用者的该等脸部特征与该使用者的脸部叠合,使得该增强现实影像中的该三维影像医学信息在该使用者的头部相关位置显示。
在另一些实施态样中,其中,该手术导引系统还包含一个定位架,该定位架包括一个框架本体,及设置于该框架本体上的一个第一校准柱、一个第二校准柱、与一个第三校准柱,该框架本体适用于该使用者配戴于头部,该第一校准柱及该第二校准柱还设置于同一个轴线上,当该使用者的头部配戴该框架本体时,该第一校准柱及该第二校准柱分别紧贴该使用者的双耳,且该第三校准柱紧贴该使用者的下颚,其中,该增强现实影像包括该使用者的头部的三维影像医学信息,该定位架通过一个校准程序,将该增强现实影像中的该第一校准柱、该第二校准柱及该第三校准柱的影像与该第一校准柱、该第二校准柱及该第三校准柱作叠合,使得该增强现实影像中的三维影像医学信息在该使用者的头部相关位置显示。
在一些实施态样中,其中,该增强现实影像中的三维影像医学信息包含核磁共振摄影(MRI)影像、计算机断层摄影(CT)影像、或诊断超音波二维断面或重组三维影像。
根据本发明的另一观点,提供另一种手术导引系统,适用于一个使用者,并包含一个光学摄影单元、一个第一惯性感测元件、一个第一参考元件、一个第二惯性感测元件及一个处理单元。
该光学摄影单元撷取该使用者的一个影像。该第一惯性感测元件与该光学摄影单元共同设置,以侦测该光学摄影单元的姿态,进而获得一个第一姿态向量。该第一参考元件适用于设置在一个手术器械上。该第二惯性感测元件与该第一参考元件共同设置在该手术器械上,以侦测该第一参考元件的姿态,进而获得一个第二姿态向量。
该处理单元电连接该光学摄影单元以接收该影像,并根据该第一姿态向量、该第二姿态向量及该第一参考元件在该影像中的面积与位置,计算该第一参考元件以该光学摄影单元为一个原点参考点的三维坐标。
在一些实施态样中,其中,该处理单元根据该第一姿态向量、该第二姿态向量及该第一参考元件在该影像中的面积与位置,计算该光学摄影单元与该第一参考元件间的距离R,及该第一参考元件在空间中与该影像的画面轴心间的实际距离L,再根据下列关系式计算该第一参考元件的该三维坐标(x,y,z),其中,夹角θ=sin-1(L/R),夹角φ是该第二惯性感测元件在该影像中,与该影像的画面轴心的连线及垂直方向上的Y轴间的夹角。
x=R*sinθ*sinφ
y=R*sinθ*cosφ
z=R*cosθ
在一些实施态样中,其中,该处理单元根据下列关系式计算该光学摄影单元与该第一参考元件间的距离R,其中,Acal为在已知预先校正距离Rcal下,该光学摄影单元所分析出该第一参考元件的面积,A为该第一参考元件在该影像中经过补偿后的实际面积。
Figure BDA0001859646250000041
在一些实施态样中,其中,该处理单元根据该第一姿态向量
Figure BDA0001859646250000042
该第二姿态向量
Figure BDA0001859646250000043
及该第一参考元件在该影像中的面积A’,利用关系式A=A’*arg(Φ),计算该第一参考元件在该影像中经过补偿后的实际面积A,
Figure BDA0001859646250000051
且初始时,该第一姿态向量
Figure BDA0001859646250000052
等于该第二姿态向量
Figure BDA0001859646250000053
本发明的有益效果在于:通过该处理单元分析该光学摄影机所撷取的影像分析,以即时获得该第一参考元件及该等第二参考元件在空间中的空间位置,并将对应的该辅助信息传送至该显示装置,使得配戴该显示装置的医疗人员,能够将该辅助信息在空间中对应该使用者的位置与该使用者共同显示,进而提升该医疗人员例如在执行手术时的便利性。此外,该定位架及该校正工具能够应用于该手术导引系统,以提供使用者的头部增强现实影像的校准及超音波探头的校正。
附图说明
图1是一个示意图,说明本发明手术导引系统的一个第一实施例;
图2是一个示意图,辅助图1说明该第一实施例的一个显示装置所显示的一个影像;
图3是一个示意图,说明该第一实施例的一个定位架;
图4是一个示意图,辅助图3说明该定位架的一个增强现实影像;
图5是一个立体图,说明该第一实施例的一个校正工具;
图6是一个立体图,辅助图5说明该校正工具所适用的一个超音波探头;
图7是一个示意图,说明本发明手术导引系统的一个第二实施例;
图8是一个示意图,说明本发明手术导引系统的一个第三实施例;
图9是一个示意图,说明该第二及第三实施例的一个光学摄影单元所撷取的一个影像;
图10是一个示意图,辅助图9说明该影像;及
图11是一个示意图,说明本发明手术导引系统所适用的一个手持诊断工具及手术器械。
具体实施方式
下面结合附图及实施例对本发明进行详细说明。
在本发明被详细描述的前,应当注意在以下的说明内容中,类似的元件以相同的编号来表示。
参阅图1,本发明手术导引系统的一个第一实施例,适用于一个使用者91,并包含一个光学摄影机1、一个第一参考元件2、一个第二参考元件3、N个显示装置4、N个第三参考元件41及一个处理单元5。
该N个显示装置4是N个头戴装置,并适用于N个医疗人员90配戴,N为正整数。每一个显示装置4包括一个透视式(See Through)显示器42。在图1中,为说明方便起见,仅以一个医疗人员90配戴一个显示装置4为例作说明,实际上,N可以是大于1的复数,即多个医疗人员90分别配戴多个显示装置4。
该第一参考元件2固定且邻近地设置于该使用者91旁。在本实施例中,该使用者91是一个病患并躺在一个椅子上,该第一参考元件2设置在该椅子上。该第二参考元件3适用于设置在一个手术器械92,该手术器械92由该医疗人员90操作。该N个第三参考元件41分别设置于该N个显示装置4上。
该光学摄影机1包括两个摄影模块11,以同时撷取两个影像,该两个影像都包含该第一参考元件2、该第二参考元件3及该N个第三参考元件41的其中至少一者。
该处理单元5电连接该光学摄影机1以接收该两个影像,进而分析该第一参考元件2、该第二参考元件3及该N个第三参考元件41在空间中的多个空间位置。
具体的说,该处理单元5例如是一个计算机主机,与该光学摄影机1建立连线,例如以无线网路的方式连接,并运用已知的技术对该两个影像中的该第一参考元件2、该第二参考元件3及该N个第三参考元件41作影像辨识,进而获得该第一参考元件2、该第二参考元件3及该N个第三参考元件41在空间中即时的三维坐标。在本实施例中,该第一参考元件2、该第二参考元件3及该N个第三参考元件41都是在其表面具有二维条码以方便该处理单元5作影像辨识,但并不以此限制,在其他实施例中,该第一至第三参考元件2、3、41也可以采用不同的外形(如十字形)、颜色或一维条码,只要使得该处理单元5能够成功辨识其影像即可。
该处理单元5根据该第一参考元件2、该第二参考元件3及该N个第三参考元件41在空间中的多个空间位置(即其三维坐标),计算获得一个坐标向量(O,V1,V2,…,VN,Vt,Vf)。位置O是该手术导引系统以该光学摄影机1的位置作为一个原点参考点,Vi是第i个显示装置4的该第三参考元件41相对于该原点参考点的位置向量,i等于1、2…N,Vt是该第二参考元件3相对于该原点参考点的位置向量,Vf是该第一参考元件2相对于该原点参考点的位置向量。
该处理单元5再对该坐标向量(O,V1,V2,…,VN,Vt,Vf),作简单的数学向量计算,获得一个坐标信息X1=(Vt-V1,Vt-V2,…,Vt-VN,Vf-Vt,V1-Vf,V2-Vf,…,VN-Vf)。因此,该处理单元5获得以位置O为原点参考点的坐标信息为X1。此时,该处理单元5可以即时将该坐标信息X1传送到各个对应的显示装置4,其中,Vt-V1是第1个显示装置4的该第三参考元件41与该手术器械92的该第二参考元件3间的相对向量关系,Vt-V2是第2个显示装置4的该第三参考元件41与该手术器械92的该第二参考元件3间的相对向量关系,同样地,Vt-VN是第N个显示装置4的该第三参考元件41与该手术器械92的该第二参考元件3间的相对向量关系。Vf-Vt是固定的该第一参考元件2与该手术器械92的该第二参考元件3间的相对向量关系。V1-Vf是第1个显示装置4的该第三参考元件41与固定的该第一参考元件2间的相对向量关系,V2-Vf是第2个显示装置4的该第三参考元件41与固定的该第一参考元件2间的相对向量关系,同样地,VN-Vf是该第N个显示装置4的该第三参考元件41与固定的该第一参考元件2间的相对向量关系。
该处理单元5通过X2=T1*(Vt-V1,Vt-V2,…,Vt-VN,Vf-Vt,V1-Vf,V2-Vf,…,VN-Vf)的关系式,获得以该N个显示装置4的该等第三参考元件41为另一个原点参考点的坐标信息X2。T1是一个作空间坐标转换的矩阵,由于V1,V2,…,VN为即时可获得的信息,因此,该处理单元5能将原来以位置O为原点参考点的坐标信息,转换为分别以该N个显示装置4的该N个第三参考元件41为原点参考点的坐标信息。该处理单元5可以再将该坐标信息X2即时传送至该N个显示装置4,使得该N个显示装置4以设置在其上的该第三参考元件41为原点参考点来获得该手术器械92的该第二参考元件3的即时坐标信息。
T1的其中一种计算方式,以下N=1为例作说明,X2=T1*(Vt-V1,Vf-Vt,V1-Vf)。事先标定出至少三个以该光学摄影机1的位置作为一个原点参考点(即位置O)所建立的空间坐标系的坐标信息(即转换前),例如三个坐标信息分别为(a1,b1,c1)’,(a2,b2,c2)’,(a3,b3,c3)’。且已知该至少三个坐标信息在以该第三参考元件41所建立的空间坐标系中对应的至少三个坐标信息(即转换后),例如三个坐标信息(d1,e1,f1)’,(d2,e2,f2)’,(d3,e3,f3)’。则经由下列公式(1)与(2),利用反矩阵的计算即能获得T1。
Figure BDA0001859646250000081
Figure BDA0001859646250000091
该处理单元5再通过X3=T2*T1*(Vt-V1,Vt-V2,…,Vt-VN,Vf-Vt,V1-Vf,V2-Vf,…,VN-Vf)的关系式,获得以该N个显示装置4的该等第三参考元件41为另一个原点参考点的坐标信息X3。T2是一个作空间坐标转换的矩阵。由于该第二参考元件3与该手术器械92的一个器械尖端93(即用于治疗的端点)的距离为固定且可事先已知,因此,T2可以将同样是分别以该N个显示装置4的该N个第三参考元件41为原点参考点的该第二参考元件3的坐标信息,转换为该手术器械92的该器械尖端93的坐标信息。该处理单元5可以再将该坐标信息X3即时传送至该N个显示装置4,使得该N个显示装置4以设置在其上的该第三参考元件41为原点参考点来获得该手术器械92的该器械尖端93的即时坐标信息。
T2的其中一种计算方式,以下N=1为例作说明,X3=T2*T1*(Vt-V1,Vf-Vt,V1-Vf)。事先标定出至少三个以该第三参考元件41所建立的空间坐标系的该第二参考元件3的坐标信息(即转换前),例如三个该第二参考元件3的坐标信息分别为(d1,e1,f1)’,(d2,e2,f2)’,(d3,e3,f3)’。且已知该第二参考元件3分别在该至少三个坐标信息时,以该第三参考元件41所建立的空间坐标系中该手术器械92的该器械尖端93所对应的至少三个坐标信息(即转换后),例如三个该器械尖端93的坐标信息(g1,h1,i1)’,(g2,h2,i2)’,(g3,h3,i3)’。则经由下列公式(3)与(4),利用反矩阵的计算即能获得T2。
Figure BDA0001859646250000092
Figure BDA0001859646250000101
该处理单元5还与该N个显示装置4连线,并根据该等空间位置,即该等坐标信息X1、X2、X3的其中任一者,将N个辅助信息分别传送至该N个显示装置4。每一个辅助信息包括相关于该使用者91的增强现实(Augmented Reality;AR)影像。在本实施例中,该处理单元5根据该坐标信息X2、X3,将该等增强现实影像分别对应的传送至该N个显示装置4,使得每一个透视式显示器42在不同的空间位置时都能将对应的该增强现实影像与该使用者91作出正确地重叠显示。再参阅图2,图2示例性地说明医疗人员90通过该显示装置4的该透视式显示器42所见到的影像,会包含该使用者91的头部的增强现实影像94与该使用者91的头部在空间上的正确重叠显示,图2中是将增强现实影像94及该使用者分别画出,实际上,该医疗人员90会见到两者重叠的影像。又例如,将该增强现实影像与该手术器械92或该器械尖端93作结合,使得该医疗人员90能够在专注于手术部位的同时,也能够获得足够的医疗辅助信息,而不需要像以往技术一般,需要将视线离开手术部位。
在其他实施例中,每一个显示装置4也可以包括一个处理模块(图未示),该处理单元5将该等坐标信息X1、X2、X3及该辅助信息传送至每一个显示装置4。每一个处理模块再根据该等坐标信息X1、X2、X3的其中任一者,将该辅助信息的该增强现实影像通过该透视式显示器42作出正确地重叠显示。此外,在其他实施例中,该等显示装置4也可以不包括该等透视式显示器42,而是至少一个传统显示器以作显示。
通过该手术导引系统使得进行手术的医疗人员,如外科医师,可以利用增强现实影像的辅助达到:1.将病人的实际信息与增强现实中提供的已处理信息作同时呈现;2.治疗病患的实际信息的空间相对位置,可以与病人的二维或三维医学影像进行空间整合;3.通过计算机的计算能力,可以将三维医学影像中的重要计算信息,用增强现实的方式呈现在透视式显示器42上,帮助医师即时作出更精准的医疗判断及治疗工具的导引。
再参阅图3,在该第一实施例中,本发明手术导引系统还包含一个定位架6,适用于该使用者91,并包含一个框架本体61,及设置于该框架本体61上的一个第一校准柱62、一个第二校准柱63、与一个第三校准柱64。该第一校准柱62及该第二校准柱63还设置于同一个轴线上,当该使用者91的头部配戴或使用该框架本体61时,该第一校准柱62及该第二校准柱63分别紧贴该使用者91的双耳,且该第三校准柱64紧贴该使用者91的下颚。
参阅图1、图3与图4,该定位架6通过一个校准程序,将该增强现实影像94中的该第一校准柱影像941、该第二校准柱影像942及该第三校准柱影像943分别与该第一校准柱62、该第二校准柱63及该第三校准柱64作叠合,使得该增强现实影像94中的三维影像医学信息在该使用者91的头部相关位置显示。
该增强现实影像94中的三维影像医学信息包含核磁共振摄影(MRI)影像、计算机断层摄影(CT)影像、或诊断超音波二维断面或重组三维影像,但不在此限。该等影像为多个二维成像平面,通过该手术导引系统的该处理单元5或是另一个计算机主机,可以利用已知的演算法,协助将此二维影像重建出三维医学信息,如人体皮肤表面的三维呈现、大脑结构的三维呈现、或是人体头骨的三维呈现等等。
另外要特别补充说明的是:在本实施例中,该手术导引系统的该显示装置4还包含一个输入单元(图未示),该显示装置4的配戴者可以通过该输入单元产生多个输入信号,举例来说,该输入单元可以是一个小型的触控板、至少一个按键、或一种侦测手势姿态的输入装置的其中至少一者,但不在此限。
在该校准程序中,该手术导引系统的该显示装置4的该透视式显示器42,会呈现出该定位架6的该第一校准柱影像941、该第二校准柱影像942及该第三校准柱影像943(如图4)。要特别注意的是:该第一校准柱影像941、该第二校准柱影像942及该第三校准柱影像943在该透视式显示器42所呈现的大小及比例,必须与空间上(即该定位架6)的该第一校准柱62、该第二校准柱63及该第三校准柱64一致。
首先,开始进行现实空间及通过该显示装置4所见的虚拟空间两者间的同步,该显示装置4的配戴者(即医疗人员90)利用本身在空间中的实际移动,或者用手势姿态等控制方式控制该透视式显示器42所呈现的该第一校准柱影像941及该第二校准柱影像942进行缩放或旋转的空间调整,使得空间上的该第一校准柱62及该第二校准柱63与该透视式显示器42所呈现的该第一校准柱影像941及该第二校准柱影像942作完美结合,并记忆(储存)空间的相对位置关系。此时,该配戴者与该使用者91的相对位置不能进行任何移动或改变。
接着,该透视式显示器42会显示该第三校准柱影像943,同样的,该配戴者通过手势姿态等控制方式控制该透视式显示器42所呈现的该第三校准柱影像943,进行空间上的偏移或旋转,使得实际空间上的该第三校准柱64与该第三校准柱影像943精准叠合。
此时,该配戴者再作最后的确认,所有空间上的该第一校准柱影像941、该第二校准柱影像942及该第三校准柱影像943与该第一校准柱62、该第二校准柱63及该第三校准柱64是否有完好的叠合。若是,则通过该输入单元进行此空间的相对位置的确认,并将此相对的位置关系传送或储存至该处理单元5。若该配戴者认为空间的同步仍有瑕疵,或不能接受其精准度,可以通过该输入单元再重新执行该校准程序,以再次进行空间上的同步。
另外要补充说明的是:在本实施例中,该定位架包括该第一校准柱62、该第二校准柱63及该第三校准柱64。而在其他实施中,该定位架6也可以省略该第一校准柱62、该第二校准柱63及该第三校准柱64,该增强现实影像除了包括该使用者的头部的三维影像医学信息,还包括该使用的多个脸部特征,例如眼睛、耳朵等位置。在该校准程序中,通过将该增强现实影像中的该使用者的该等脸部特征与该使用者的脸部叠合,也能够使得该增强现实影像中的该三维影像医学信息在该使用者的头部相关位置显示。
参阅图1、图5与图6,在该第一实施例中,本发明手术导引系统还包含一个校正工具7,适用于一个超音波探头95,并包括一个上半部71及一个可分离的下半部72。该上半部71提供该手术导引系统的另一个第二参考元件3设置,该下半部72包括一个端点721,设置在该下半部71的该第二参考元件3与该端点721的距离Vt1等于设置于该手术器械92的该第二参考元件3与该器械尖端93的距离Vt1
当该下半部72与该上半部71结合时,适用于该手术导引系统执行一个校正程序。当该下半部72与该上半部71分离时,该上半部71可与该超音波探头95相组合,使得该超音波探头95所产生的超音波能量的聚焦位置951等于该下半部72与该上半部71结合时该下半部72的该端点721的所在位置。通过此方式,本发明所载明的手术导引程序也可适用于非可视性的能量形式传递、例如聚焦式超音波、微波、治疗性激光、电磁性刺激能量、或射频电磁波等。
该校正程序是指通过该手术导引系统的该手术器械92的该第二参考元件3的位置向量Vt转换至该器械尖端93的空间坐标,所描述的其中一种直观方法。也就是说,通过该校正工具7的该上半部71及该下半部72结合时,该第二参考元件3设置在该上半部71,使得该手术导引系统的该光学摄影机1撷取影像,该处理单元5进而辨识影像并获得该转换矩阵T2。
当该校正程序完成后,将该校正工具7的该下半部72分离,并将该上半部71与该超音波探头95组合。因为该超音波探头95所产生的超音波能量的聚焦位置951等于该下半部72与该上半部71结合时该下半部72的该端点721的所在位置,因此,该校正工具7的该上半部71与该超音波探头95组合时,可以在该手术导引系统中,被正确的计算其空间上的相对位置关系,进而在该显示装置4的该透视式显示器42中正确地显示。
参阅图7,本发明手术导引系统的一个第二实施例,适用于一个使用者91及一个医疗人员90,并包含一个光学摄影单元81、一个第一惯性感测元件82、一个第一参考元件2、一个第二惯性感测元件83、一个处理单元5及一个显示装置4。
该光学摄影单元81撷取该使用者91的一个影像。该第一惯性感测元件82设置于该光学摄影单元81上,以侦测该光学摄影单元81的姿态,进而获得一个第一姿态向量。该第一惯性感测元件82例如是包含三轴加速规、六轴加速规、或利用加速规与磁力计原理等各种已知方式所形成的集体电路元件。另外要特别说明的是:在该第二实施例的该光学摄影单元81与该第一实施例的该光学摄影机1并不相同,差异在于该光学摄影单元81仅需要单一个摄影模块,而该光学摄影机1需要两个摄影模块11。
该第一参考元件2适用于设置在一个手术器械92上。该第二惯性感测元件83设置在该第一参考元件2上,以侦测该第一参考元件2的姿态,进而获得一个第二姿态向量。该第二惯性感测元件83与该第一惯性感测元件82是类似的集体电路元件。该第一参考元件2的几何外观例如是预定的颜色或形状如的二维圆形、二维矩形、二维条码、一维条码等等,但不在此限,以利该光学摄影单元81及该处理单元5清楚辨识其形态。
该处理单元5电连接该光学摄影单元81以接收该影像,且电连接该第一惯性感测元件82及该第二惯性感测元件83,以分别接收该第一姿态向量及该第二姿态向量,并根据该第一姿态向量、该第二姿态向量、该第一参考元件2在该影像中的面积与位置及该光学摄影单元81与该第一参考元件2间的距离,计算该第一参考元件2以该光学摄影单元81为一个原点参考点的三维坐标。该处理单元5例如是一个计算机主机,与该光学摄影单元81建立连线的方式,例如是无线网路,但不在此限。
参阅图7、图9与图10,图9是该光学摄影单元81在撷取该影像时,拍摄的画面的环场示意图,其中,该第一参考元件2所位于的曲面是该光学摄影单元81的对焦景深的曲面。图10是该光学摄影单元81所撷取的该影像的示意图。该处理单元5通过执行步骤S1~S8,以获得该第一参考元件2的三维坐标。
步骤S1,该处理单元5根据该光学摄影单元81的像素,将该光学摄影单元81所撷取的该影像作简单计算,以换算出估计的该第一参考元件2的实际面积A’(如图10)。
步骤S2,该处理单元5接收该第一惯性感测元件82及该第二惯性感测元件83所分别侦测的该第一姿态向量
Figure BDA0001859646250000151
及该第二姿态向量
Figure BDA0001859646250000152
Figure BDA0001859646250000153
即为该光学摄影单元81的姿态角,
Figure BDA0001859646250000154
即为第二惯性元件83的姿态角。
步骤S3,该光学摄影单元81及该第一参考元件2需事先进行同步一致性的调校,也就是说,该显示装置4及该手术器械92在空间中的姿态需要事先调整成一致,使得在初始时该第一姿态向量
Figure BDA0001859646250000156
等于该第二姿态向量
Figure BDA0001859646250000157
或建立一固定已知关系可在后续计算分析中补偿修正。
步骤S4,该处理单元5根据该第一姿态向量及该第二姿态向量,补偿步骤S1所估计的该第一参考元件2的实际面积A’。更具体的说,该处理单元5通过A=A’*arg(Φ)的关系式,计算该第一参考元件2的实际面积A,其中,
Figure BDA0001859646250000155
步骤S5,该处理单元5通过简单的梯形几何关系,计算出该光学摄影单元81及该第一参考元件2间的投影距离R(如图9),也就是图7及图9中的第一惯性感测元件82与第二惯性感测元件83间的距离。该投影距离R的计算可以通过几何关系简单建立而求出,例如其中一种方式为预先在已知距离进行面积校正,则可以在任意距离改变下通过该第一参考元件2的面积改变后而获得新的距离,其具体的关系式如公式(5)。其中,Acal为在已知预先校正距离Rcal下的光学摄影单元81所分析出的第一参考元件2面积,A为在任意距离R(即投影距离)下的光学摄影单元81所分析出的第一参考元件2即时面积,即步骤S4中的A。
Figure BDA0001859646250000161
步骤S6,该处理单元5计算该第一参考元件2(即第二惯性感测元件)在该影像中的投影及坐标位置(L’,φ)(如图9与图10),再据以计算该第一参考元件2(即该第二惯性感测元件83)在空间中与影像的画面轴心间的实际距离L。其中,L可以通过步骤S1及S3求出,具体的说,在得知在该距离(即投影距离R)后的该第一参考元件2的即时面积A后,利用比例关系求出在该同一影像中该第一参考元件2的中心到影像的画面轴心的绝对距离,也就是说直接通过像素比对后以比例方式,将影像中的距离L’换算出真正的实际距离L。再通过该第二惯性元件83在该影像中,与该影像的画面轴心的夹角,可以获得该夹角φ。在该影像的水平与垂直方向可以分别定义出X轴与Y轴,该影像的画面轴心即是X轴与Y轴的交点。
步骤S7,该处理单元5计算相关于该第一参考元件2的设限投影的一个三维空间夹角θ(如图9)。具体的说,该处理单元5是根据θ=sin-1(L/R)的关系式而获得该三维空间夹角θ。
步骤S8,该处理单元5根据下列的关系式,计算出该第一参考元件2(即该第二惯性感测元件83)以该光学摄影单元81(即该第一惯性感测元件82)为一个原点参考点的三维坐标(x,y,z)。
x=R*sinθ*sinφ
y=R*sinθ*cosφ
z=R*cosθ
参阅图8,本发明手术导引系统的一个第三实施例,大致上是与该第二实施例相同,不同的地方在于该光学摄影单元81及该第一惯性导引装置并不是设置在该医疗人员90配戴的显示装置4上,而是独立设置于一旁,该处理单元5同样能够计算出该第一参考元件2(即该第二惯性感测元件83)以该光学摄影单元81(即该第一惯性感测元件82)为一个原点参考点的三维坐标(x,y,z)。
要特别补充说明的是:在该第二实施例与该第三实施例中,该第一参考元件2(即该第二惯性感测元件83)以该光学摄影单元81(即该第一惯性感测元件82)为一个原点参考点的该三维坐标(x,y,z)即等同于该第一实施例中的该坐标信息X2。同样地,该第二实施例(或该第三实施例)可以与该第一实施例结合,以通过该第一实施例的方式获得手术器械的器械尖端的该坐标信息X3,也就是说,该第二实施例(或该第三实施例)可以取代该第一实施例中获取坐标信息X2的相关程序,以提供该手术导引系统另外一种实施方式。此外,与该第一实施例相同,该显示装置4可以包括一个透视式显示器,或者,也可以通过一个传统显示器,使得该处理单元5根据该三维坐标(x,y,z),将至少一个辅助信息传送至对应的显示器中显示。
参阅图1、图7、图8与图11,该第一实施例的该第二参考元件3(或该第二与第三实施例的该第一参考元件2)也可以设置在一个手持诊断工具99上。该手持诊断工具例如是一个诊断超音波设备,并具有一个照野中心991。通过本发明手术导引系统的实施例,执行T1及T2的坐标转换,即能追踪该手持诊断工具99的该照野中心991。此外,在本发明的多个实施例中,仅以一个第二参考元件3(或一个第一参考元件2、21)设置在一个手术器械92(或手持诊断工具99)上。而在其他实施例中,该手术导引系统也可以包含多个第二参考元件(或多个第一参考元件)设置在多个手术器械与多个手持诊断工具99上,如图11中,两个的第一参考元件2、21分别设置在一个手术器械92及一个手持诊断工具99上。换句话说,本发明可以同时应用于多个第二参考元件的距离及方位辨识,并通过平台及系统整合,也能实现出通过穿戴式增强现实装置(或一般显示器屏幕显示),观测到诊断装置所实现的照野以及手术器械的三轴方位,更进一步显示出诊断装置照野中心以及手术器械尖端的相互三维空间位置关系。
综上所述,通过该处理单元5分析该光学摄影机1所撷取的该两个影像,以即时获得该第一参考元件2及该等第二参考元件3在空间中的空间位置,并将对应的该辅助信息传送至该显示装置4,使得配戴该显示装置4的医疗人员,能够将该辅助信息在空间中对应该使用者91的位置与该使用者91共同显示,例如共同显示三维医疗信息与使用者91,进而提升该医疗人员在执行医疗过程中的便利性。或者,该手术导引系统利用该第一惯性感测元件82及该第二惯性感测元件83所侦测的姿态角,并根据该光学摄影单元81所撷取的该影像,计算该第一参考元件2的三维坐标,而同样能够获得该手术器械92的该第一参考元件2及该光学摄影单元81在空间中的空间位置,进而能将对应的该辅助信息传送至该显示装置4。此外,该定位架6及该校正工具7能够应用于该手术导引系统,以提供使用者91的头部增强现实影像的校准及超音波探头95的校正,所以确实能达成本发明的目的。

Claims (10)

1.一种手术导引系统,适用于一个使用者,其特征在于,所述手术导引系统包含:
光学摄影机,包括两个摄影模块,以同时撷取两个影像;
第一参考元件,固定且邻近地设置于所述使用者旁;
第二参考元件,适用于设置在一个手术器械上;
N个显示装置,N为正整数;
N个第三参考元件,分别设置于所述N个显示装置上;及
处理单元,电连接所述光学摄影机以接收所述影像,进而分析所述第一参考元件、所述第二参考元件及所述N个第三参考元件在空间中的多个空间位置,并与所述N个显示装置连线,以根据所述空间位置将N个辅助信息分别传送至所述N个显示装置,每一个辅助信息包括相关于所述使用者的增强现实影像,每一个显示装置是一个头戴装置,并适用于一个医疗人员配戴,且包括一个透视式显示器,以显示对应的所述辅助信息的所述增强现实影像,
所述处理单元分析所述第一参考元件、所述第二参考元件及所述N个第三参考元件在空间中的所述空间位置,获得一个坐标向量(O,V1,V2,…,VN,Vt,Vf),位置O是所述手术导引系统以所述光学摄影机的位置作为一个原点参考点,Vi是第i个显示装置的所述第三参考元件相对于所述原点参考点的位置向量,i等于1、2…N,Vt是所述第二参考元件相对于所述原点参考点的位置向量,Vf是所述第一参考元件相对于所述原点参考点的位置向量,
所述处理单元通过X2=T1*(Vt-V1,Vt-V2,…,Vt-VN,Vf-Vt,V1-Vf,V2-Vf,…,VN-Vf)的关系式,获得以所述N个显示装置的所述第三参考元件为另一个原点参考点的坐标信息X2,并使得所述N个显示装置获得所述手术器械的所述第二参考元件的即时坐标信息,T1是一个作空间坐标转换的矩阵。
2.根据权利要求1所述的手术导引系统,其特征在于,所述处理单元通过X3=T2*T1*(Vt-V1,Vt-V2,…,Vt-VN,Vf-Vt,V1-Vf,V2-Vf,…,VN-Vf)的关系式,获得以所述N个显示装置的所述第三参考元件为另一个原点参考点的坐标信息X3,并使得所述N个显示装置获得所述手术器械的一个器械尖端的即时坐标信息,T2是一个作空间坐标转换的矩阵。
3.根据权利要求2所述的手术导引系统,其特征在于,所述手术导引系统还包含校正工具,所述校正工具适用于一个超音波探头,并包括上半部及能分离的下半部,
所述第二参考元件不设置在所述手术器械上,而改为设置在所述校正工具的所述上半部,所述下半部包括端点,所述第二参考元件与所述端点的距离等于所述第二参考元件设置于所述手术器械上时所述第二参考元件与所述器械尖端的距离,
当所述下半部与所述上半部分离时,所述上半部能与所述超音波探头相组合,使得所述超音波探头所产生的超音波能量聚焦于所述下半部与所述上半部结合时所述下半部的所述端点的所在位置。
4.根据权利要求1所述的手术导引系统,其特征在于,所述手术导引系统还包含定位架,所述定位架包括框架本体,以适用于所述使用者配戴于头部,所述增强现实影像包括所述使用者的多个脸部特征及头部的三维影像医学信息,所述定位架通过一个校准程序将所述增强现实影像中的所述使用者的所述脸部特征与所述使用者的脸部叠合,使得所述增强现实影像中的所述三维影像医学信息在所述使用者的头部相关位置显示。
5.根据权利要求1所述的手术导引系统,其特征在于,所述手术导引系统还包含定位架,所述定位架包括框架本体,及设置于所述框架本体上的第一校准柱、第二校准柱、与第三校准柱,所述框架本体适用于所述使用者配戴于头部,所述第一校准柱及所述第二校准柱还设置于同一个轴线上,当所述使用者的头部配戴所述框架本体时,所述第一校准柱及所述第二校准柱分别紧贴所述使用者的双耳,且所述第三校准柱紧贴所述使用者的下颚,所述增强现实影像包括所述使用者的头部的三维影像医学信息,所述定位架通过一个校准程序,将所述增强现实影像中的所述第一校准柱、所述第二校准柱及所述第三校准柱的影像与所述第一校准柱、所述第二校准柱及所述第三校准柱作叠合,使得所述增强现实影像中的三维影像医学信息在所述使用者的头部相关位置显示。
6.根据权利要求5所述的手术导引系统,其特征在于,所述增强现实影像中的三维影像医学信息包含核磁共振摄影影像、计算机断层摄影影像、或诊断超音波二维断面或重组三维影像。
7.一种手术导引系统,适用于一个使用者,其特征在于,所述手术导引系统包含:
光学摄影单元,撷取所述使用者的一个影像;
第一惯性感测元件,与所述光学摄影单元共同设置,以侦测所述光学摄影单元的姿态,进而获得一个第一姿态向量;
第一参考元件,适用于设置在一个手术器械上;
第二惯性感测元件,与所述第一参考元件共同设置在所述手术器械上,以侦测所述第一参考元件的姿态,进而获得一个第二姿态向量;及
处理单元,电连接所述光学摄影单元以接收所述影像,并根据所述第一姿态向量、所述第二姿态向量及所述第一参考元件在所述影像中的面积与位置,计算所述第一参考元件以所述光学摄影单元为一个原点参考点的三维坐标。
8.根据权利要求7所述的手术导引系统,其特征在于,所述处理单元根据所述第一姿态向量、所述第二姿态向量及所述第一参考元件在所述影像中的面积与位置,计算所述光学摄影单元与所述第一参考元件间的距离R,及所述第一参考元件在空间中与所述影像的画面轴心间的实际距离L,再根据下列关系式计算所述第一参考元件的所述三维坐标(x,y,z),
x=R*sinθ*sinφ
y=R*sinθ*cosφ
z=R*cosθ
夹角θ=sin-1(L/R),夹角φ是该第二惯性感测元件在该影像中与该影像的画面轴心的连线及垂直方向上的Y轴间的夹角。
9.根据权利要求8所述的手术导引系统,其特征在于,所述处理单元根据下列关系式计算所述光学摄影单元与所述第一参考元件间的距离R,
Figure FDA0002540979570000041
Acal为在已知预先校正距离Rcal下,所述光学摄影单元所分析出所述第一参考元件的面积,A为所述第一参考元件在所述影像中经过补偿后的实际面积。
10.根据权利要求9所述的手术导引系统,其特征在于,所述处理单元根据所述第一姿态向量
Figure FDA0002540979570000042
所述第二姿态向量
Figure FDA0002540979570000043
及所述第一参考元件在所述影像中的面积A’,利用关系式A=A’*arg(Φ),计算所述第一参考元件在所述影像中经过补偿后的实际面积A,
Figure FDA0002540979570000044
且初始时,所述第一姿态向量
Figure FDA0002540979570000045
等于所述第二姿态向量
Figure FDA0002540979570000046
CN201811329715.6A 2018-04-30 2018-11-09 手术导引系统 Active CN110403699B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107114633A TWI678181B (zh) 2018-04-30 2018-04-30 手術導引系統
TW107114633 2018-04-30

Publications (2)

Publication Number Publication Date
CN110403699A CN110403699A (zh) 2019-11-05
CN110403699B true CN110403699B (zh) 2020-10-30

Family

ID=68291834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811329715.6A Active CN110403699B (zh) 2018-04-30 2018-11-09 手术导引系统

Country Status (3)

Country Link
US (1) US10820945B2 (zh)
CN (1) CN110403699B (zh)
TW (1) TWI678181B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US11857378B1 (en) * 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
US11497924B2 (en) * 2019-08-08 2022-11-15 Realize MedTech LLC Systems and methods for enabling point of care magnetic stimulation therapy
US11237627B2 (en) 2020-01-16 2022-02-01 Novarad Corporation Alignment of medical images in augmented reality displays
US11950968B2 (en) 2020-03-13 2024-04-09 Trumpf Medizin Systeme Gmbh + Co. Kg Surgical augmented reality
KR102637479B1 (ko) * 2020-11-18 2024-02-16 주식회사 뉴로소나 저강도 집속 초음파 치료 장치
US12016633B2 (en) * 2020-12-30 2024-06-25 Novarad Corporation Alignment of medical images in augmented reality displays
CN113509264B (zh) * 2021-04-01 2024-07-12 上海复拓知达医疗科技有限公司 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质
CN113509263B (zh) * 2021-04-01 2024-06-14 上海复拓知达医疗科技有限公司 一种物体空间校准定位方法
TWI785645B (zh) * 2021-06-11 2022-12-01 承鋆生醫股份有限公司 基於擴增實境的手術輔助方法
US11948265B2 (en) 2021-11-27 2024-04-02 Novarad Corporation Image data set alignment for an AR headset using anatomic structures and data fitting
WO2023152639A1 (en) * 2022-02-08 2023-08-17 Insightec, Ltd. Conformal phased-array transducer arrangement
CN115005864B (zh) * 2022-05-16 2024-08-20 天津大学 基于电磁定位的超声探头标定方法
CN116077182B (zh) * 2022-12-23 2024-05-28 北京纳通医用机器人科技有限公司 一种医用手术机器人控制方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001087283A (ja) * 1999-09-27 2001-04-03 Olympus Optical Co Ltd キャリブレーション方法及びそれを用いる手術キャリブレーション装置
WO2006026465A2 (en) * 2004-08-26 2006-03-09 Stereotaxis, Inc. Surgical navigation and localization system utlizing scale-invariant registration
CN101404039A (zh) * 2008-03-28 2009-04-08 华南师范大学 一种虚拟手术的方法及其装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201542744U (zh) * 2009-10-27 2010-08-11 南京麦迪柯科技有限公司 立体定向仪
EP2431003B1 (en) * 2010-09-21 2018-03-21 Medizinische Universität Innsbruck Registration device, system, kit and method for a patient registration
US20130267838A1 (en) * 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
US9008757B2 (en) * 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
TW201505603A (zh) * 2013-07-16 2015-02-16 Seiko Epson Corp 資訊處理裝置、資訊處理方法及資訊處理系統
EP3104781B1 (en) * 2014-02-14 2018-10-03 Brainlab AG Frameless pre-positioning for radiosurgery
IL235073A (en) * 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
CN107847289A (zh) * 2015-03-01 2018-03-27 阿里斯医疗诊断公司 现实增强的形态学手术
EP3280344A2 (en) * 2015-04-07 2018-02-14 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
US10105187B2 (en) * 2015-08-27 2018-10-23 Medtronic, Inc. Systems, apparatus, methods and computer-readable storage media facilitating surgical procedures utilizing augmented reality
US10195076B2 (en) * 2015-10-23 2019-02-05 Eye Labs, LLC Head-mounted device providing diagnosis and treatment and multisensory experience
CN109310476B (zh) * 2016-03-12 2020-04-03 P·K·朗 用于手术的装置与方法
US11839433B2 (en) * 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
KR101687821B1 (ko) * 2016-09-22 2016-12-20 장원석 증강현실을 이용한 치과 수술 방법
JP2020510474A (ja) * 2017-03-07 2020-04-09 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 関節動作可能な遠位部分を持つツールを制御するためのシステム及び方法
US20190311542A1 (en) * 2018-04-10 2019-10-10 Robert E. Douglas Smart operating room equipped with smart surgical devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001087283A (ja) * 1999-09-27 2001-04-03 Olympus Optical Co Ltd キャリブレーション方法及びそれを用いる手術キャリブレーション装置
WO2006026465A2 (en) * 2004-08-26 2006-03-09 Stereotaxis, Inc. Surgical navigation and localization system utlizing scale-invariant registration
CN101404039A (zh) * 2008-03-28 2009-04-08 华南师范大学 一种虚拟手术的方法及其装置

Also Published As

Publication number Publication date
US10820945B2 (en) 2020-11-03
US20190328462A1 (en) 2019-10-31
TW201944954A (zh) 2019-12-01
CN110403699A (zh) 2019-11-05
TWI678181B (zh) 2019-12-01

Similar Documents

Publication Publication Date Title
CN110403699B (zh) 手术导引系统
US12115028B2 (en) Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
JP7478106B2 (ja) 外科手術におけるコンピュータ支援ナビゲーションのための光学器具追跡ボリュームのエクステンデッドリアリティ視覚化
JP7135128B2 (ja) 可視および近赤外線スペクトルにおけるエクステンデッドリアリティの外科手術ナビゲーションのための姿勢測定連鎖
JP7112471B2 (ja) ナビゲートされるロボット外科手術のための変動する不透明性を有する拡張現実ヘッドセット
US10881353B2 (en) Machine-guided imaging techniques
US20210169581A1 (en) Extended reality instrument interaction zone for navigated robotic surgery
CA2892554C (en) System and method for dynamic validation, correction of registration for surgical navigation
EP3582707A1 (en) Methods and systems for touchless control of surgical environment
US20140221819A1 (en) Apparatus, system and method for surgical navigation
JP7216764B2 (ja) 手術中の支援されたナビゲーションのための拡張現実ヘッドセットのカメラによって追跡された参照アレイを備えた手術器具の位置合わせ
JP5665761B2 (ja) 医用三次元画像の表示向き調整装置および調整プログラム
JP6112689B1 (ja) 重畳画像表示システム
JP2016202351A (ja) 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
JP7282816B2 (ja) ナビゲートされたロボット外科手術のためのエクステンデッドリアリティ器具相互作用ゾーン
TW202108086A (zh) 應用於與手術導航整合之混合實境系統之數位影像實境對位套件與方法
WO2020157984A1 (ja) 合成画像生成システム及び位置情報補正システム
JP2023526716A (ja) 外科手術ナビゲーションシステムおよびそのアプリケーション
CN117918955B (zh) 一种增强现实外科导航装置、方法、系统设备及介质
WO2020157985A1 (ja) 合成画像生成システム及び初期条件リセットシステム
JP4736040B2 (ja) 人体内部情報投影システム
JP2022526540A (ja) 整形外科的固定制御及び可視化
JP6142462B1 (ja) 重畳画像表示システム
JP2021045272A (ja) 鍼刺用エコーガイドシステム
JP6795744B2 (ja) 医療支援方法および医療支援装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211103

Address after: 8th floor, 43 Lane 115, Section 2, Zhongshan North Road, Zhongshan District, Taipei, Taiwan, China

Patentee after: Huayu Pharmaceutical Co.,Ltd.

Address before: 259 Wenhua 1st Road, Guishan District, Taoyuan City, Taiwan, China

Patentee before: CHANG GUNG University

Patentee before: CHANG GUNG MEMORIAL HOSPITAL, LINKOU