CN109416841B - 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引 - Google Patents

影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引 Download PDF

Info

Publication number
CN109416841B
CN109416841B CN201680087350.3A CN201680087350A CN109416841B CN 109416841 B CN109416841 B CN 109416841B CN 201680087350 A CN201680087350 A CN 201680087350A CN 109416841 B CN109416841 B CN 109416841B
Authority
CN
China
Prior art keywords
matrix
obtaining
camera
correct position
transformation matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680087350.3A
Other languages
English (en)
Other versions
CN109416841A (zh
Inventor
王民良
李佩渊
胡名贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiwan Main Orthopaedic Biotechnology Co Ltd
Original Assignee
Taiwan Main Orthopaedic Biotechnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiwan Main Orthopaedic Biotechnology Co Ltd filed Critical Taiwan Main Orthopaedic Biotechnology Co Ltd
Publication of CN109416841A publication Critical patent/CN109416841A/zh
Application granted granted Critical
Publication of CN109416841B publication Critical patent/CN109416841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

一种增强影像真实度的方法，包含下列步骤︰获得一相机(10)与一标记点(20)的一第一转换矩阵(Mme)；获得眼睛(30)与该相机(10)的一第二转换矩阵(Mce)；连结该第一转换矩阵(Mme)与该第二转换矩阵(Mce)以获得该眼睛(30)对该标记点(20)的一正确位置对应矩阵(Mme)；连结该正确位置对应矩阵(Mme)与该标记点(20)的位置特征，以获得该眼睛(30)对该标记点(20)的该正确位置。还提出一种可穿戴式眼镜的手术导引方法，可用于获得手术操作者眼睛(30)对该标记点(20)的正确位置。

Description

影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术 导引
技术领域
本发明有关于一种影像增强真实度的方法，以及一种应用该方法在可穿戴式眼镜的手术导引。
背景技术
近年来，在新型医疗服务技术的发展中，电脑辅助手术(Computer-assistedsurgery)的利用比率大幅提升。由于手术器械以及影像技术的进步，医师进行手术的精准度提升，同时也可将病患身上的伤口降到最小。一般而言，电脑辅助手术通常包含四个部分：从病人身上获取影像、影像分析与处理、诊断与手术前规划模拟、以及最后对病人进行手术时的手术导引。目前以电脑导航进行外科手术方面共分有下列几种类型：利用断层扫描影像，包括电脑断层(CT)、磁共振影像(MRI)、X光、核医影像，重建出3D模型(非即时影像)，再利用开刀房用移动式X光机(C-ARM)或超音波影像作为导引的辅助(即时影像)、以及非影像式导引系统。
外科手术影像导引系统临床的应用，包括脊髓手术导引(例如，椎弓根螺钉固定、切除损伤部位、切除硬块、于固定的深度及安置癫痫患者治疗用电极)；头颅病变手术(例如，脑膜瘤的治疗，颅咽管瘤，软骨肉瘤，和其他在颅部病变)；组织切片和肿瘤切除术；帕金森氏病的治疗；精神疾病脑回部立体定位治疗；功能性内试镜鼻窦手术，神经血管修补手术及心室绕道手术和心室分流置换手术。本系统也可用于髋关节和膝关节手术，例如全膝关节置换术，全髋关节置换术，和前十字韧带重建。
手术导引必须结合影像、电子、机械等各类技术，将手术器械方位投影至影像上，辅助医师掌握器械与病人间的相对方位，达到导航的目的。在手术前先在病人手术位置贴上标记点，再让病患接受电脑断层或磁振造影显影的检查；之后将电脑断层或/及磁共振影像的影像在电脑内重组出手术位置附近的三维影像，并标明异常与正常功能区的位置。手术时病人手术位置及手术器械上均安装标记，红外线摄影机(或超音波等)可依据这些标记球反射出来的红外线讯号，同步定位出手术器械和手术位置的相对位置，以建立手术时的空间关系。此外，外科医师也可通过抬头显示器或头上所带的目镜，见到重组的影像。
扩增实境(Augmented Reality，AR)一般用以在病患的真实影像上显示虚拟资讯。特别是在内视镜结构中，过去经常在微创手术以扩增实境进行影像的叠加，此方式并无法直接通过摄影机进行观察，但是却可在手术前影像中见到。扩增实境技术协助外科医生可看透病患的身体部位，使得医生在探视手术位置前，即可有效定位其重要结构，而不需要事前通过触觉而进行位置的确认。扩增实境技术似乎是目前最有发展潜力的研究，其引导并帮助外科医生监督机器人手术的过程。
在手术位置贴上标记点上，传统上是通过追踪探针进行物理空间的定位，而其手术位置标记点采用最小平方法来对准。最常见的三维至二维手术位置标记点，主要根据特殊表面特征的功能。而手术位置的表面将由手术前影像与手术中影像所撷取的轮廓进行分割，并根据成本函数使距离最小化的方式来进行纪录。而该轮廓的选择相当繁琐且耗费时间，因此，需要使用如金属针或网格进行基准标记，用以对准手术位置贴上标记点以进行影像引导治疗。目前发展出许多方法用以解决手术前影像装置的姿态评估问题，其中，影像射线假定相交于一共用点上。过去已经针对影像基础问题进行研究。闭合形式解(Closed-form solutions)已经被制定用以确认是否采用三或四组三维/二维对应处。
鉴于上述问题，有必要提出一种更精确的手术导引方式。在本专利中，其主要提出一种影像增强真实度的方法，特别是应用该方法在整形外科用增强真实性的电脑辅助眼镜(Augmented Reality Computer Assisted Glasses for Orthopaedic，ARCAGO)。
发明内容
本发明的主要目的在于提出一种增强影像真实度的方法，用于获得一眼睛对一标记点的一正确位置，其包括下列步骤：获得一相机与一标记点的一第一转换矩阵；获得该眼睛与该相机的一第二转换矩阵；连结该第一转换矩阵与该第二转换矩阵以获得该眼睛对该标记点的一正确位置对应矩阵；连结该正确位置对应矩阵与该标记点的位置特征，以获得该眼睛对该标记点的该正确位置。
根据本发明的一特征，获得该第一转换矩阵是使用一函式库侦测该标记点的位置特征并经一第一数学运算获得。
根据本发明的一特征，获得该眼睛与该相机的一第二转换矩阵，包含下列步骤：戴上一眼镜，点选该标记点的复数个角点以获得该眼镜的荧幕上的一二维坐标；利用一函式库获得相对应该相机一三维坐标，经一第二数学运算获得该二维坐标与该相机的该第二转换矩阵；利用解联立方程式获得该第二转换矩阵。
根据本发明的一特征，该标记点的复数个角点为该标记点的12个角点。
本发明的另一目的在于提出一种可穿戴式眼镜的手术导引方法，其包括下列步骤：手术前，于患部一个以上的标记点先制作一断层影像；将该断层影像制作成一三维立体模拟影像；通过一增强影像真实度的方法，用于获得一手术操作者眼睛对该患部的标记点的一正确位置，以调整该三维立体模拟影像与该标记点的误差；其中增强影像真实度的方法包括下列步骤：获得一相机与该标记点的一第一转换矩阵；获得该手术操作者眼睛与该相机的一第二转换矩阵；连结该第一转换矩阵与该第二转换矩阵以获得该眼睛对该标记点的一正确位置对应矩阵；连结该正确位置对应矩阵与该标记点的位置特征，以获得该眼睛对该标记点的该正确位置。
根据本发明的一特征，获得该第一转换矩阵是使用一函式库侦测该标记点的位置特征并经一第一数学运算获得。
根据本发明的一特征，获得该眼睛与该相机的一第二转换矩阵，包含下列步骤：戴上一眼镜，点选该标记点的复数个角点以获得该眼镜的荧幕上的一二维坐标；利用一函式库获得相对应该相机一三维坐标，经一第二数学运算获得该二维坐标与该相机的该第二转换矩阵；利用解联立方程式获得该第二转换矩阵。
根据本发明的一特征，该标记点的复数个角点为该标记点的12个角点。
附图说明
图1为本发明的增强影像真实度的方法与使用该方法的可穿戴式眼镜的手术导引方法的系统架构。
图2为图1所示系统架构的坐标关系图。
具体实施方式
虽然本发明可表现为不同形式的实施例，但附图及下文中的说明仅为本发明的较佳实施例，并请了解本文所揭示的内容为本发明的一范例，且并非意图用以将本发明限制于图示及/或所描述的特定实施例中。
本发明所提出的影像增强真实度的方法，可应用在整形外科用增强真实性的电脑辅助眼镜(Augmented Reality Computer Assisted Glasses for Orthopaedic，ARCAGO)。本发明主要是解决有关于三维模型应用于手术中的记录方法，且其使用由CT术前影像所撷取的三维模型。我们将结合在手术使用增强真实性技术以及采用三维-三维姿态记录的基础影像方法。一旦记录该姿态，则该增强真实性将可视为一虚拟以及真实环境空间的混合，其同步重现患者的资讯。
由于人的眼睛从眼镜看出去的视觉焦距与实际物体相对眼睛的距离有误差值，因此本发明在于解决这个问题。第一个部分是相机抓一标记点位置，第二个部分是校正手术操作者眼睛30对于该标记点的位置误差值。
现请参考图1，其显示为本发明的增强影像真实度的方法与使用该方法的可穿戴式眼镜的手术导引方法的系统架构。图2所示为图1所示系统架构的坐标关系图。其中，相机10位于标记点20的附近，手术操作者眼睛30位于相机10附近，且位于标记点20的上方。由于手术操作者配戴一可穿戴式眼镜，所以在眼睛30与标记点20之间存在着可穿戴式眼镜的荧幕40。
该强影像真实度的方法，可获得眼睛对一标记点的正确位置，包括下列步骤：
步骤1：获得相机与一标记点的一第一转换矩阵Mmc；
步骤2：获得眼睛与该相机的一第二转换矩阵Mce；
步骤3：连结该第一转换矩阵与该第二转换矩阵以获得眼睛对该标记点的正确位置对应矩阵Mme；
步骤4：连结该正确位置对应矩阵与该标记点的位置特征，以获得眼睛对该标记点的正确位置。
需注意的是，其中相机与标记点的第一转换矩阵Mmc中其值是变动的，但可以由相机获得；眼睛与相机的第二转换矩阵Mce其值是固定的，但是其值未知，需经由该标记点的复数个角点来做校正以获得第二转换矩阵Mce的值。而该正确位置对应矩阵Mme其值是变动且未知的，便可通过将第一转换矩阵与乘上第二转换矩阵来获得。
现请同时参考图2。在步骤1中，获得第一转换矩阵Mmc是使用一第一函式库侦测该标记点的位置特征并经一第一数学运算获得。其中Xc，Yc，Zc为相机的坐标，如矩阵式(1)中所示；且Xm，Ym，Zm为该标记点的位置特征，亦即该标记点的坐标。
Figure GPA0000261786230000061
现请同时参考图2。在步骤2中，获得眼睛与该相机的一第二转换矩阵，包含下列步骤：
步骤21，戴上一眼镜，点选该标记点的复数个角点以获得眼镜的荧幕上的一二维坐标；
步骤22，利用一第二函式库获得相对应该相机一三维坐标，经一第二数学运算获得该二维坐标与该相机的第二转换矩阵Mce，如矩阵式(2)中所示；其中(ui，vi，wi)为荧幕上的二维坐标，其是根据该标记点的复数个角点而有不同的对应坐标值；且
Figure GPA0000261786230000072
为该相机的三维坐标，其是根据该标记点的复数个角点而有不同的对应坐标值。
Figure GPA0000261786230000071
步骤22，利用解联立方程式获得该第二转换矩阵。
其中，该标记点的复数个角点至少为8个以上的角点，较佳是12个角点。且该第一函式库与该第二函式库为C/C++语言编写的ArToolKit函式库或是Aurocco或ooopds等的函式库。
该可穿戴式眼镜的手术导引方法，其包括下列步骤：
步骤100，手术前，于患部一个以上的标记点先制作一断层影像；
步骤200，将该断层影像制作成一三维立体模拟影像；
步骤300，通过一增强影像真实度的方法，用于获得一手术操作者眼睛对患部的标记点的一正确位置，以调整该三维立体模拟影像与该标记点的误差；
其中步骤300，增强影像真实度的方法包括下列步骤：
步骤310，获得一相机与该标记点的一第一转换矩阵；
步骤320，获得眼睛与该相机的一第二转换矩阵；
步骤330，连结该第一转换矩阵与该第二转换矩阵以获得眼睛对该标记点的一正确位置对应矩阵；
步骤340，连结该正确位置对应矩阵与该标记点的位置特征，以获得眼睛对该标记点的该正确位置。
其中该断层影像可以包括电脑断层(CT)、磁共振影像(MRI)、X光、核医影像等影像，以重建出的3D非即时影像模型。
由于人的眼睛从眼镜看出去的视觉焦距与实际物体相对眼睛的距离有误差值，因此本发明在于解决这个问题。在手术前，手术操作者，亦即执刀医生，戴上眼镜(亦即是电脑辅助眼镜)后，先以复数个，通常是8个以上，较佳是12个侦测点，以测试手术操作者眼睛30取决自眼镜的焦距。经过计算后，将该视觉焦距的误差值回馈至电脑系统运算，所得的调整焦距数值将会据以调节步骤100与步骤200所得的三维立体模拟影像，并投影于该电脑辅助眼镜的荧幕40前，如此即可获得对位于患部的视觉的精准的3D模拟影像。
在步骤310中，获得该第一转换矩阵是使用一第一函式库侦测该标记点的位置特征并经一第一数学运算获得，如矩阵式(1)所示。
在步骤320中，获得眼睛与该相机的一第二转换矩阵，包含下列步骤：
步骤321，戴上一眼镜，点选该标记点的复数个角点以获得眼镜的荧幕上的二维坐标；
步骤322，利用一第二函式库获得相对应该相机一三维坐标，经一第二数学运算获得该二维坐标与该相机的该第二转换矩阵；如矩阵式(2)所示；
步骤322，利用解联立方程式获得该第二转换矩阵。
其中，该标记点的复数个角点至少为8个以上的角点，较佳是12个角点。且该第一函式库与该第二函式库为C/C++语言编写的ArToolKit函式库，或是Aurocco或ooopds等的函式库。
本发明通过所提出的增强影像真实度的方法，克服建立基础影像方法的问题。在临床实验中，使用一病患的三维模型，该ARCAGO用以说明所提出的基础影像记录方法，并用以寻找整型外科手术的切入点。实验结果显示，有两名外科医生层使用所提出的增强影像真实度系统于四次脊柱手术中，而比起使用C-arm引导针头至目标切入点的时间将可缩短70％。主要原因是影像将直接显适于眼镜上，而外科医生仅需要注视病患而不需要注意C-arm的荧幕。这些试验显示该系统可完美地在手术房运作并提供相当有用的资讯，特别是寻找切入点的脊柱外科手术。为了精确地进行评估，使用于20组切入点于模拟的假人上，并使用ARCAGO系统模拟腰椎穿刺流程于四次实验之中。在动态操作情况下，其平均误差距离为2.2±0.25毫米。
本发明通过所提出的可穿戴式眼镜的手术导引方法。在临床实验中，双眼立体校准精确度≤1.5mm；临床使用校准时间≤3分钟。标记点定位点精确度≤1mm；且定位的执行速度达30fps。三维立体模拟影像模型偏移稳定性≤1.5mm，且执行速度达30fps。
根据本发明的揭示，本发明具有下列减少手术时间、降低X光使用量辐射线少、辅助手术定位等优点。
虽然本发明已以前述较佳实施例揭示，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作各种更动与修改。如上述的解释，都可以作各形式的修正与变化，而不会破坏此发明的精神。因此本发明的保护范围当视后附权利要求范围的界定为准。

Claims (10)

1.增强影像真实度的方法，用于获得眼睛对一标记点的一正确位置，其特征在于，包括下列步骤︰
获得相机与一标记点的一第一转换矩阵；
获得眼睛与该相机的一第二转换矩阵；
连结该第一转换矩阵与该第二转换矩阵以获得眼睛对该标记点的一正确位置对应矩阵；
连结该正确位置对应矩阵与该标记点的位置特征，以获得眼睛对该标记点的该正确位置；
获得眼睛与相机的第二转换矩阵包含下列步骤：
戴上一眼镜，点选所述标记点的复数个角点以获得该眼镜的荧幕上的一二维坐标；
利用一第二函式库获得相对应该相机一三维坐标，经一第二数学运算获得该二维坐标与该相机的该第二转换矩阵；
利用解联立方程式获得该第二转换矩阵。
2.根据权利要求1所述的增强影像真实度的方法，其特征在于，获得所述第一转换矩阵使用一第一函式库侦测所述标记点的位置特征并经一第一数学运算获得。
3.根据权利要求1所述的增强影像真实度的方法，其特征在于，所述正确位置对应矩阵其值是变动且未知的，通过将所述第一转换矩阵与乘以所述第二转换矩阵来获得。
4.根据权利要求3所述的增强影像真实度的方法，其特征在于，所述标记点的复数个角点至少为8个角点。
5.根据权利要求3所述的增强影像真实度的方法，其特征在于，所述标记点的复数个角点为12个角点。
6.可穿戴式眼镜的影像真实度的增强方法，其特征在于，包括下列步骤：
手术前，于患部一个以上的标记点先制作一断层影像；
将该断层影像制作成一三维立体模拟影像；
通过一增强影像真实度的方法，用于获得一手术操作者眼睛对该患部的标记点的一正确位置，以调整该三维立体模拟影像与该标记点的误差；
其中增强影像真实度的方法包括下列步骤︰
获得一相机与该标记点的一第一转换矩阵；
获得该手术操作者眼睛与该相机的一第二转换矩阵；
连结该第一转换矩阵与该第二转换矩阵以获得该眼睛对该标记点的一正确位置对应矩阵；
连结该正确位置对应矩阵与该标记点的位置特征，以获得该眼睛对该标记点的该正确位置；
获得眼睛与相机的一第二转换矩阵，包含下列步骤：
戴上一眼镜，点选该标记点的复数个角点以获得该眼镜的荧幕上的一二维坐标；
利用一第二函式库获得相对应该相机一三维坐标，经一第二数学运算获得该二维坐标与该相机的该第二转换矩阵；
利用解联立方程式获得该第二转换矩阵。
7.根据权利要求6所述的可穿戴式眼镜的影像真实度的增强方法，其特征在于，获得所述第一转换矩阵使用一第一函式库侦测所述标记点的位置特征并经一第一数学运算获得。
8.根据权利要求6所述的可穿戴式眼镜的影像真实度的增强方法，其特征在于，所述正确位置对应矩阵其值是变动且未知的，通过将所述第一转换矩阵与乘以所述第二转换矩阵来获得。
9.根据权利要求8所述的可穿戴式眼镜的影像真实度的增强方法，其特征在于，所述标记点的复数个角点至少为8个角点。
10.根据权利要求8所述的可穿戴式眼镜的影像真实度的增强方法，其特征在于，所述标记点的复数个角点为12个角点。
CN201680087350.3A 2016-07-11 2016-07-11 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引 Active CN109416841B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/000374 WO2018010040A1 (zh) 2016-07-11 2016-07-11 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引

Publications (2)

Publication Number Publication Date
CN109416841A CN109416841A (zh) 2019-03-01
CN109416841B true CN109416841B (zh) 2023-03-31

Family

ID=60952235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680087350.3A Active CN109416841B (zh) 2016-07-11 2016-07-11 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引

Country Status (5)

Country Link
US (1) US10603133B2 (zh)
EP (1) EP3525173A4 (zh)
CN (1) CN109416841B (zh)
TW (1) TWI615126B (zh)
WO (1) WO2018010040A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US10383692B1 (en) 2018-04-13 2019-08-20 Taiwan Main Orthopaedic Biotechnology Co., Ltd. Surgical instrument guidance system
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
TWI678679B (zh) * 2018-07-09 2019-12-01 財團法人資訊工業策進會 空間座標轉換伺服器以及方法
CN109223121A (zh) * 2018-07-31 2019-01-18 广州狄卡视觉科技有限公司 基于医学影像模型重建、定位的脑出血穿刺手术导航系统
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
CN109767645A (zh) * 2019-02-01 2019-05-17 谷东科技有限公司 一种基于ar眼镜的停车规划辅助方法及系统
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
TWI741536B (zh) * 2020-03-20 2021-10-01 台灣骨王生技股份有限公司 基於混合實境的手術導航影像成像方法
TWI727725B (zh) * 2020-03-27 2021-05-11 台灣骨王生技股份有限公司 手術導航系統及其成像方法
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
CN113349928B (zh) * 2021-05-20 2023-01-24 清华大学 用于柔性器械的增强现实手术导航装置
TWI786666B (zh) * 2021-06-07 2022-12-11 國立臺灣大學 穿刺引導系統及方法
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
TWI778922B (zh) * 2022-02-21 2022-09-21 國立勤益科技大學 鼻腔量測系統
CN117124334B (zh) * 2023-10-23 2024-01-23 湖南视比特机器人有限公司 机器人漂移校正方法、机器人、存储介质和终端设备
CN117918955A (zh) * 2024-03-21 2024-04-26 北京诺亦腾科技有限公司 一种增强现实外科导航装置、方法、系统设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1957373A (zh) * 2004-03-12 2007-05-02 布拉科成像S.P.A.公司 基于视频的扩增实境增强型外科手术导航系统的精度评估
JP2014170374A (ja) * 2013-03-04 2014-09-18 Kddi Corp 光学式シースルー型ｈｍｄを用いたａｒシステム
CN106029000A (zh) * 2014-02-21 2016-10-12 阿克伦大学 用于引导医疗干预的成像和显示系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
US8648897B2 (en) * 2006-10-10 2014-02-11 Exelis, Inc. System and method for dynamically enhancing depth perception in head borne video systems
US8130261B2 (en) 2006-10-10 2012-03-06 Exelis, Inc. System and method for dynamically correcting parallax in head borne video systems
CN101797182A (zh) * 2010-05-20 2010-08-11 北京理工大学 一种基于增强现实技术的鼻内镜微创手术导航系统
US8957948B2 (en) * 2010-08-24 2015-02-17 Siemens Corporation Geometric calibration of head-worn multi-camera eye tracking system
US9111351B2 (en) * 2011-12-15 2015-08-18 Sony Corporation Minimizing drift using depth camera images
JP6449236B2 (ja) * 2013-03-25 2019-01-09 インテル コーポレイション 多射出瞳頭部装着型ディスプレイのための方法および装置
US9264702B2 (en) * 2013-08-19 2016-02-16 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display
JP6368142B2 (ja) * 2014-05-14 2018-08-01 キヤノン株式会社 情報処理装置、情報処理方法
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
CN105395252A (zh) * 2015-12-10 2016-03-16 哈尔滨工业大学 具有人机交互的可穿戴式血管介入手术三维立体图像导航装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1957373A (zh) * 2004-03-12 2007-05-02 布拉科成像S.P.A.公司 基于视频的扩增实境增强型外科手术导航系统的精度评估
JP2014170374A (ja) * 2013-03-04 2014-09-18 Kddi Corp 光学式シースルー型ｈｍｄを用いたａｒシステム
CN106029000A (zh) * 2014-02-21 2016-10-12 阿克伦大学 用于引导医疗干预的成像和显示系统

Also Published As

Publication number Publication date
EP3525173A4 (en) 2020-07-08
WO2018010040A1 (zh) 2018-01-18
US20190216572A1 (en) 2019-07-18
TW201801682A (zh) 2018-01-16
CN109416841A (zh) 2019-03-01
EP3525173A1 (en) 2019-08-14
TWI615126B (zh) 2018-02-21
US10603133B2 (en) 2020-03-31

Similar Documents

Publication Publication Date Title
CN109416841B (zh) 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引
Ma et al. Augmented reality surgical navigation with ultrasound-assisted registration for pedicle screw placement: a pilot study
JP5328137B2 (ja) 用具又は埋植物の表現を表示するユーザ・インタフェイス・システム
Marmulla et al. Laser-scan-based navigation in cranio-maxillofacial surgery
US9320569B2 (en) Systems and methods for implant distance measurement
Eggers et al. Image-to-patient registration techniques in head surgery
US8682413B2 (en) Systems and methods for automated tracker-driven image selection
US7885441B2 (en) Systems and methods for implant virtual review
Zamorano et al. Interactive intraoperative localization using an infrared-based system
JP4822634B2 (ja) 対象物の案内のための座標変換を求める方法
US8320992B2 (en) Method and system for superimposing three dimensional medical information on a three dimensional image
US20080154120A1 (en) Systems and methods for intraoperative measurements on navigated placements of implants
JP2007508913A (ja) 術中ターゲティングのシステムおよび方法
Caversaccio et al. Computer assistance for intraoperative navigation in ENT surgery
KR102105974B1 (ko) 의료 영상 시스템
JP2009078144A (ja) 副鼻洞形成術ナビゲーションのためのフルオロスコープと計算機式断層写真法との位置揃えのシステム及び利用方法
WO2017011892A1 (en) System and method for mapping navigation space to patient space in a medical procedure
JP2008126075A (ja) Ｃｔレジストレーション及びフィードバックの視覚的検証のためのシステム及び方法
US20210196404A1 (en) Implementation method for operating a surgical instrument using smart surgical glasses
Daly et al. Fusion of intraoperative cone-beam CT and endoscopic video for image-guided procedures
Tebo et al. An optical 3D digitizer for frameless stereotactic surgery
Mirota et al. High-accuracy 3D image-based registration of endoscopic video to C-arm cone-beam CT for image-guided skull base surgery
US11406346B2 (en) Surgical position calibration method
Uddin et al. Three-dimensional computer-aided endoscopic sinus surgery
Linte et al. Image-guided procedures: tools, techniques, and clinical applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant