CN106794044B - 术中追踪方法 - Google Patents

术中追踪方法 Download PDF

Info

Publication number
CN106794044B
CN106794044B CN201680002970.2A CN201680002970A CN106794044B CN 106794044 B CN106794044 B CN 106794044B CN 201680002970 A CN201680002970 A CN 201680002970A CN 106794044 B CN106794044 B CN 106794044B
Authority
CN
China
Prior art keywords
threedimensional model
sufferer
coordinate system
bidimensional image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680002970.2A
Other languages
English (en)
Other versions
CN106794044A (zh
Inventor
陈阶晓
王冠茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Titanium Falcon bio Polytron Technologies Inc
Original Assignee
Titanium Falcon Bio Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Titanium Falcon Bio Polytron Technologies Inc filed Critical Titanium Falcon Bio Polytron Technologies Inc
Publication of CN106794044A publication Critical patent/CN106794044A/zh
Application granted granted Critical
Publication of CN106794044B publication Critical patent/CN106794044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Prostheses (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Electrotherapy Devices (AREA)

Abstract

一种基于一预先规划的手术路径判定一病患的一实际手术路径的例示方法可包含：提取与一第一时间点搜集的信息有关的该病患的一第一二维影像(301)(方框210)。一第一坐标系统(380’)说明该病患与手术房中一装置之间的一空间关系。该方法进一步包含：以一第一修改参数值组修改包含该预先规划的手术路径的该病患的一三维模型(302)。一第二坐标系统(380)说明该三维模型(302)，其由比该第一时间点更早的一第二时间点搜集的信息建构而成(方框220)。该方法进一步包含：自该经修改的三维模型(302’)提取一第二二维影像(303)(方框260)；计算该第一二维影像(301)与该第二二维影像(303)之间的一第一相关性(方框270)；以及基于该第一修改参数值组将该预先规划的手术路径转换至该第一坐标系统(380’)，从而标识该实际手术路径(方框290)。

Description

术中追踪方法
相关申请
本申请主张2015年6月5日提交的、发明名称为“脑部导航方法”的第62/171,245号美国临时申请的优先权。在此参照并入上述临时申请以及任何相关附件。
技术领域
本发明与术中追踪方法有关，特别是关于判定手术路径的方法。
背景技术
脑瘤、帕金森症、癫痫等常见脑部疾病不只大幅降低病患的生活质量，有时还会直接危及病患生命。此类病患在经过药物或物理治疗等保守性治疗后，若无法改善症状，通常会以侵入性手术来进行治疗。
一般而言，外科医生会基于特定术前数据来规划到达目标手术部位的手术路径。然而，由于术前数据搜集之后的变动因素，可能需要修改预先规划的手术路径。这些变动因素包含病患在手术台上的位置改变、病患生理状况改变或手术器具本身的插入。偏离术前规划路径经常导致并发症或死亡率提高。
发明内容
本发明的一具体实施例公开了一种基于一预先规划的手术路径判定一病患的一实际手术路径的方法。该方法包含：提取与一第一时间点搜集的信息有关的该病患的一第一二维影像；以一第一修改参数值组修改包含该预先规划的手术路径的该病患的一三维模型；从该经修改的三维模型提取一第二二维影像；以及计算该第一二维影像与该第二二维影像之间的一第一相关性。一第一坐标系统可说明该病患与手术房中一装置之间的一空间关系。一第二坐标系统可说明该三维模型，该三维模型可由比该第一时间点更早的一第二时间点搜集的信息建构而成。当该第一相关性超过一阈值时，该方法进一步包含：基于该第一修改参数值组将该第二坐标系统中的该预先规划的手术路径转换至该第一坐标系统，从而标识该实际手术路径。
本发明的另一具体实施例公开了一种非瞬时计算机可读取存储介质。该非瞬时计算机可读取存储介质可包含一组可执行指令。当该组可执行指令由一或多个手术系统中的一个手术系统的一处理器执行时，该处理器用以：提取与一第一时间点搜集的信息有关的该病患的一第一二维影像；以一第一修改参数值组修改包含该预先规划的手术路径的该病患的一三维模型；自该经修改的三维模型提取一第二二维影像；以及计算该第一二维影像与该第二二维影像之间的一第一相关性。一第一坐标系统可说明该病患与手术房中一装置之间的一空间关系。一第二坐标系统可说明该三维模型，该三维模型可由比该第一时间点更早的一第二时间点搜集的信息建构而成。当该第一相关性超过一阈值时，该处理器用以基于该第一修改参数值组将该第二坐标系统中的该预先规划的手术路径转换至该第一坐标系统，从而标识该实际手术路径。
本发明的其他具体实施例公开了一种用以基于一预先规划的手术路径判定一病患的一实际手术路径的手术系统。该手术系统可包含一存储系统、一机械手臂、一影像搜集装置以及一处理器。该处理器可用以：自该存储系统中提取与该影像搜集装置在一第一时间点搜集的信息有关的该病患的一第一二维影像；以一第一修改参数值组修改包含该预先规划的手术路径的该病患的一三维模型；自该存储系统中该经修改的三维模型提取一第二二维影像；以及计算该第一二维影像与该第二二维影像之间的一第一相关性。一第一坐标系统可说明该病患与该机械手臂之间的一空间关系。一第二坐标系统可说明该三维模型，其由比该第一时间点更早的一第二时间点搜集的信息建构而成。当该第一相关性超过一阈值时，该处理器用以：基于该第一修改参数值组将该第二坐标系统中的该预先规划的手术路径转换至该第一坐标系统，从而标识该实际手术路径；以及基于该实际手术路径指示该机械手臂进行手术。
上述发明内容仅作为说明之用而非用以限制本发明。除前述各方面、具体实施例与特征，本发明其他方面、具体实施例与特征依据以下详细说明以及参照附随的图式将更趋于明了。
附图说明
图1A为显示手术期间可能碰到的几个点之间的空间关系的例示图。
图1B为显示一种手术导引定位系统的配置的例示方块图。
图2为说明一种判定一手术路径的例示方法的流程图。
图3A显示与一第一时间点搜集的信息有关的一例示二维影像。
图3B显示基于一第二时间点搜集的数据建构的一例示三维模型。
图3C显示以一第一修改参数值组修改的经修改的三维模型的例示投影。
图3D显示以一第二修改参数值组修改的经修改的三维模型的例示投影。
图3E显示经边缘检测处理的一例示影像。
图3F显示经边缘检测处理的另一例示影像。
图4为说明用以实施一种判定一实际手术路径的方法的计算机程序产品的方块图，都根据本发明一些具体实施例配置。
具体实施方式
以下将参照说明书附图予以详细说明。除非文中另有说明，否则图中类似符号通常代表类似组件。以下描述的具体实施例、图与权利要求作为说明之用而非限制本发明。在不脱离本发明的精神和范围内，当可使用其他具体实施例并进行其他更动。应了解，此处概述及图示说明的本发明各方面可配置、替换、组合与设计成各种不同型态，这些型态仍属本发明所保护的技术范畴。
本发明是特别针对基于在两个不同空间与两个不同时间点搜集的两组影像判定术中手术路径的相关方法、装置与系统。在本说明书中，“投影”通常是指把三维的点映射至一二维平面的方法。“手术路径”可指包含一手术进入点、一目标手术部位以及前述两者之间一条路线的路径。在本说明书中，“手术操作”与“手术”可互换使用。
图1A为显示手术期间可能碰到的几个点之间的空间关系的例示图，根据本发明一些具体实施例配置。在一三维影像120中，一手术路径130包含一手术进入点140以及一目标手术部位150。
图1B为显示一种手术导引定位系统100的配置的例示方块图，根据本发明一些具体实施例配置。手术导引定位系统100主要包含一术前信息搜集装置102、一术中信息搜集装置104、一运算装置106以及包含一机械手臂116的一手术器具108。这些方块仅为例示，在不影响所公开具体实施例要点的前提下，其中一些方块可视需要而选择、合并成较少的方块或扩增为额外的方块。
术前信息搜集装置102用以在手术操作开始前搜集待手术部位(例如，脑部特定部位)的整体信息。在一些具体实施例中，可透过计算机断层扫描(Computed Tomography，CT)、核磁共振成像(Magnetic resonance imaging，MRI)、表面扫描、X光(X-ray)扫描、超音波扫描等方式取得该整体信息。基于这些装置的尺寸考虑以及医院管理的观点，术前信息搜集装置通常放在实际进行手术操作的手术房以外的空间。利用此待手术部位的整体信息(例如，脑部的颅内解剖结构(Intracranial Anatomy)、目标或病变的位置(LesionLocation)、表面位置的目标或是表面解剖结构(Surface Anatomy))，外科医生可在手术操作开始前规划一手术路径。
术中信息搜集装置104用以在紧临手术房中进行外科切开术前，搜集病患手术部位周围的表面解剖信息。术中信息搜集装置104的示例可包含但不限于相机、红外线相机、X光模块、超音波扫描仪及其他装置。当病患在手术房的手术台上时，术中信息搜集装置104可搜集病患的表面解剖信息。
运算装置106可用以(1)处理术前信息搜集装置102所搜集的信息；(2)处理术中信息搜集装置104所搜集的信息；及/或(3)基于经处理的信息判定一手术路径。更多细节在下列段落提供。
手术器具108可包含用以进行手术的一机械手臂116。手术器具108用以从运算装置106接收与经判定的手术路径有关的信息。所接收的信息可包含机械手臂116可识别的一些坐标数据与向量。换句话说，机械手臂116可根据坐标数据与向量进行手术。
图2为说明本发明一些具体实施例的一种判定一手术路径的例示方法200的流程图。方法200可包含可以以硬件、软件及/或固件执行的一或多个操作、功能或动作，如图中绘示的步骤210、220、230、240、250、260、270、280及/或290。这些步骤并非用以限制所描述的具体实施例。列出的步骤与操作仅为例示，在不影响所公开具体实施例要点的前提下，其中一些步骤与操作可视需要而选择、合并成较少的步骤与操作或扩增为额外的步骤与操作。尽管图中步骤是依序说明，这些步骤也可并行执行及/或以不同于图中顺序的次序执行。
方法200的进行可始自步骤210：“提取与一第一时间点搜集的信息有关的第一二维影像”。在一些具体实施例中，所搜集的信息可对应该病患的表面解剖信息，而该第一时间点可对应紧邻外科切开术进行前的时间。例示第一时间点可包含但不限于手术当日早晨、病患在手术房中手术台上时，以及前述两者间的任何时间点。此外，第一二维影像可为相机(如红外线相机)拍摄的照片。例如，脑部手术过程中，相机可用以在紧临手术房中病患头部进行外科切开术之前，拍摄一张病患头部的照片。相机可固定在手术房中一固定装置(如机械手臂)，使相机与病患在手术房中维持固定不变的关系。在一些具体实施例中，相机可以在机械手臂移动时从不同位置拍摄照片。每一位置可对应一特定照片。在一些具体实施例中，一第一坐标系统可用于界定病患的表面解剖部位(如鼻子、眼睛、其他脸部特征)与手术房中机械手臂之间的空间关系。
在步骤210之后为步骤220：“基于一第二时间点搜集的信息建构三维模型”。进行手术操作前，可使用一些医疗影像技术拍摄病患症状的相片，从而拟订手术计划。假定手术部位是病患脑部。外科医生可指示对脑部进行医疗影像扫描(如CT或MRI)。此种医疗影像扫描可在手术前三到五天进行。可利用一些已知的方法基于前述医疗扫描数据建构一三维模型。一第二坐标系统可用于界定预先规划的手术路径与病患特定解剖部位之间的空间关系。
在步骤220之后为步骤230：“选择三维模型的修改参数值(n)”。步骤220中所建构的三维模型可以利用一些修改参数值修改。例示修改参数可包含但不限于一缩放比例、一旋转度数以及一平移向量。这些修改参数可用于修改三维模型，从而在紧临手术进行前更适当地反映病人情况。为找到最佳修改参数值组，在一些具体实施例中，可获得N组修改参数值组。在此，n可为介于1与N之间的整数。不过，本发明所属领域技术人员明白，运用任何其他技术上可行的方法执行迭代并未超出本发明范围。
在一示例中，所建构的三维模型可以利用一笛卡儿坐标系统表示。缩放比例是指笛卡儿坐标系统中每一轴线性尺寸的比例常数。同样地，旋转度数可指绕着笛卡儿坐标系统中一特定轴的旋转角度。平移向量可指笛卡儿坐标系统中一移动向量。
在步骤230后为步骤240：“n＝N？”。若n不等于N，则步骤240之后接以步骤250，其中n以1递增。另一方面，若n等于N，则步骤240之后接以步骤280：“选择所得相关性超过阈值的最佳修改参数值组”，因为已经完成所有使用N组修改参数值组的相关性运算。若使用N组修改参数值组所得的相关性运算结果皆未超过阈值，方法200可重设n，并回到步骤230选择三维模型中先前迭代未曾选过的一组新的修改参数值组(n)。
在步骤260，一第二二维影像可以是以所选择的修改参数值组(n)修改的三维模型的投影。换句话说，第二二维影像可对应一特定修改参数值组。可用任何技术上可行的方法进行投影，例如平行投影、正投影、透视投影等。在步骤260提取的第二二维影像可与在步骤210提取的第一二维影像作比较，接着方法进行至步骤270：“计算并存储相关性”。
在步骤270，在一些具体实施例中，计算并存储第一二维影像的一第一感兴趣区域与第二二维影像的一第二感兴趣区域之间的相关性。可根据第一二维影像与第二二维影像的轮廓特征分别选择第一感兴趣区域与第二感兴趣区域。可基于历史数据或外科医师的经验进行选择。可利用一些已知的方法计算相关性。例如，可以下列方程式1计算相关性corr：
其中：
N是第一感兴趣区域中点的数量；
P1为包含第二二维影像数据的索引数组；
P2为包含第一二维影像数据的索引数组；
k1为包含P1的待计算相关性的区域中连续像素的连续i个值的索引数组；而
k2为包含P2的待计算相关性的区域中连续像素的连续i个值的索引数组。
由于有不同修改参数值组，在步骤270中计算并存储不同的对应相关性。
在一些具体实施例中，对第一二维影像与第二二维影像进行边缘检测。对于第一二维影像与第二二维影像经边缘检测后产生的影像，可计算两者之间的相关性。例示边缘检测方法可包含但不限于Canny边缘检测法、一阶边缘检测法以及二阶边缘检测法。
在将步骤230、240、250、260及270迭代N次之后，以N组修改参数值组修改三维模型。由于有N个经修改的三维模型，则接着提取N个第二二维影像并将之用于上述相关性运算。方法200接着可进行步骤280：“选择所得相关性超过阈值的最佳修改参数值组”。为判定第一二维影像与第二二维影像是否显著相关，设定一阈值。可基于一些历史数据(如从动物试验或其他病患搜集到的数据)决定阈值。或者，可基于外科医师的经验决定阈值。任何所存储、超过阈值的相关性表示第一感兴趣区域与第二感兴趣区域的确对应于病患的相同解剖部位。在一具体实施例中，在所存储、超过阈值的相关性中，将所得相关性最大的修改参数值组选为最佳修改参数值组。
在步骤280之后为步骤290：“转换坐标”，基于所选的最佳修改参数值组将第二坐标系统的坐标转换至第一坐标系统。因此，第二坐标系统中的预先规划的手术路径可转换至第一坐标系统，该第一坐标系统用来表示实际进行手术操作的手术房。基于第一坐标系统中经转换的坐标与向量，一机械手臂可用以将病患相关的变动因素纳入考虑而进行手术操作。
图3A显示与一第一时间点(例如，紧临对手术房中的病患进行外科切开术之前，通常是在进行外科切开术前24小时内)搜集的信息有关的一例示二维影像301，根据本发明一些具体实施例配置。二维影像301可由红外线相机拍摄。二维影像可包含病患的一些表面解剖部位，例如右眼311、脸颊曲线312、鼻子313以及嘴巴314。可选择二维影像301的一第一感兴趣区域315与另一二维影像的一第二感兴趣区域作比较，以下将详加说明。第一感兴趣区域315可涵盖一些表面解剖部位，如右眼311、脸颊曲线312、鼻子313以及嘴巴314。可用一第一坐标系统380’说明手术房中装置(例如机械手臂)与病患的表面解剖部位之间的空间关系。
图3B显示基于一第二时间点(例如，手术操作日期之前，通常是手术操作前3天内)搜集的数据建构的一例示三维模型302，根据本发明一些具体实施例配置。三维模型302包含表面解剖部位，例如右眼321、脸颊曲线322、鼻子323以及嘴巴324。根据医疗扫描影像302’，可在三维模型302上规划一手术路径360。手术路径360可始于一手术进入点361而终于一目标手术部位362。如先前参照图1A所述，手术进入点361可在病患的颅骨上而目标手术部位362可为病患脑部肿瘤。
在一些具体实施例中，一笛卡儿第二坐标系统380可用于说明手术路径360与右眼321、脸颊曲线322、鼻子323以及嘴巴324之间的空间关系。例如，在第二坐标系统380中，手术进入点361的坐标可为(1，2，3)，目标手术部位362的坐标可为(2，3，4)，而手术进入点361与目标手术部位362之间一向量为(1，1，1)。同样地，在第二坐标系统380中，右眼321的坐标可为(4，5，6)，脸颊曲线322的坐标可为(2，9，11)，鼻子323的坐标可为(7，8，9)，而嘴巴324的坐标可为(3，7，5)。
可以利用一修改参数值组修改三维模型302，从而产生一经修改的三维模型302’。例如，一第一例示修改参数值组可包含但不限于缩放比例为100％，α为45度，β为0度，而γ为0度，其中α代表绕着第二坐标系统380中z-轴的旋转角度，β代表绕着第二坐标系统380中y-轴的旋转角度，而γ代表绕着第二坐标系统380中x-轴的旋转角度。可从经修改的三维模型302’提取一第二二维影像。在一些具体实施例中，第二二维影像为三维模型302’的投影。
图3C显示以第一例示修改参数值组修改的经修改的三维模型302’的例示投影303，根据本发明一些具体实施例配置。图3C可包含病患的表面解剖部位，例如右眼331、脸颊曲线332、鼻子333以及嘴巴334。一并参照图3A，可选择一第二感兴趣区域335，从而计算第一感兴趣区域315与第二感兴趣区域335之间的一第一相关性。
获得第一相关性之后，可使用一第二例示修改参数值组修改三维模型，从而产生另一经修改的三维模型302’。第二例示修改参数值组可包含但不限于缩放比例为100％，α为20度，β为0度，而γ为0度。同样地，可提取经修改的三维模型302’的例示投影。图3D显示以第二例示修改参数值组修改的经修改的三维模型302’的例示投影304，根据本发明一些具体实施例配置。图3D可包含病患的表面解剖部位，例如右眼341、脸颊曲线342、鼻子343以及嘴巴344。一并参照图3A，可选择一第二感兴趣区域345，从而计算第一感兴趣区域315与第二感兴趣区域345之间的一第二相关性。
在一些具体实施例中，在计算第一与第二相关性之前，先处理二维影像301、303及304。例如，可应用一边缘检测方法处理二维影像301、303及304。图3E显示影像301经边缘检测处理后产生的一例示影像305，根据本发明一些具体实施例配置。图3F显示与α为-45度的修改参数值有关、经边缘检测处理后产生的另一例示影像，根据本发明一些具体实施例配置。
假定仅获得两组修改参数值组(即缩放比例为100％，α为45度，β为0度，而γ为0度；以及缩放比例为100％，α为20度，13为0度，而γ为0度)来修改三维模型302，将第一相关性与第二相关性与一阈值作比较，从而判定哪个为最佳修改参数值组。以最佳修改参数值组将第二坐标系统380中的坐标转换至第一坐标系统380’。
在一些具体实施例中，假定修改参数与一缩放比例有关，从第二坐标系统380转换至第一坐标系统380’可包含将该缩放比例乘以第二坐标系统380的坐标。因此，预先规划的手术路径在第一坐标系统380’中的向量与在第二坐标系统380中相同。不过，与第二坐标系统380中预先规划的手术路径的距离相比，第一坐标系统380’中实际手术路径的距离根据该缩放比例缩尺绘制。
在一些其他具体实施例中，假定修改参数与一旋转角度有关。因此，预先规划的手术路径在第一坐标系统380’的向量改变，与在第二坐标系统380的向量不同。从第二坐标系统380转换至第一坐标系统380’可包含一矩阵运算。该矩阵可为第一坐标系统380’与第二坐标系统380之间的一转换矩阵。一例示转换矩阵可为：
其中α代表绕着第二坐标系统380中z-轴的旋转角度；
β代表绕着第二坐标系统380中y-轴的旋转角度；
γ代表绕着第二坐标系统380中x-轴的旋转角度；
xoffset代表沿着第二坐标系统380中x-轴的位移；
yoffset代表沿着第二坐标系统380中y-轴的位移；
zoffset代表沿着第二坐标系统380中z-轴的位移；
可藉由下列运算完成坐标转换：
其中x’、y’、z’为第一坐标系统380’中经转换的坐标，而x、y、z为第二坐标系统380中的坐标。
假定第二修改参数值组(即缩放比例为100％，α为20度，β为0度，而γ为0度)超过阈值而第一修改参数值组(即缩放比例为100％，α为45度，β为0度，而γ为0度)未超过阈值，则可将第二修改参数值组选为最佳修改参数值组而转换矩阵可为：
根据上述方程式(3)及转换矩阵，在第一坐标系统380’中，手术进入点371的坐标可为(1.62373，1.53737，3)，目标手术部位372的坐标可为(2.90545，2.13504，4)，而手术进入点371与目标手术部位372之间的向量为(1.28172，0.59767，1)。前述坐标与向量可传送至手术房中的机械手臂，使外科医师可使用机械手臂进行手术。
图4为说明本发明一具体实施例的用以实施一种判定一实际手术路径的方法的计算机程序产品400的方块图。计算机程序产品400可包含一信号承载介质402。信号承载介质402可包含一或多组存储在其上的可执行指令404，当这些可执行指令由例如图1的运算装置106执行时，可提供上述特征与操作。
在一些实施方式中，信号承载介质402可包含一非瞬时计算机可读取介质408，例如但不限于硬盘、光盘(CD)、数字光盘(DVD)、数字磁带、内存等。在一些实施方式中，信号承载介质402可包含一可记录介质410，例如但不限于内存、读/写(R/W)CDs、R/W DVDs等。在一些实施方式中，信号承载介质402可包含一通信介质406，例如但不限于数字及/或模拟通信介质(如光纤电缆、波导、有线通信线路、无线通信线路等)。
上文已通过方块图、流程图及/或示例详细说明了装置及/或程序的各具体实施例。在这些方块图、流程图及/或示例范围内包含一或多个功能及/或操作，本发明所属领域技术人员明白这些方块图、流程图或示例范围内的每一功能及/或操作可由种类甚多的硬件、软件、固件或其任何组合个别及/或共同地执行。在一些具体实施例中，本发明目标的几个部份可通过专用集成电路(ASICs)、现场可编程逻辑门阵列(FPGAs)、数字信号处理器(DSPs)或其他集成格式实施。然而，本发明所属领域的技术人员了解，本说明书揭示的具体实施例某些方面的全部或部份同样可在集成电路执行，如一或多个计算机程序在一或多个计算机上执行(例如一或多个程序在一或多个计算机系统上执行)、如一或多个程序在一或多个处理器上执行(例如一或多个程序在一或多个微处理器上执行)、如固件或如其任何组合，而依本发明公开内容来设计电路及/或为软件及/或固件写程序代码属发明所属领域技艺。此外，本发明所属领域的技术人员明白，本发明目标的机制能作为不同形式的程序产品而分发，不管实际执行分发的特定类型信号承载介质是什么，本发明目标的例示具体实施例均适用。信号承载介质的示例包含但不限于下列项目：磁盘、硬盘、光盘(CD)、数字光盘(DVD)、数字磁带、计算机内存等可记录型介质；以及传输型介质，例如数字及/或模拟通信介质(例如光纤电缆、波导、有线通信线路、无线通信线路等)。
应明白本发明各具体实施例是作为说明之用，在不脱离本发明范围与精神下可进行各种改变。因此，本说明书所描述的各具体实施例并非用以限制本发明，本发明的真实范围与精神揭示于以下权利要求中。

Claims (13)

1.一种包含一组可执行指令的非瞬时计算机可读取存储介质，当该组可执行指令由一或多个手术系统中的一个手术系统的一处理器执行时，使该处理器基于一预先规划的手术路径执行一种判定一病患的一实际手术路径的方法，该方法包含：
提取与一第一时间点搜集的信息有关的该病患的一第一二维影像，其中以一第一坐标系统说明该病患与手术房中一装置之间的一空间关系；
以一第一修改参数值组修改包含该预先规划的手术路径的该病患的一三维模型，其中该三维模型是由比该第一时间点更早的一第二时间点搜集的信息建构而成并以一第二坐标系统说明；
自该经修改的三维模型提取一第二二维影像；
计算该第一二维影像与该第二二维影像之间的一第一相关性；以及
当该第一相关性超过一阈值时，基于该第一修改参数值组将该第二坐标系统中的该预先规划的手术路径转换至该第一坐标系统，从而标识该实际手术路径。
2.如权利要求1所述的非瞬时计算机可读取存储介质，其中修改该三维模型包含：基于该修改参数值组缩放该三维模型、旋转该三维模型或移动该三维模型。
3.如权利要求1所述的非瞬时计算机可读取存储介质，其中该第二二维影像为该经修改的三维模型的投影。
4.如权利要求1所述的非瞬时计算机可读取存储介质，其中在该第一时间点，该病患是在手术房中一手术台上，而在该第二时间点，该病患是接受一医疗影像扫描。
5.如权利要求1所述的非瞬时计算机可读取存储介质，当该第一相关性未超过该阈值时，该方法进一步包含：
以一第二修改参数值组修改包含该预先规划的手术路径的该病患的该三维模型；
自以该第二修改参数值组修改的该三维模型提取一第三二维影像；
计算该第一二维影像与该第三二维影像之间的一第二相关性；以及
当该第二相关性超过一阈值时，基于该第二修改参数值组将该第二坐标系统中的该预先规划的手术路径转换至该第一坐标系统，从而标识该实际手术路径。
6.如权利要求1所述的非瞬时计算机可读取存储介质，该方法进一步包含：对该第一二维影像与该第二二维影像进行边缘检测。
7.如权利要求6所述的非瞬时计算机可读取存储介质，其中该边缘检测是在计算该相关性之前进行。
8.一种用以基于一预先规划的手术路径判定一病患的一实际手术路径的手术系统，其包含：
一存储系统；
一机械手臂；
一影像搜集装置；以及
一处理器，其中该处理器用以：
自该存储系统中提取与该影像搜集装置在一第一时间点搜集的信息有关的该病患的一第一二维影像，其中以一第一坐标系统说明该病患与该机械手臂之间的一空间关系；
以一第一修改参数值组修改包含该预先规划的手术路径的该病患的一三维模型，其中该三维模型是由比该第一时间点更早的一第二时间点搜集的信息建构而成并以一第二坐标系统说明；
自该存储系统中该经修改的三维模型提取一第二二维影像；
计算该第一二维影像与该第二二维影像之间的一第一相关性；
当该第一相关性超过一阈值时，基于该第一修改参数值组将该第二坐标系统中的该预先规划的手术路径转换至该第一坐标系统，从而标识该实际手术路径；以及
基于该实际手术路径指示该机械手臂进行手术。
9.如权利要求8所述的系统，其中以一缩放参数、一旋转度数及/或一平移向量修改该三维模型。
10.如权利要求8所述的系统，其中该影像搜集装置固定在该机械手臂上。
11.如权利要求8所述的系统，其中该影像搜集装置用以在该机械手臂移动时拍摄复数个影像。
12.如权利要求8所述的系统，其中在该第一时间点，该病患在手术房中一手术台上，而在该第二时间点，该病患接受一医疗影像扫描。
13.如权利要求8所述的系统，其中该处理器进一步用以对该第一二维影像与该第二二维影像进行一边缘检测运算。
CN201680002970.2A 2015-06-05 2016-06-03 术中追踪方法 Active CN106794044B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562171245P 2015-06-05 2015-06-05
US62/171,245 2015-06-05
PCT/CN2016/084732 WO2016192671A1 (en) 2015-06-05 2016-06-03 Intra operative tracking method

Publications (2)

Publication Number Publication Date
CN106794044A CN106794044A (zh) 2017-05-31
CN106794044B true CN106794044B (zh) 2019-09-27

Family

ID=57440176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680002970.2A Active CN106794044B (zh) 2015-06-05 2016-06-03 术中追踪方法

Country Status (10)

Country Link
US (1) US9827053B2 (zh)
EP (1) EP3145420B8 (zh)
JP (1) JP6334052B2 (zh)
KR (1) KR101933132B1 (zh)
CN (1) CN106794044B (zh)
CA (1) CA2949797C (zh)
DK (1) DK3145420T3 (zh)
HR (1) HRP20201646T1 (zh)
TW (1) TWI595437B (zh)
WO (1) WO2016192671A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI670681B (zh) * 2017-06-04 2019-09-01 鈦隼生物科技股份有限公司 判定手術路徑上一個或多個點之方法和系統
US12004830B2 (en) 2017-08-16 2024-06-11 Intuitive Surgical Operations , Inc. Systems and methods for monitoring patient motion during a medical procedure
WO2019137507A1 (en) * 2018-01-11 2019-07-18 Shenzhen United Imaging Healthcare Co., Ltd. Systems and methods for surgical route planning
WO2020025001A1 (en) * 2018-08-01 2020-02-06 Brain Navi Biotechnology Co., Ltd. Method and system of tracking patient position in operation
US11744655B2 (en) 2018-12-04 2023-09-05 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11602402B2 (en) 2018-12-04 2023-03-14 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
CN109925054B (zh) * 2019-03-04 2020-12-18 杭州三坛医疗科技有限公司 确定靶点路径的辅助方法、装置和系统、可读存储介质
CN109993792B (zh) * 2019-03-04 2021-05-25 杭州三坛医疗科技有限公司 投影方法、装置及系统和可读存储介质
US20220133409A1 (en) * 2019-03-04 2022-05-05 Hangzhou Santan Medical Technology Co., Ltd Method for Determining Target Spot Path
CN109925052B (zh) * 2019-03-04 2020-12-08 杭州三坛医疗科技有限公司 靶点路径的确定方法、装置和系统、可读存储介质
CN109925053B (zh) * 2019-03-04 2021-06-22 杭州三坛医疗科技有限公司 手术路径的确定方法、装置和系统、可读存储介质
WO2020181363A1 (en) * 2019-03-11 2020-09-17 Intellijoint Surgical Inc. Computer assisted surgery system and method to process and communicate planning data
TWI766253B (zh) * 2019-03-19 2022-06-01 鈦隼生物科技股份有限公司 基於影像匹配決定手術路徑之方法與系統
US11382549B2 (en) 2019-03-22 2022-07-12 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11045179B2 (en) 2019-05-20 2021-06-29 Global Medical Inc Robot-mounted retractor system
CN113643226B (zh) * 2020-04-27 2024-01-19 成都术通科技有限公司 标注方法、装置、设备及介质
CN112807083A (zh) * 2020-06-01 2021-05-18 上海库欣医疗科技有限公司 用于神经外科导航的颅脑穿刺路径建立方法和系统
CN112807084B (zh) * 2020-06-01 2023-06-02 上海库欣医疗科技有限公司 用于脑干出血手术导航的颅脑穿刺路径建立方法及导航方法
CN113797418A (zh) * 2020-06-12 2021-12-17 中强光电股份有限公司 医疗影像设备以及医疗影像显示方法
US11529738B2 (en) * 2020-07-02 2022-12-20 NDR Medical Technology Pte. Ltd. Control system and a method for operating a robot
US11481235B2 (en) * 2021-01-11 2022-10-25 Evicore Healthcare MSI, LLC Database framework model transformation for pathway identification

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5389101A (en) * 1992-04-21 1995-02-14 University Of Utah Apparatus and method for photogrammetric surgical localization
CN1243690A (zh) * 1997-08-27 2000-02-09 北京航空航天大学 机器人脑外科设备系统及其实现方法
US6122541A (en) * 1995-05-04 2000-09-19 Radionics, Inc. Head band for frameless stereotactic registration
EP1715788B1 (en) * 2004-02-17 2011-09-07 Philips Electronics LTD Method and apparatus for registration, verification, and referencing of internal organs
CN102999902A (zh) * 2012-11-13 2013-03-27 上海交通大学医学院附属瑞金医院 基于ct配准结果的光学导航定位系统及其导航方法
CN103142313A (zh) * 2013-03-19 2013-06-12 张巍 一种基于单目视觉的手术工具位姿实时检测方法及系统
WO2014139024A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
WO2014139020A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Surgical imaging systems

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671538B1 (en) * 1999-11-26 2003-12-30 Koninklijke Philips Electronics, N.V. Interface system for use with imaging devices to facilitate visualization of image-guided interventional procedure planning
JP4674948B2 (ja) * 2000-09-29 2011-04-20 オリンパス株式会社 手術ナビゲーション装置および手術ナビゲーション装置の作動方法
US7570791B2 (en) * 2003-04-25 2009-08-04 Medtronic Navigation, Inc. Method and apparatus for performing 2D to 3D registration
JP2005305048A (ja) * 2004-04-26 2005-11-04 Mitsubishi Electric Corp 患者位置決め装置および患者位置決め方法
US7831073B2 (en) * 2005-06-29 2010-11-09 Accuray Incorporated Precision registration of X-ray images to cone-beam CT scan for image-guided radiation treatment
US8303505B2 (en) * 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
US9192786B2 (en) * 2006-05-25 2015-11-24 William Beaumont Hospital Real-time, on-line and offline treatment dose tracking and feedback process for volumetric image guided adaptive radiotherapy
US8831303B2 (en) * 2007-10-01 2014-09-09 Koninklijke Philips N.V. Detection and tracking of interventional tools
US8559596B2 (en) * 2010-06-08 2013-10-15 Accuray Incorporated Target Tracking for image-guided radiation treatment
IT1400684B1 (it) * 2010-07-07 2013-06-28 Esaote Spa Metodo e dispositivo di imaging per il monitoraggio di un corpo in esame.
JP2015505679A (ja) * 2011-10-09 2015-02-26 クリア・ガイド・メディカル・リミテッド・ライアビリティ・カンパニーＣｌｅａｒ Ｇｕｉｄｅ Ｍｅｄｉｃａｌ，ＬＬＣ 超音波画像を融合することによる介入現場画像ガイダンス
US9375196B2 (en) * 2012-07-12 2016-06-28 Covidien Lp System and method for detecting critical structures using ultrasound
EP2874556B1 (en) * 2012-07-17 2019-03-13 Koninklijke Philips N.V. Augmented reality imaging system for surgical instrument guidance
JP6157864B2 (ja) * 2013-01-31 2017-07-05 東芝メディカルシステムズ株式会社 医用画像診断装置及び穿刺術支援装置
US10073515B2 (en) 2013-09-18 2018-09-11 Nanophthalmos, Llc Surgical navigation system and method
US9754371B2 (en) * 2014-07-31 2017-09-05 California Institute Of Technology Multi modality brain mapping system (MBMS) using artificial intelligence and pattern recognition
TWI605795B (zh) * 2014-08-19 2017-11-21 鈦隼生物科技股份有限公司 判定手術部位中探針位置之方法與系統
AU2015339388B2 (en) * 2014-10-27 2018-04-26 Elekta, Inc. Image guidance for radiation therapy

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5389101A (en) * 1992-04-21 1995-02-14 University Of Utah Apparatus and method for photogrammetric surgical localization
US6122541A (en) * 1995-05-04 2000-09-19 Radionics, Inc. Head band for frameless stereotactic registration
CN1243690A (zh) * 1997-08-27 2000-02-09 北京航空航天大学 机器人脑外科设备系统及其实现方法
EP1715788B1 (en) * 2004-02-17 2011-09-07 Philips Electronics LTD Method and apparatus for registration, verification, and referencing of internal organs
CN102999902A (zh) * 2012-11-13 2013-03-27 上海交通大学医学院附属瑞金医院 基于ct配准结果的光学导航定位系统及其导航方法
WO2014139024A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
WO2014139020A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Surgical imaging systems
CN103142313A (zh) * 2013-03-19 2013-06-12 张巍 一种基于单目视觉的手术工具位姿实时检测方法及系统

Also Published As

Publication number Publication date
HRP20201646T1 (hr) 2020-12-25
TWI595437B (zh) 2017-08-11
EP3145420A4 (en) 2018-04-04
US20160354157A1 (en) 2016-12-08
EP3145420A1 (en) 2017-03-29
JP2017526415A (ja) 2017-09-14
EP3145420B8 (en) 2020-12-30
CA2949797A1 (en) 2016-12-05
JP6334052B2 (ja) 2018-05-30
KR20170033858A (ko) 2017-03-27
US9827053B2 (en) 2017-11-28
TW201705078A (zh) 2017-02-01
DK3145420T3 (da) 2020-10-26
EP3145420B1 (en) 2020-08-05
CA2949797C (en) 2019-04-02
WO2016192671A1 (en) 2016-12-08
CN106794044A (zh) 2017-05-31
KR101933132B1 (ko) 2019-03-15

Similar Documents

Publication Publication Date Title
CN106794044B (zh) 术中追踪方法
US11786310B2 (en) Intermodal synchronization of surgical data
US10610378B2 (en) Feedback for providing artificial bone flap
CN107067398B (zh) 用于三维医学模型中缺失血管的补全方法及装置
CN105208958B (zh) 用于微创治疗的导航和模拟的系统和方法
US8768022B2 (en) Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
CA2976573C (en) Methods for improving patient registration
US20190336225A1 (en) System and methods for updating patient registration during surface trace acquisition
CN106097294B (zh) 基于自动对应进行骨重定位
Li et al. Towards quantitative and intuitive percutaneous tumor puncture via augmented virtual reality
US20220354579A1 (en) Systems and methods for planning and simulation of minimally invasive therapy
Meinzer et al. Medical imaging: examples of clinical applications
Wu et al. Process analysis and application summary of surgical navigation system
US20230240750A1 (en) Systems for evaluating registerability of anatomic models and associated methods
Ong Intra-operative Registration Methods for Image-Guided Kidney Surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190723

Address after: Taiwan, Hsinchu, China, 5C two, section 6-2, 5 floor, room No.

Applicant after: Titanium Falcon bio Polytron Technologies Inc

Address before: American California

Applicant before: Chen Jiexiao

Applicant before: Wang Guanru

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant