CN113597288B - 基于影像匹配确定手术路径的方法与系统 - Google Patents

基于影像匹配确定手术路径的方法与系统 Download PDF

Info

Publication number
CN113597288B
CN113597288B CN202080022953.1A CN202080022953A CN113597288B CN 113597288 B CN113597288 B CN 113597288B CN 202080022953 A CN202080022953 A CN 202080022953A CN 113597288 B CN113597288 B CN 113597288B
Authority
CN
China
Prior art keywords
feature points
dimensional
dimensional feature
patient
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080022953.1A
Other languages
English (en)
Other versions
CN113597288A (zh
Inventor
陈阶晓
王冠茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Titan Falcon Biotechnology Co ltd
Original Assignee
Titan Falcon Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Titan Falcon Biotechnology Co ltd filed Critical Titan Falcon Biotechnology Co ltd
Publication of CN113597288A publication Critical patent/CN113597288A/zh
Application granted granted Critical
Publication of CN113597288B publication Critical patent/CN113597288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种确定患者的手术路径的方法与系统，该方法包括：构建所述患者的三维模型；获得所述患者的影像信息；选择与所述三维模型相关的第一组二维特征点和与所述影像信息相关的第二组二维特征点；将所述第一组二维特征点转换成第一组三维特征点(250)以及将所述第二组二维特征点转换成第二组三维特征点(260)；在所述第一组三维特征点和所述第二组三维特征点之间进行匹配(270)，以确定使所述第一组三维特征点与所述第二组三维特征点一致的关系；并且在与机械臂相关的坐标系统中确定所述手术路径(290)。

Description

基于影像匹配确定手术路径的方法与系统
相关申请的交叉引用
本申请要求2019年3月19日提交的美国临时申请第62/820,804号的权益，其全部内容通过引用并入本文。
背景技术
技术领域
本发明的各实施方案总体上涉及在手术路径上确定一个或多个点的方法与系统。
有关技术说明
除非本说明书另有说明，否则本节中所描述的方法并非本申请权利要求的现有技术，且不认为是包含在本节中的现有技术。
在手术中，手术路径的计划至关重要。该手术路径可包括多个点，例如远离患者的安全点和术前点、患者的组织上的进入点，以及手术目标处的目标点。
机器人操作可以提供对所述手术路径的精确控制。在手术之前，患者经历医学扫描(例如，CT、MRI、PET、超声等)。对至该所需解剖区域的手术路径进行规划。可采用人工智能向外科医生建议损伤最小的最佳路线。为进行该手术，可将所述患者的位置与该医学扫描的透视图进行匹配，以沿着该规划的手术路径准确进行该手术。常规方法曾经仰赖胶合在对位标记上或以螺钉拴入其中，但并未得到广泛采用。
附图说明
图1是显示可能在手术过程中遇到的几个点之间的空间关系的示例图；
图2是示出为患者确定手术路径的示例程序的流程图；
图3示出该手术路径计算的实例；
图4A是在第一时间所收集到的与所述患者相关的二维影像；
图4B是在第二时间所收集到的与所述患者相关的二维影像；
图5是二维快照的影像；
图6是二维脸部成像的影像；
图7示出从所构建的三维模型坐标系统至三维摄影机坐标系统的示例坐标转换；
图8是示出转换坐标的示例程序的流程图；和
图9是示出根据本发明的一些实施方案配置的将光学装置置入(register)在机械臂坐标系统中的示例程序的流程图。
具体实施方式
在下列具体实施方式中，将参考形成其一部分的附图。在该图中，除非上下文另有说明，否则相似的符号通常标识类似组件。该具体实施方式、附图及权利要求中所描述的说明性实施方案并非意在限制。可以在不背离在此呈现的主题的精神或范围的情况下，利用其他实施方案，以及进行其它变化。将可很容易地理解，如本文所总体说明的，以及各图中所示例的，本公开的个方面可以以广泛多种不同配置进行设置、置换、组合、及设计，其整个都在本文明确考虑范围内。
图1为显示根据本发明的一些实施方案设置的可在手术过程中遇到的几个点之间的空间关系的示例图。在图1中，手术路径110可包括安全点120、术前点130、进入点140、及目标点150。
图2为示出根据本发明的一些实施方案设置的确定患者手术路径的示例程序200的流程图。程序200可包括如步骤210、220、230、240、250、260、270、280及/或290所示例的一个或多个操作、功能或动作，其可透过硬件、软件及/或韧体进行。该各种步骤不旨在限于所述实施方案。所概述步骤和操作仅作为实例提供，且一些步骤和操作任选地、组合为较少的步骤和操作，或扩充为附加步骤和操作，而不背离所公开的实施方案的本质。尽管以循序顺序示出所述步骤，但也可并行和/或以不同于本文所述顺序进行这些步骤。
程序200可从步骤210“基于医学影像扫描构建三维3D模型”开始。在进行手术之前，可使用一些医学成像技术捕获患者的病况的快照，以使可以制定手术计划。该手术计划可以如上所阐述包括规划的手术路径。例如，外科医生可以命令该手术目标的医学影像扫描(例如，CT或MRI)。这样的医学影像扫描可能在该手术之前几天(例如，3至5天)进行。可以使用一些已知的方法基于该医学影像扫描数据构建三维模型。因此，可以在该三维模型中标识该规划的手术路径上的点。
在一些实施方案中，可采用人工智能引擎向该外科医生建议对所述患者的身体损伤最小的一条或多条规划的手术路径。基于所述患者的CT或MRI扫描，该人工智能引擎可以建议一条或多条最佳规划的手术路径。图3根据本发明的一些实施方案配置，示出计算规划的手术路径310以到达目标点320的实例。该计算可包括转换该标准脑部图谱数据；及将其置入到所述患者的医学扫描影像以标识脑部区域。一些实例脑部区域包括运动联合区331、表达性言语区332、较高心理功能区333、运动区334、感觉区335、体感联合区336、全局语言区337、视域区338、感受言语区339、联合区341及小脑区342。而且，可能自动标识共同目标组织(例如，视丘下核)。此外，以上所述每个脑部区域皆可能为了该人工智能引擎而指定代价函数(cost function)，以建议到目标组织的一条或多条规划的手术路径。可从TOF(飞行时间MRI)数据标识各血管。该外部脑部边界上的点用于进入点。
步骤210可以接着步骤220“产生2D快照”。在一些实施方案中，基于在步骤210中所构建的三维模型产生二维快照。在一些实施方案中，该二维快照是所述患者的三维模型的前视图。所述患者的前视图包括所述患者的至少一些脸部特征。
步骤220可以接着步骤230“驱动机械臂以获得患者的2D脸部影像”。在一些实施方案中，将至少两个二维光学装置(例如，摄影机和/或扫描仪)固定在该机械臂上。透过将该机械臂驱动到不同的位置，该两个二维光学装置可以捕获与所述患者相关的不同影像。在一些实施方案中，该两个二维光学装置的每一个皆构成收集有关所述患者的二维影像。在一些其他实施方案中，该两个二维光学装置组合构成收集有关所述患者的深度信息。因此，该至少两个二维光学装置既可以收集有关所述患者的二维影像，也可以收集有关所述患者的三维影像。
关于图4A，影像410是在第一时间收集的有关所述患者的二维影像。影像410具有坐标(X，Y)的影像中心411。人工智能引擎可以在影像410中用来标识所述患者。在一些实施方案中，该人工智能引擎可以在影像410中的框架413中标识所述患者。此外，该人工智能引擎可以在影像410中标识所述患者的脸部中心点415。脸部中心点415可以具有坐标(x，y)。在一些实施方案中，至少基于(X-x)的第一偏移及(Y-y)的第二偏移驱动该机械臂。
例如，在第一时间，该第一偏移或该第二偏移大于一个或多个预定临界值，并将该机械臂驱动到另一位置以减少该第一偏移和该第二偏移。
在一些实施方案中，随着在第二时间将该机械臂驱动到一第一更新位置，关于图4B，影像420系是机械臂上的该二维光学装置所收集的有关所述患者的二维影像。影像420具有更新坐标(X，Y)的影像中心421。可采用人工智能引擎在影像420中标识所述患者。在一些实施方案中，该人工智能引擎可以在影像420中的框架423中标识所述患者。此外，该人工智能引擎可以在影像420中标识所述患者之脸部中心点425。脸部中心点425可以具有更新坐标(x，y)。在一些实施方案中，(X-x)的第一偏移及(Y-y)的第二偏移两者小于该一个或多个预定临界值。
在一些实施方案中，在第三时间的第一更新位置处，可采用人工智能引擎标识至少三个特征点426、427及428。该二维光学装置构成收集有关所述患者的深度信息。可将该深度信息指定给可在三维空间中定义第一平面的特征点426、427和428。在一些实施方案中，在第四时间驱动该机械臂旋转并移动到一第二更新位置，使得该机械臂上的该二维光学装置在实质平行于该三维空间中的第一平面的第二平面上。随着该第二更新位置处的影像420的平均深度在有关该二维光学装置的操作参数的预定范围内，拍摄影像420作为所述患者的2D脸部影像，且方法200前往步骤240。
在步骤240“在2D快照和2D脸部影像中选择2D特征点”，可采用人工智能引擎在步骤220中所产生的二维快照中选择第一组二维特征点，并在步骤230中所拍摄的患者的二维脸部影像(例如，影像420)中选择第二组二维特征点。
关于图5，影像500是在步骤220中所产生的二维快照。在一些实施方案中，可采用人工智能引擎标识眉间501、右内眼眶502及左内眼眶503，因为在影像500中比较容易标识这些点。然而，对各种人种而言，眉间501、右内眼眶502及左内眼眶503可能不在相同二维平面上。假如影像500是二维快照，则眉间501、右内眼眶502及左内眼眶503不适合作为影像500上的二维特征点。尽管如此，基于解剖学，各人种的脸部上的小区域510在统计上为平面。因此，在一些实施方案中，采用该人工智能引擎产生分别通过眉间501、右内眼眶502及左内眼眶503并在区域510中相交的三条线520、530及540。在一些实施方案中，将相交点511选择为二维特征点。此外，在一些实施方案中，也将线530上的区域510中的点512和线540上的区域510中的点513选择为二维特征点。点511、512及513可为第一组二维特征点。在一些实施方案中，可选择区域510中的附加2D点以增加该第一组二维特征点的数量。
关于图6，影像600是在步骤230中所拍摄的二维脸部影像。在一些实施方案中，可以采用人工智能引擎标识眉间601、右内眼眶602及左内眼眶603，因为在影像600中比较容易标识这些点。然而，对各种人种而言，眉间601、右内眼眶602及左内眼眶603可能不在相同的二维平面上。假如影像600是二维脸部影像，则眉间601、右内眼眶602及左内眼眶603不适合作为影像600上的二维特征点。同样地，基于解剖学，各人种的脸部上的小区域610在统计上为平面。尽管如此，在一些实施方案中，采用该人工智能引擎产生分别通过眉间601、右内眼眶602及左内眼眶603并在区域610中相交的三条线620、630及640。在一些实施方案中，将相交点611选择为二维特征点。此外，在一些实施方案中，也将线630上的区域610中的点612及线640上的区域610中的点613选择为二维特征点。点611、612及613可以为第二组二维特征点。在一些实施方案中，可以选择区域610中的附加2D点以增加该第二组二维特征点的数量。
步骤240可以接着步骤250“将第一组2D特征点转换成第一组3D特征点”。在一些实施方案中，在步骤250中，将该第一组二维特征点(例如，点511、512及513)转换成第一组三维特征点。如上所述，在所构建的三维模型中所产生的二维快照中选择该第一组二维特征点。基于在该所构建的三维模型中拍摄该二维快照中的算法，可进行反向操作以将该二维快照(例如，在步骤220中所产生快照)上的第一组二维特征点转换成该所构建的三维模型(例如，在步骤210中所产生三维模型)中的第一组三维特征点。在一些实施方案中，该第一组三维特征点可以标识允许使用迭代最近点(Iterative Closest Point，ICP)算法的后续匹配的第一初始三维坐标。
步骤250可以接着步骤260“将第二组2D特征点转换成第二组3D特征点”。在一些实施方案中，在步骤260中，将该第二组二维特征点(例如，点611、612及613)转换成第二组三维特征点。如上所述，可透过该二维光学装置收集有关所述患者的深度信息。在一些实施方案中，可将该深度信息添加到该第二组二维特征点，以将该第二组二维特征点转换成第二组三维特征点。在一些实施方案中，该第二组三维特征点可以标识允许使用迭代最近点(ICP)算法的后续匹配的第二初始三维坐标。
步骤260可以接着步骤270“在第一组三维特征点和第二组三维特征点之间进行影像匹配”。在一些实施方案中，将该第一组三维特征点与该第二组三维特征点进行匹配，以确定使该第一组三维特征点与该第二组三维特征点一致(align)的关系，有时迭代以使该两组三维特征点之间的区别最小化。
为清楚起见，下列讨论主要使用该两个二维光学装置(例如，两个二维摄影机)的一个非限制性实例和有关该两个二维光学装置的三维坐标系统(例如，三维摄影机坐标系统)，以解释本发明的各实施方案。
步骤270可以接着步骤280“转换坐标”。在步骤280中，将该构建的三维模型中的第一组三维特征点从其原始坐标系统(即三维模型坐标系统)转换成该两个二维光学装置所拍摄的影像的坐标(即三维摄影机坐标系统)。该转换可以基于一些影像比较方法，例如迭代最近点(ICP)。步骤280可以进一步包括附加坐标转换，其中将该三维摄影机坐标系统上的所有点转换成该机械臂的坐标(即机械臂坐标系统)。以下将进一步说明转换坐标的详细信息。
步骤280可以接着步骤290“确定手术路径”。在步骤290中，可将三维模型坐标系统中的所规划的手术路径的坐标转换成该机械臂坐标系统。因此，该机械臂可以移动到所规划的手术路径上的安全点、术前点、进入点和/或目标点。
在一些实施方案中，可将实例程序200应用于各种类型的手术，例如但不限于脑部手术、神经系统手术、内分泌腺手术、眼部手术、耳部手术、呼吸道手术、循环系统手术、淋巴管手术、胃肠道手术、口腔和牙科手术、泌尿手术、生殖手术、骨骼、软骨和关节手术、肌肉/软组织手术、乳房手术、皮肤手术等。
总之，可使用至少两个二维摄影机或扫描仪以获得患者的脸部特征。然后，可将该脸部特征与有关医学影像扫描的三维模型的二维快照进行比较。在该二维快照中选择第一组二维特征点，并在通过该二维摄影机或扫描仪分别获得的二维患者的脸部影像中选择第二组二维特征点。为了比较，将该第一组二维特征点和该第二组二维特征点分别转换成该三维模型中的第一组三维特征点及第二组三维特征点。在一些实施方案中，可以将实例程序200应用于各种类型的手术，例如脑部手术、神经系统手术、内分泌腺手术、眼部手术、耳部手术、呼吸道手术、循环系统手术、淋巴管手术、胃肠道手术、口腔和牙科手术、泌尿手术、生殖手术、骨骼、软骨和关节手术、肌肉/软组织手术、乳房手术、皮肤手术等。
图7示出了根据本发明的一些实施方案的从所构建的三维模型坐标系统转换至该三维摄影机坐标系统的实例坐标。以下将连同图8进一步讨论此图。
图8是示出了根据本发明的一些实施方案转换坐标的实例程序800的流程图。程序800可包括如步骤810、820、830和/或840所示例的一个或多个操作、功能或动作，其可透过硬件、软件和/或韧体进行。该各种步骤不旨在限于所述实施方案。所概述的步骤和操作仅作为实例提供，且一些步骤和操作可以任选地，组合为较少步骤和操作，或扩充为附加步骤和操作，而不背离所公开的实施方案的本质。尽管以循序顺序示出该步骤，但也可以以并行和/或以不同于本说明书所述顺序进行这些步骤。
关于图7，在步骤810中获得初始矩阵。在一些实施方案中，获得第一初始矩阵TMRI和第二初始矩阵T摄影机。在一些实施方案中，
其中
VectorXx是VectorX的x分量、VectorXy是VectorX的y分量，且VectorXz是VectorX的z分量。同样地，VectorYx是VectorY的x分量、VectorYy是VectorY的y分量，且VectorYz是VectorY的z分量。VectorZx是VectorZ的x分量、VectorZy是VectorZ的y分量，且VectorZz是VectorZ的z分量。P1x是P1的x坐标、P1y是P1的y坐标，且P1z是P1的z坐标。
在一些其他实施方案中，
其中
VectorX′x是VectorX′的x分量、VectorX′y是VectorX′的y分量，且VectorX′z是VectorX′的z分量。同样地，VectorY′x是VectorY′的x分量、VectorY′y是VectorY′的y分量，且VectorY′z是VectorY′的z分量。VectorZ′x是VectorZ′的x分量、VectorZ′y是VectorZ′的y分量，且VectorZ′z是VectorZ′的z分量。P1′x是P1′的x坐标、P1′y是P1′的y坐标，且P1′z是P1′的z坐标。
步骤810可以接着步骤820“获得变换矩阵”。在一些实施方案中，该变换矩阵可以是并根据/>将P1、P2及P3转换成该三维摄影机坐标系统。假设分别将P1、P2及P3转换成P1经过转换、P2经过转换及P3经过转换，则基于一些可行的ICP方法计算有关P1经过转换和P1′、P2经过转换和P2′以及P3经过转换和P3′之间差值的距离度量(metric)。
步骤820可以接着步骤830。在步骤830中，确定该距离度量的变化是否到达临界值。若未到达该临界值，则步骤830可以返回步骤820，其中选择P1经过转换、P2经过转换和P3经过转换以更新T攝影机，最后取得新的变换矩阵若到达该临界值，则步骤830接着步骤840。
在步骤840中，获得转换矩阵以将各点从该三维摄影机坐标系统转换成该机械臂坐标系统。在一些实施方案中，该转换矩阵
其中
R＝I+(sinθ)K+(1-cosθ)K2 (4)
是与在该机械臂坐标系统中的摄影机中心(例如，该摄影机坐标系统的原点)有关的旋转向量；
kx是的x分量、ky是/>的y分量，且kz是/>的z分量；以及在该机械臂坐标系统中，Pcx是该摄影机中心的x坐标、Pcy是该摄影机中心的y坐标，且Pcz是该摄影机中心的z坐标。在一些实施方案中，以下将搭配图9进一步说明将该摄影机中心置入在该机械臂坐标系统中的实例方法。
根据该转换矩阵，可以将该三维模型坐标系统中的手术路径上的各点转换成该机械臂坐标系统。因此，该机械臂可以移动到该手术路径上的一个或多个点。
在一些实施方案中，图9是示出将光学装置(例如，摄影机)置入在该机械臂坐标系统中的实例程序900的流程图。在一些实施方案中，可以将该光学装置安装在该机械臂的凸缘处。为了用如以上所述各项kx、ky、kz、Pcx、Pcy及Pcz说明该机械臂坐标系统中的光学装置，首先可根据程序900将有关该光学装置的点(例如，该摄影机坐标系统的原点)置入在该机械臂坐标系统中。程序900可包括如步骤910、920、930和/或940所示例的一个或多个操作、功能或动作，其可透过硬件、软件和/或韧体进行。该各种步骤不旨在限于所述实施方案。所述步骤和操作仅作为实例提供，且一些步骤和操作可以任选地，组合为较少步骤和操作，或扩充为附加步骤和操作，而不背离所公开的实施方案的本质。尽管以循序顺序示例该步骤，但也可以并行和/或以不同于本文所述的顺序进行这些步骤。
程序900可以始于步骤910。在步骤910中，该机械臂被配置移动到起始位置。在一些实施方案中，该起始位置邻近且面向该机械臂的参考点(例如，机械臂基座)。在一些实施方案中，在该起始位置处，该光学装置被配置成捕获该机械臂的参考点的一个或多个影像。该捕获的影像与该光学装置的点和该机械臂的参考点之间的空间关系相关联。
步骤910可以接着步骤920。在步骤920中，基于该捕获的影像获得该机械臂的参考点的网格。
步骤920可以接着步骤930。在步骤930中，基于该机械臂的某些实体信息构建该机械臂的参考点的三维模型。在一些实施方案中，该实体信息可以包括该机械臂的组件的尺寸、定向和/或几何特征。
步骤930可以接着步骤940。在步骤940中，将获得的网格与构建的三维模型进行匹配。可使用一些技术可行的方法进行匹配，例如，可以使用迭代最近点方法将获得的网格的点与构建的三维模型的点进行匹配，以满足给定的收敛精确度。随着该给定的收敛精确度得到满足，可以计算该光学装置的点和该机械臂的参考点之间的空间关系。基于该计算，可以将该摄影机的点转换成该机械臂坐标系统并置入在其中。
前述实施方式已通过使用方块图、流程图和/或实例阐述装置和/或程序的各种实施方案。从方块图、流程图和/或实例内含有一个或多个功能和/或操作，本领域人员将理解，可以通过广泛的硬件、软件、韧体或其几乎任何组合，个别和/或集体实施此方块图、流程图或实例内的每个功能和/或操作。在一些实施方案中，可通过特殊应用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Arrays，FPGA)、数字信号处理器(Digital Signal Processor，DSP)或其他整合格式实施本文所述主题的几个部分。然而，本领域技术人员将认可，可在集成电路中将本文所公开的实施方案的一些方面全部或部分等效实施为在一个或多个处理器上执行的一或多个计算机程序(例如，作为在一个或多个微处理器上执行的一或多个程序)、在一个或多个处理器上执行的一或多个程序(例如，作为在一或多个微处理器上执行的一个或多个程序)、韧体或其几乎任何组合，且根据本发明，设计该电路和/或编写用于该软件和或韧体的程序代码将完全在本领域技术人员的技术范围内。此外，本领域技术人员将了解，能够以多种形式将本文所述主题的机理分散为程序产品，且本文所述主题的示例性实施方案不论用于实际进行该分布的信号承载媒体的特别类型为何皆适用。信号承载媒体的实例包括但不限于下列：可记录类型媒体，例如软盘、硬盘驱动器、光盘(Compact Disc，CD)、数字通用光盘(Digital Versatile Disk，DVD)、数字磁带、计算机内存等；以及传输类型媒介，例如数字和/或模拟通讯媒介(例如，光纤电缆、波导、有线通信链接、无线通信连结等)。
从前述将了解，为了示例的目的，本文已描述了本发明的各种实施方案，并可以在不背离本发明的范畴与精神的情况下进行各种修改。因此，本文所公开的各种实施方案不旨在是限制性的。

Claims (10)

1.一种包括一组指令的非暂时性计算机可读取储存媒介，所述指令响应于处理器的执行而使所述处理器执行为患者确定手术路径的方法，其中所述方法包括：
基于所述患者的医学影像扫描构建三维模型；
用一组二维光学装置获得所述患者的影像信息；
选择与所述三维模型相关的第一组二维特征点；
选择与所述患者的影像信息相关的第二组二维特征点；
将所述第一组二维特征点转换成第一组三维特征点；
将所述第二组二维特征点转换成第二组三维特征点；
在所述第一组三维特征点和所述第二组三维特征点之间进行匹配，以确定使所述第一组三维特征点与所述第二组三维特征点一致的关系；
基于所述关系，将坐标从与所述三维模型相关的第一坐标系统转换成与该组二维光学装置相关的一第二坐标系统；以及
基于所述第二坐标系统中的所述经过转换的坐标，在与机械臂相关的第三坐标系统中确定所述手术路径；并且
其中所述方法进一步包括产生所述三维模型的二维快照；以及在所述快照中选择所述第一组二维特征点。
2.根据权利要求1所述的非暂时性计算机可读取储存媒介，其中将所述第一组二维特征点转换成所述第一组三维特征点基于与所述快照相关的反向操作。
3.根据权利要求1所述的非暂时性计算机可读取储存媒介，其中所述患者的影像信息包括所述患者的二维影像信息和与所述患者相关的深度信息。
4.根据权利要求3所述的非暂时性计算机可读取储存媒介，其中所述第二组二维特征点在所述患者的二维影像信息中选择。
5.根据权利要求4所述的非暂时性计算机可读取储存媒介，其中将所述第二组二维特征点转换成所述第二组三维特征点基于所述深度信息。
6.一种为患者确定手术路径的系统，包括：
处理器；和
非暂时性计算机可读取媒介，在其上已存储在由所述处理器执行后使所述处理器执行以下操作的程序代码：
基于所述患者的医学影像扫描构建三维模型；
用一组二维光学装置获得所述患者的影像信息；
选择与所述三维模型相关的第一组二维特征点；
选择与所述患者的影像信息相关的第二组二维特征点；
将所述第一组二维特征点转换成第一组三维特征点；
将所述第二组二维特征点转换成第二组三维特征点；
在所述第一组三维特征点和所述第二组三维特征点之间进行匹配，以确定使所述第一组三维特征点与所述第二组三维特征点一致的关系；
基于所述关系，将坐标从与所述三维模型相关的第一坐标系统转换成与该组二维光学装置相关的第二坐标系统；以及
基于所述第二坐标系统中的经过转换的坐标，在与机械臂相关的第三坐标系统中确定所述手术路径；并且
其中所述程序代码在由所述处理器执行后使所述处理器进一步产生所述三维模型的二维快照，并在所述快照中选择所述第一组二维特征点。
7.根据权利要求6所述的系统，其中将所述第一组二维特征点转换成所述第一组三维特征点基于与所述快照相关的一反向操作。
8.根据权利要求6所述的系统，其中所述患者的影像信息包括所述患者的二维影像信息和与所述患者相关的深度信息。
9.根据权利要求8所述的系统，其中所述第二组二维特征点在所述患者的二维影像信息中选择。
10.根据权利要求9所述的系统，其中将所述第二组二维特征点转换成所述第二组三维特征点基于所述深度信息。
CN202080022953.1A 2019-03-19 2020-03-19 基于影像匹配确定手术路径的方法与系统 Active CN113597288B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962820804P 2019-03-19 2019-03-19
US62/820,804 2019-03-19
PCT/CN2020/080194 WO2020187289A1 (en) 2019-03-19 2020-03-19 Method and system of determining operation pathway based on image matching

Publications (2)

Publication Number Publication Date
CN113597288A CN113597288A (zh) 2021-11-02
CN113597288B true CN113597288B (zh) 2024-03-01

Family

ID=72518992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080022953.1A Active CN113597288B (zh) 2019-03-19 2020-03-19 基于影像匹配确定手术路径的方法与系统

Country Status (8)

Country Link
US (1) US20220175454A1 (zh)
EP (1) EP3941379A4 (zh)
JP (1) JP7397092B2 (zh)
KR (1) KR102593794B1 (zh)
CN (1) CN113597288B (zh)
CA (1) CA3134069C (zh)
TW (1) TWI766253B (zh)
WO (1) WO2020187289A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101862220A (zh) * 2009-04-15 2010-10-20 中国医学科学院北京协和医院 基于结构光图像的椎弓根内固定导航手术系统和方法
JP2015198893A (ja) * 2014-04-04 2015-11-12 株式会社東芝 画像処理装置、治療システム及び画像処理方法
CN106794044A (zh) * 2015-06-05 2017-05-31 陈阶晓 术中追踪方法
CN107468350A (zh) * 2016-06-08 2017-12-15 北京天智航医疗科技股份有限公司 一种三维图像专用标定器、手术定位系统及定位方法
WO2018223925A1 (en) * 2017-06-04 2018-12-13 Chen Chieh Hsiao Method and system of determining one or more points on operation pathway

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006075331A2 (en) * 2005-01-13 2006-07-20 Mazor Surgical Technologies Ltd. Image-guided robotic system for keyhole neurosurgery
KR101993384B1 (ko) * 2012-10-24 2019-06-26 삼성전자주식회사 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템
WO2014139024A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
WO2014194167A1 (en) * 2013-05-31 2014-12-04 University Of Washington Through Its Center For Commercialization Surgery pathway guidance and boundary system
EP3007635B1 (en) * 2013-08-23 2016-12-21 Stryker European Holdings I, LLC Computer-implemented technique for determining a coordinate transformation for surgical navigation
CN104083217B (zh) * 2014-07-03 2016-08-17 北京天智航医疗科技股份有限公司 一种手术定位装置以及机器人手术系统
TWI605795B (zh) * 2014-08-19 2017-11-21 鈦隼生物科技股份有限公司 判定手術部位中探針位置之方法與系統
CN106296805B (zh) * 2016-06-06 2019-02-26 厦门铭微科技有限公司 一种基于实时反馈的增强现实人体定位导航方法及装置
EP3375399B1 (en) * 2016-10-05 2022-05-25 NuVasive, Inc. Surgical navigation system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101862220A (zh) * 2009-04-15 2010-10-20 中国医学科学院北京协和医院 基于结构光图像的椎弓根内固定导航手术系统和方法
JP2015198893A (ja) * 2014-04-04 2015-11-12 株式会社東芝 画像処理装置、治療システム及び画像処理方法
CN106794044A (zh) * 2015-06-05 2017-05-31 陈阶晓 术中追踪方法
CN107468350A (zh) * 2016-06-08 2017-12-15 北京天智航医疗科技股份有限公司 一种三维图像专用标定器、手术定位系统及定位方法
WO2018223925A1 (en) * 2017-06-04 2018-12-13 Chen Chieh Hsiao Method and system of determining one or more points on operation pathway

Also Published As

Publication number Publication date
TW202040586A (zh) 2020-11-01
CN113597288A (zh) 2021-11-02
JP2022525666A (ja) 2022-05-18
TWI766253B (zh) 2022-06-01
JP7397092B2 (ja) 2023-12-12
KR20220002877A (ko) 2022-01-07
US20220175454A1 (en) 2022-06-09
KR102593794B1 (ko) 2023-10-26
EP3941379A4 (en) 2023-01-11
EP3941379A1 (en) 2022-01-26
CA3134069C (en) 2023-11-14
WO2020187289A1 (en) 2020-09-24
CA3134069A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
US10789739B2 (en) System and method for generating partial surface from volumetric data for registration to surface topology image data
CN110494096B (zh) 确定手术路径上一个或多个点的方法和系统
JP6334052B2 (ja) 術中追跡方法
US10022199B2 (en) Registration correction based on shift detection in image data
EP3789965B1 (en) Method for controlling a display, computer program and mixed reality display device
KR20140136517A (ko) 의학적 애플리케이션들에서 증강 현실을 위한 동적 모델을 이용한 4 차원 이미지 등록
Hussain et al. Augmented reality for inner ear procedures: visualization of the cochlear central axis in microscopic videos
CN113597288B (zh) 基于影像匹配确定手术路径的方法与系统
JP6566420B2 (ja) 手術ナビゲーションシステムおよび手術ナビゲーション方法並びにプログラム
US20150348311A1 (en) Method and apparatus for determining a surface topography of a body in a coordinate system fixed in space and/or fixed on the body
US10832422B2 (en) Alignment system for liver surgery
TW202023488A (zh) 病患位置之術中追蹤方法與系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant