CN117994300A - 2d-3d图像配准方法和用于执行该方法的医疗操作机器人系统 - Google Patents

2d-3d图像配准方法和用于执行该方法的医疗操作机器人系统 Download PDF

Info

Publication number
CN117994300A
CN117994300A CN202311447959.5A CN202311447959A CN117994300A CN 117994300 A CN117994300 A CN 117994300A CN 202311447959 A CN202311447959 A CN 202311447959A CN 117994300 A CN117994300 A CN 117994300A
Authority
CN
China
Prior art keywords
image
interest
region
reference position
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311447959.5A
Other languages
English (en)
Inventor
禹同纪
黄成泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HD Hyundai Heavy Industries Co Ltd
Original Assignee
Hyundai Heavy Industries Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Heavy Industries Co Ltd filed Critical Hyundai Heavy Industries Co Ltd
Publication of CN117994300A publication Critical patent/CN117994300A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10076—4D tomography; Time-sequential 3D tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Neurology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Pulmonology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)

Abstract

本公开涉及一种2D‑3D图像配准方法和用于执行该方法的医疗操作机器人系统。包括：手术前获取患者手术部位的3D图像；从3D图像中提取AP方向和LL方向的DRR；在手术期间获取患者手术部位的AP图像和LL图像的2D图像；基于通过预设第一原点并与AP图像和LL图像平面的第一法向量的交叉乘积向量平行的第一旋转轴，确定在参考位置和与患者手术部位对应的预设第一参考位置之间的第一旋转角度；基于通过预设第二原点并与AP图像和LL图像平面的第二法向量的交叉乘积向量平行的第二旋转轴，确定在参考位置和与参考位置对应的第二参考位置之间的第二旋转角度；以及根据第一和第二旋转角度，确定2D图像和DRR图像之间的转换关系。

Description

2D-3D图像配准方法和用于执行该方法的医疗操作机器人 系统
技术领域
本公开涉及图像配准，特别是一种图像配准方法和用于执行该方法的医疗操作机器人系统，其中，通过术前3D图像和术中2D图像之间的配准，将手术方案和导航信息显示在所需的图像上。
背景技术
基于图像配准的手术导航技术已被用于协助医生进行手术。
在开始手术之前，医生根据手术部位的3D计算机断层扫描(CT，ComputedTomography)图像制定手术方案，以确定最佳植入物产品、植入物的手术位置、手术器械的轨迹等。在手术过程中，医生操作手术器械，同时将手术器械、植入物等与手术状态相对应的实时位置与手术方案进行比较和检查，以确保手术能够根据手术方案顺利进行。
虽然手术方案是根据手术前主要使用的CT扫描仪的3D图像来制定的，但手术状态是根据成像设备中的2D图像提供的，例如，手术期间主要使用的C臂，因为手术器械和C臂在手术期间被配准在同一坐标系中。
因此，一例成功的手术，需要通过3D-2D图像配准来提供有关手术方案和手术状态的综合信息，并且需要提高图像配准的准确性和缩短图像配准的处理时间。
然而，患者的移动可能会导致他/她的脊柱扭曲、骨盆的左右不对称等，从而导致每次获得的图像不一致。因此，由于患者的移动导致的姿势微小变化，特别是由于关节旋转而不是位置变化导致的姿势的微小变化，需要快速执行图像配准，但能够反映这种因关节旋转引起姿势变化的图像配准技术尚未被运用在传统导航技术领域。
相关技术文件：(专利文件1)韩国专利号No.2203544，(专利文件2)韩国专利号No.2394901。
发明内容
因此，本公开的一个方面是提供一种图像配准方法，能够快速进行图像配准处理，并补偿因关节旋转引起的移动，以及用于执行该方法的医疗操作机器人系统、图像配准装置和计算机程序介质。
根据本公开的一个实施例，提供了一种图像配准方法，其步骤由包括处理器在内的图像配准装置执行，包括：在手术前从3D成像装置中获取患者手术部位的3D图像；从3D图像中提取前后(AP，Anterior-posterior)方向和侧向(LL，Lateral-lateral)方向的数字重建放射影像(DRR，Digitally Reconstructed Radio graph)；在手术期间从2D成像装置中获取患者手术部位的AP图像和LL图像；基于通过预设第一原点的第一旋转轴，所述第一旋转轴平行于所述AP图像和LL图像的平面的第一法向量的交叉乘积向量，并结合DRR图像的来源和探测器之间的地理空间关系，确定参考位置和患者手术部位的预设第一参考位置之间的第一旋转角度，预设第一参考位置与AP图像或LL图像的第一参考位置相对应；基于通过预设第二原点并与AP图像和LL图像平面的第二法向量的交叉乘积向量平行的第二旋转轴，并结合2D图像的来源和探测器之间的地理空间关系，确定在参考位置和与参考位置对应的AP图像或LL图像的第二参考位置之间的第二旋转角度；并根据第一和第二旋转角度，从DRR图像和2D图像的来源和探测器之间的地理空间关系确定2D图像和DRR图像之间的转换关系。
其中，第一参考位置和第二参考位置可以包括每个2D图像和DRR图像的AP图像或LL图像的中心，或包括中心在内的线或平面。
图像配准方法还可以包括基于图像配准装置的3D图像进行手术规划，其中DRR图像的第一原点是根据安装植入物的手术器械轨迹或应用于手术规划的植入物的安装位置的相对关系来确定的。此外，DRR图像或2D图像的参考位置可以根据用户的输入来确定。
在图像配准方法中，DRR图像的来源和探测器之间的地理空间关系可以包括正交投影关系，而2D图像的来源和探测器之间的地理空间关系可以包括透视投影关系。
此外，图像配准方法还可以包括：当AP图像的平面和LL图像的平面在第一法向量的方向上移动并平面相交时，结合DDR图像的来源和探测器之间的地理空间关系，确定第一感兴趣容积；当AP图像的平面和LL图像的平面在透视投影范围内向第二个法向量的方向移动并平面相交时，结合2D图像的来源和探测器之间包括透视投影关系的地理空间关系，确定第二感兴趣容积。其中，第一原点可以包括第一感兴趣容积的中心，第二原点可以包括第二感兴趣容积的中心。
此外，图像配准方法还可以包括：确定DRR图像的每个AP图像和LL图像的第一感兴趣区域；并确定与2D图像的每个AP图像和LL图像的第一感兴趣区域相对应的第二感兴趣区域，其中第一参考位置位于第一感兴趣区域内，第二参考位置位于第二感兴趣区域内。此外，该方法还可以包括：当AP图像上的感兴趣区域和LL图像上的感兴趣区域向第一法向量的方向移动并平面相交时，结合DDR图像的来源和探测器之间的地理空间关系，确定第一感兴趣容积；当AP图像上的感兴趣区域和LL图像上的感兴趣区域在透视投影范围内向第二个法向量的方向移动并平面相交时，结合2D图像的来源和探测器之间包括透视投影关系的地理空间关系，确定第二感兴趣容积。其中，第一原点可以包括第一感兴趣容积的中心，第二原点可以包括第二感兴趣容积的中心。
此外，在图像配准方法中，第一原点可以包括患者脊椎椎弓根螺钉的目标位置之间的中心，其中第一旋转角度可以包括连接第一原点和椎弓根螺钉的入口点之间的中点的线段，与通过第一感兴趣容积中心的第一法向量之间相对于第一原点形成的角度。
此外，DRR图像的AP图像和LL图像的每个第一感兴趣区域可以包括一个矩形，关于DRR图像，图像配准方法可以包括：第一步，计算AP图像感兴趣区域顶点的LL图像上的外极线与连接LL图像上感兴趣区域的外围或侧边的中点的中线之间的第一交点；第二步，根据AP图像上感兴趣区域顶点到法向量的正交投影，通过对第一交点进行正交投影得到4个重建点；第三步，计算LL图像感兴趣区域顶点的AP图像上的外极线与连接AP图像上感兴趣区域的外围或侧边的中点的中线之间的第二交点；第四步，根据LL图像上感兴趣区域顶点到法向量的正交投影，通过对第二个交点进行正交投影得到4个重建点；以及第五步，计算根据第一步到第四步获得的8个重建点形成的六面体中的第一感兴趣容积。
此外，确定第二感兴趣容积可以包括：关于2D图像，第一步，计算AP图像上感兴趣区域顶点的LL图像上的外极线与连接LL图像上感兴趣区域外围或侧边的中点的中线之间的第一交点；第二步，根据AP图像上感兴趣区域顶点到来源的透视投影矢量，通过对第一交点进行透视投影得到4个重建点；第三步，计算LL图像上感兴趣区域顶点的AP图像上的外极线与连接AP图像上感兴趣区域外围或侧边的中点的中线之间的第二交点；第四步，根据LL图像上感兴趣区域顶点到来源的透视投影矢量，通过对第二交点进行透视投影得到4个重建点；以及第五步，计算根据第一到第四步获得的8个重建点形成的六面体中第二感兴趣容积。
此外，根据本公开的另一个实施例，提供了一种图像配准方法，其步骤由包括处理器在内的图像配准装置执行，该方法包括：在手术前从3D成像装置中获取患者手术部位的3D图像；从3D图像中提取AP方向和LL方向的DRR图像；在手术期间从2D成像装置中获取患者手术部位的AP图像和LL图像的2D图像；确定每个AP图像和DRR图像的LL图像的第一感兴趣区域；确定与每个AP图像和LL图像的2D图像的第一感兴趣区域相对应的第二感兴趣区域；当AP图像上的感兴趣区域和LL图像上的感兴趣区域在AP图像和LL图像的平面以第一法向量的方向平行移动时，结合DRR图像的来源和探测器之间的地理空间关系，确定由平面相交形成的第一感兴趣容积；当AP图像上的感兴趣区域和LL图像上的感兴趣区域在2D图像的AP图像和LL图像的透视投影范围内以第二法向量方向移动时，确定由平面相交形成的第二感兴趣容积，其中2D图像的来源和探测器之间的地理空间关系包括透视投影关系；确定第一感兴趣容积内的第一参考位置和预设参考位置之间的第一位移，第一参考位置对应于第一感兴趣区域内的预设第一参考位置，预设参考位置对应第一参考位置；确定参考位置和第二感兴趣容积内的第二参考位置之间的第二位移，参考位置对应第二感兴趣区域内的预设第二参考位置；并确定转换关系，以基于转换关系最小化第一感兴趣区域的顶点与第二感兴趣区域的顶点之间的欧式距离，其中2D图像和DRR图像之间的转换关系是基于第一位移和第二位移，由每个DRR图像和2D图像的来源和探测器之间的地理空间关系确定的。
其中，确定第一位移可以包括根据参考位置和第一参考位置之间的角度确定第一旋转角度，第一旋转角度对应于通过预设第一原点并与AP图像和LL图像平面的第一法向量的交叉乘积矢量平行的第一旋转轴；确定第二位移可以包括根据参考位置和第二参考位置之间的角度确定第二旋转角度，第二旋转角度对应于通过预设第二原点并与AP图像和LL图像平面的第二法向量的交叉乘积向量平行的第二旋转轴。
此外，确定第一和第二感兴趣容积可以包括通过将第一和第二感兴趣区域的顶点的极化线投射到第一和第二法向量来形成一个多面体。
此外，根据本公开的另一个实施例，提供了一种图像配准装置，包括执行上述图像配准方法的处理器。
此外，根据本公开的另一个实施例，提供了一种医疗操作机器人系统，包括：2D成像装置，被配置为在手术期间获取患者手术部位的2D图像；机器人手臂，包括末端执行器，手术器械可分离的耦合至所述末端执行器；位置传感器，被配置为检测手术器械或末端执行器的实时位置；控制器，被配置为根据预设的手术方案控制机器人手臂；显示器；以及导航系统，被配置为显示有关手术器械或植入物的规划信息，或植入在手术期间获得的2D图像，或通过执行上述图像配准方法，通过所述显示器在手术前获得的2D图像或3D图像上显示手术器械或植入物的实时位置。
此外，根据本公开的另一个实施例，提供了一种存储软件的计算机程序介质来执行上述图像配准方法。
附图说明
根据下述实施例的描述，以上和/或其他方面将变得明显和更容易理解，结合附图，其中：
图1是根据本公开一实施例示出的图像配准装置的方框图。
图2是根据本公开一实施例示出的图像配准方法的流程图。
图3A和3B示出了在CT图像上制定手术方案并从CT图像中提取感兴趣容积的过程的示例。
图4示出了DRR图像由基于正交投影的CT图像生成的示例。
图5示出了在AP图像中通过机器学习进行标记后自动生成感兴趣区域的过程的示例。
图6A和6B示出了在AP图像和LL图像中生成第一感兴趣区域作为DRR图像的示例。
图7A和7B示出了在AP图像和LL图像中生成第二感兴趣区域作为C臂图像的示例。
图8示出了调整感兴趣区域大小、定位、旋转、设置SP等用户界面的示例。
图9A至9D是描述重建CT容积中第一感兴趣区域顶点的过程的示意图。
图10示出了重建CT容积中第一感兴趣区域的8个顶点的结果的示例。
图11是描述C臂容积中重建第二感兴趣区域顶点的过程的示意图。
图12是描述重建C臂容积中第二感兴趣区域的8个顶点的结果的示意图。
图13A和13B是描述第一感兴趣容积的轴向方向和棘突的尖端线对齐的案例，以及它们错位和旋转的案例示意图。
图14示出了根据在手术前制定手术方案的规划对象位置确定第一旋转角度的方法的示例。
图15示出了通过用户界面在C臂AP图像中设置棘突的尖端线的示例。
图16示出了基于C臂AP图像计算第二旋转角度的过程的示例。
图17示出了在CT容积中重建的8个点与按照第一旋转角度旋转的点之间的关系示例。
图18是描述起源于第一感兴趣容积中心的局部坐标系V的示意图。
图19是根据本公开一实施例示出的医疗操作机器人系统的示意图。
具体实施方式
以下结合相关附图来描述本公开的实施例。
图1是根据本公开一实施例示出的图像配准装置10的方框图。作为能够进行图像配准的电子装置，图像配准装置10可以指计算机、笔记本电脑、笔记本电脑、平板电脑(PC，Personal Computer)、智能手机、手机、个人媒体播放器(PMP，Portable Media Player)和个人数字助理(PDA，Personal Digital Assistant)等计算设备。根据本公开一实施例，图像配准方法可以应用于医疗图像处理软件，例如医疗导航软件。根据本公开一实施例，图像配准装置10可以执行图像处理软件，如一种手术方案或规划以及医疗导航软件。
参考图1，根据本公开一实施例，图像配准装置10包括用于存储数据和程序代码的存储器11，以及用于执行数据和程序代码的处理器13。
存储器11是指计算机可读的存储介质，并存储至少一种由处理器13执行的计算机程序代码。此类计算机程序代码可以从与存储器11分离的软盘驱动器、磁盘、磁带、数字多功能光盘(DVD，Digital Versatile Disc)/光盘只读存储器(CD-ROM，Compact Disc Read-Only Memory)驱动器、存储卡等加载到存储器11中。存储器11可以用于存储图像配准、患者医疗图像或数据等的软件。
处理器13是通过基本逻辑、计算、操作等执行和处理计算机程序指令，存储在存储器11中的计算机程序代码由处理器13加载和执行。处理器13可以执行存储在存储器11中的算法，以执行一系列2D-3D图像配准步骤。
如图1所示，根据本公开一实施例，图像配准装置10还可以包括用于显示数据和图像的显示器15，用于接收用户输入的用户界面17，以及用于与外部交互的通信接口19。例如，用户界面17可以包括输入设备，如麦克风、键盘、鼠标或脚垫。
下面，将描述图像配准装置10(或处理器13)根据本公开一实施例执行的图像配准方法。
图2是根据本公开一实施例示出的图像配准方法的流程图，图3至14是说明图2流程图中步骤的示意图。
参照图2，根据本公开一实施例的图像配准方法包括术前规划步骤。
首先，通过成像装置为患者手术部位拍摄术前计算机断层扫描(CT)图像来获取3D图像(S1)。其中，另一种用于获取3D图像的成像装置，例如磁共振成像(MRI，Magneticresonanceimaging)等，可以作为CT的替代品，本公开不限于特定的成像装置。
医生使用手术规划软件为患者的3D图像制定手术方案(S2)。例如，在脊柱手术期间将螺丝插入并固定在椎弓上的情况下，可以根据螺钉的直径、长度、材料等选择螺钉产品，螺丝的椎弓形入口点，螺丝末端固定的目标等，可以设置并显示在3D图像上。这种规划软件可由各种操作领域的多个公司提供。
接下来，图像配准装置10提取了与制定手术方案的手术部位有关的感兴趣容积(S3)。此类提取可以由自动算法针对规划对象的位置自动执行，例如，3D图像上显示的螺丝，也可以由医生亲自调整给定容积边界。
参照图3A，医生可以通过控制左侧3D图像上提供的白色框来设置或调整感兴趣容积。与图3A不同，图3B的左右边距(a，b)具有默认尺寸，例如，相对于规划对象，即自动提取螺丝。
从这种提取的感兴趣容积中，数字重建放射影像(DRR)生成前后(AP)图像和侧向(LL)图像(S4)。也即是说，如图4所示，AP图像和LL图像是基于CT设备给出的CT坐标系的虚拟C臂图像，其中正交投影用于通过AP源和探测器生成AP图像，并通过LL源和探测器生成LL图像。
接下来，在手术期间通过C臂设备获得手术部位的AP图像和LL图像(S5)，C臂设备基于放置在患者身体部位的标记(以下简称“PM”标记)或其他手术空间中引用的标记配准到空间坐标系(S6)。本申请人提交的韩国专利号KR2203544公开了将C臂设备配置到3D空间或将2D图像配准到3D空间的技术，专利544'的全部内容已被引用在本公开中。除了专利544'外，将C臂设备配准到空间的技术已在许多其他文件中被公开，本公开不限于特定的空间配准技术。
图像配准装置10分别为DRR图像和C臂图像设置了第一感兴趣区域(ROI，Regionofinterest)和第二感兴趣区域(ROI)(S7和S8)。在固定椎弓根螺钉的情况下，每个感兴趣区域都可以以椎骨为单位进行设置。如图5所示，感兴趣区域可以通过机器学习以椎骨为单位提取和标记，并可以被定义为包括每个椎骨的矩形。
图6A和6B示出了提取AP图像中第一感兴趣区域和标记DRR图像的LL图像的结果，以及图像。7A和7B示出了提取AP图像中第二感兴趣区域和标记的C臂的LL图像的结果。
其中，值得注意的是，DRR图像的第一兴趣区域和C臂图像的第二兴趣区域是等效的。至少感兴趣区域矩形的顶点被选为彼此对应的等效点。等效性并不意味着完美匹配，但例如，提取或选择第一感兴趣区域和第二感兴趣区域，以便椎骨的图像特征与所选感兴趣区域的4个顶点之间的关系保持不变。
例如，在本实施例中，关于椎骨，选择第一感兴趣区域和第二感兴趣区域，以便将棘突的尖端放置在AP图像感兴趣区域的中心，并且椎骨的外缘可以均匀地应用于每个AP/LL图像中的第一和第二感兴趣区域。
参考图8，医生可以通过给定的用户界面调整大小、重新定位、旋转提取的兴趣区域等，并可以创建一条指向特定身体部位的线，例如，棘突的尖端或调整感兴趣区域以与中心线对齐。
接下来，图像配准装置10将AP图像上显示的第一兴趣区域和DRR图像的LL图像重建为空间，即感兴趣容积(S9)。直观地，当AP图像中的第一兴趣区域沿着AP图像的法向量平行移动时，假设AP图像位于虚拟探测器上，同时LL图像中的第一兴趣区域沿着LL图像的法向量平行移动，假设LL图像位于虚拟探测器上，两个平面相交的空间，即两个平面上的第一感兴趣区域相互相交的空间将被称为第一感兴趣容积。
基于坐标系计算第一感兴趣容积的过程将参照图9至13进行描述。
参考图9，AP图像上第一感兴趣区域的第一顶点A1和AP图像位于CT坐标系中的虚拟探测器平面被定义为第一感兴趣区域，为标有L3的椎骨。此外，定义了LL图像定位的虚拟探测器平面，并标记了LL图像上的第一感兴趣区域。直观地，当AP图像和LL图像平面在空间中的交点形成的容积称为CT容积时，CT容积表示为具有六个边界面和三轴CT坐标系的六面体。
由于DRR图像基于正交投影，因此形成了这样的六面体CT容积，通过A1的法向量在CT容积的顶部和底部边界面相交时达到A’1的一定高度。
因此，A’1以及与顶部和底部边界面相交的点I1和I2如下。
[方程1]
A′1＝λ1NAP+A1
[方程2]
I1＝finter(πTop，A′1，A1)
[方程3]
I2＝finter(πBot，A′1，A1)
其中，λ1是一个任意数，NAP是AP平面的法向量，finter是一个函数，它以两个点和一个平面作为输入变量，并获得连接两个点和平面的线之间的交点。
因此，I1可以通过如下方程获得。
[方程4]
其中，PTop是πTop，I2的获得方式与I1相同。
参考图9B，设I’1和I’2是任意法线上的任意点，从I1和I2开始，分别垂直穿透LL图像平面，I’1和I’2分别表示如下。
[方程5]
I′1＝λ2NLL+I1
[方程6]
I′2＝λ2NLL+I2
其中，λ2是一个任意数，而NLL是LL平面的法向量。
接下来，参考图9C，顶点A1的外极线是通过连接LL图像平面和线段之间的交点从I1和I2到I’1和I’2获得的。此外，还获得了外极线与LL图像上感兴趣区域的任何位置之间的交点。在图9C中，获得了外极线和连接第一个感兴趣区域左右两边中心C1和C2的线段之间的交点C3。
通过将感兴趣区域和上述获得的外极线之间的交点C3从顶点A1投射到正常A1-A'1上，获得P1，如图9D所示。其中，如果将与外极线相交的感兴趣区域的位置视为顶部，则P1与LL图像的第一个感兴趣区域的顶部平行。因此，需要注意的是，与A1对应的CT体积中的点P1可以在与LL图像上感兴趣的区域的上边和下边平行的位置的任何位置从A1的法线上选择。
通过将与A1相同的过程应用于其他三个顶点，可以理解为AP图像上第一感兴趣区域的平面被重建为转移到CT容积。同样，可以理解的是，LL图像上的顶点被重建为转移到CT容积。
图10示出了定义第一感兴趣区域的8个顶点A1到A8被重建为CT容积内的8个点CTP1，CTP2，…CTP8的示例。
图11示出了一种关系，其中定义C臂图像上第二感兴趣区域的一个顶点A1被重建为C臂容积。
与图9A和9D相比，C臂图像是根据透视投影获得的，因此来源和探测器之间的矢量被定义为基于PM坐标系的方向矢量，使用PM标记，而不是使用正交CT坐标系上的单位矢量。
因此，图11中的I1、I2、I’1、I’2、C3和P1可以如下方程获得。
[方程7]
I1＝finter(πTop，SAP，A1)
[方程8]
I2＝finter(πBot，SAP，A1)
[方程9]
[方程10]
[方程11]
C3＝finter(πe，C1，C2)
[方程12]
P1＝{(I1-C3)TN}N+C3
其中，SLL是LL图像上的来源位置，λ2是一个任意数，C1和C2是LL图像上感兴趣区域的左右两侧的中心。
通过对8个顶点A1到A8重复相同的过程，8个点PMP1，PMP2，…PMP8在C臂容积中被重建，如图12所示。
参考图10和图12，在CT容积中重建的8个点和在C臂容积中重建的8个点看起来就像AP图像上的兴趣区域和LL图像上的兴趣区域在它们的中心相交。可以理解的是，这8个点是六面体的中线，同时形成一个感兴趣容积。
参考图2的流程图，图像配准装置10分别重建CT容积和C臂容积中感兴趣的8个点或第一和第二感兴趣容积，并计算患者手术部位的参考位置与相对于预设轴的相应参考位置之间的旋转角度(S10)。
在本实施例中，参考位置是棘突的尖端，相应的第一参考位置对应于轴向图像的法向量，其方向与AP图像平面的法向量和LL图像平面的法向量之间的交叉乘积的向量相同方向。然而，确定旋转轴位置的第一原点理论上反映了脊柱的旋转中心，但很难定义这一点。因此，选择两个选项之一(后文描述)。
首先，参考图13A，可以理解为在这种情况下没有旋转，因为图10所示的棘突SP的末端和CTP5和CTP6之间的线段仅在高度上不同，并且没有横向偏差。
另一方面，参考图13B，可以理解为，穿过第一感兴趣容积中心的轴倾斜θ角，因为棘突SP的末端与CTP5和CTP6之间的线段间存在横向偏差。
为了获得倾斜的旋转角θ(以下简称“第一旋转角”)，医生可以使用术前规划对象，如图14所示。参考图14，连接入口点Er和El之间的中心Ec的线Ec-Tc之间的角度，其中一对螺丝相对于轴进入左右蒂，以及螺丝最终安装螺丝远端的位置Tl和Tr(以下简称“目标”)之间的中心Tc，以及穿过第一相关容积的轴向平面中心的纵向线段，即PTP6和PTP8之间的线段作为第一旋转角度获得θDRR。
在这种情况下，可以理解的是，选择第一旋转轴经过的第一原点作为左和右目标Tl和Tr之间的中心Tc，与第一感兴趣容积的中心高度与“d”不同。这使得根据医生的手术方案轻松计算旋转值，并有助于执行快速配准处理。正如关于C臂图像旋转所讨论的，可以使用第一感兴趣容积的中心而不是目标中心作为第一个旋转原点。
同时，如图15所示，可以获取C臂图像的真实AP和LL图像。因此，可以提供一个用户界面，以便医生可以移动AP图像上第二兴趣区域的中心线，使其与棘突的尖端相匹配，以便在此阶段亲自设置棘突的尖端，即使AP图像上第二兴趣区域的中心通常与棘突的尖端相匹配。这也可以被应用于DRR图像。
如图16所示，当用户设置的棘突的尖端穿过P12并与P5-P6平行时，可以获得C臂图像的第二旋转角，即在P6高度处投影的输入端棘突尖端的线P9-P10，与相对于P1到P4形成的平面和P5至P8形成的平面之间的相交线的线段P5-P6之间的角度。
[方程13]
P11＝finter(πH，P6，P8)
[方程14]
[方程15]
P12＝{(P10-P11)TN}N+P6
[方程16]
其中，P1到P8是重建第二感兴趣区域的8个顶点的点，P9和P10是用户指定的棘突的尖端线。
需要注意的是，图16说明了由P1至P4形成的水平平面和由P5至P8形成的垂直平面除交叉线外不相交的情况。
图17示出了在CT容积中重建的8个点CTP1到CTP8与CTP’1到CTP’8点之间的关系，这些点CTP1到CTP8通过参考图14计算的第一旋转角θDRR旋转。这示出了在CT坐标系中将第一感兴趣区域重建到CT容积后，可以反映脊柱相对于棘突的尖端旋转的点的位置。同样，对于C臂图像上第二感兴趣区域，可以以同样的方式获得反映患者脊柱在手术期间旋转的点位置PMP’1到PMP’8。
当PM坐标系和CT坐标系之间的变换关系应用于旋转点时，即PMP’1到PMP’8和CTP’1到CTP'8，理想情况下，两者之间的欧式距离应为0。最优配准可以在8个点对之间的欧式距离之和或平均值最小的情况下进行，初始配准的目的是获得满足此条件的变换矩阵(S11)。
[方程17]
其中，是从PM坐标系到CT坐标系的转换矩阵。
参考图18，将描述从CT坐标系到V局域坐标系的转换关系。其中，根据水平平面和垂直平面之间的交集线的中点，V-局部坐标系的原点可以定义如下。
[方程18]
其中，P9＝finter(πV,P1，P3)P10＝finter(πV，P2，P4)
因此，V-局部坐标系的三轴VX、VY和VZ可以定义如下。
[方程19]
[方程20]
[方程21]
VY＝VZ×VX′
[方程22]
VX＝VY×VZ
在V-局部坐标系中，Pi的位置VPi可以定义如下。
[方程23]
其中，是从CT坐标系到V-局部坐标系的旋转变换矩阵，/>是CT坐标系和V-局部坐标系之间的平移向量。
此外，旋转的V-局部坐标系中的点可以通过如下方程获得。
[方程24]
VP′i＝Rodrigues(VZ，θDRR)VPi
其中，Rodrigues函数被定义为按相对于输入旋转轴的输入旋转角度旋转对象的函数。
因此，CT坐标系中的旋转点CTP’I可以定义如下。
[方程25]
因此，上述过程被应用于8个点，并计算在PM坐标系中从PMP’i旋转的PMPi并输入到以下方程中。
[方程26]
当通过找到最佳变换矩阵完成初始配准时，图像配准装置10在调整DRR图像的搜索范围时推导最佳变换矩阵，并执行配准优化过程，从而完成图像配准(S12)。基于全局搜索的优化过程是众所周知的，因此将省略其详细描述。
如上所述，图像配准方法的优点是根据人体的旋转提高图像配准的准确性，并快速执行图像配准处理。
本公开可以作为计算机程序存储介质被实施，其中存储计算机程序以在计算机上执行图像配准方法。
此外，根据上述图像配准方法，本公开也可以被医疗操作机器人系统应用。
参照图19，根据本公开一实施例，医疗操作机器人系统1包括C臂成像设备100、医疗操作机器人200、位置传感器300和导航系统400，医疗操作机器人200包括主体201、带末端效应器203a的机器人臂203和机器人控制器205。
C臂成像装置100用于在手术期间获取患者手术部位的AP图像和LL图像。
机器人臂203固定在机器人主体201上，包括末端效应器203a，手术器械在其远端分离耦合。位置传感器300作为OTS实现，通过识别标记来跟踪手术器械或末端效应器203a的实时位置。控制器205被配置在机器人主体201中，并根据预设的手术方案和控制软件控制机器人手臂203。
导航系统400执行上述图像配准方法，在手术期间获得的C臂图像上显示有关手术器械或植入物的规划信息，或在手术前通过显示器获得的C臂图像或3D图像上显示手术器械或植入物的实时位置，从而协助医生进行手术。为此，导航系统400可以进一步包括与之相连的显示器，以便医生可以在手术期间用肉眼查看手术器械或类似手术器械的实时位置等手术方案和手术状态。本技术领域的普通技术人员可以很容易理解，图15的导航系统400以外的其他组成部分与医疗操作机器人系统中常用的组成部分相同。
根据本公开，这种准确快速的图像配准处理，可以补偿患者身体部位旋转引起的移动。
尽管到目前为止已经描述了本公开的实施例，但该领域的技术人员会理解，可以在不偏离本公开的技术构思的情况下，对本公开的全部或部分实施例进行修改或替换。因此，上述实施例只是本公开的示例，公开的范围属于所附权利要求及其等价物。

Claims (20)

1.一种图像配准方法，其步骤由包含处理器的图像配准装置执行，该方法包括：
手术前从3D成像装置获取患者手术部位的3D图像；
从所述3D图像中提取前后(AP)方向和侧向(LL)方向的数字重建放射影像(DRR)；
在手术期间从2D成像装置中获取患者手术部位的AP图像和LL图像的2D图像；
基于通过预设第一原点的第一旋转轴，所述第一旋转轴平行于所述AP图像和LL图像的平面的第一法向量的交叉乘积向量，并结合所述DRR图像的来源和探测器之间的地理空间关系，确定参考位置和与所述AP图像或所述LL图像的第一参考位置对应的患者手术部位的预设第一参考位置之间的第一旋转角度；
基于通过预设第二原点的第二旋转轴，所述第二旋转轴平行于所述AP图像和LL图像的平面的第二法向量的交叉乘积向量，并结合所述2D图像的来源和探测器之间的地理空间关系，确定在所述参考位置和与所述参考位置对应的AP图像或LL图像的第二参考位置之间的第二旋转角度；以及
根据所述第一旋转角度和所述第二旋转角度，从所述DRR图像和所述2D图像的来源和探测器之间的地理空间关系中确定所述2D图像和所述DRR图像之间的转换关系。
2.根据权利要求1所述的方法，其中所述第一参考位置和所述第二参考位置包括每个2D图像和DRR图像的AP图像或LL图像的中心，或包括所述中心在内的线或平面。
3.根据权利要求1所述的方法，还包括基于图像配准装置的3D图像进行手术规划，其中，
DRR图像的第一原点是根据安装植入物的手术器械轨迹或应用于手术规划的植入物的安装位置的相对关系来确定的。
4.根据权利要求1所述的方法，其中所述DRR图像或所述2D图像的参考位置是根据用户的输入确定的。
5.根据权利要求1所述的方法，其中
所述DRR图像的来源和探测器之间的地理空间关系包括正交投影关系，以及
所述2D图像的来源和探测器之间的地理空间关系包括透视投影关系。
6.根据权利要求1所述的方法，还包括：
当所述AP图像的平面和所述LL图像的平面在所述第一法向量的方向上移动并平面相交时，通过图像配准装置结合所述DDR图像的来源和探测器之间的地理空间关系，确定第一感兴趣容积；以及
当所述AP图像的平面和所述LL图像的平面在透视投影范围内向第二个法向量的方向移动并平面相交时，通过图像配准装置结合所述2D图像的来源和探测器之间包括透视投影关系的地理空间关系，确定第二感兴趣容积。
7.根据权利要求6所述的方法，其中
所述第一原点包括所述第一感兴趣容积的中心，并且
所述第二原点包括所述第二感兴趣容积的中心。
8.根据权利要求1所述的方法，还包括：
通过所述图像配准装置确定所述DRR图像的每个AP图像和LL图像的第一感兴趣区域；以及
通过所述图像配准装置确定与所述2D图像的每个AP图像和LL图像的第一感兴趣区域相对应的第二感兴趣区域，其中
所述第一参考位置位于所述第一感兴趣区域内，并且
所述第二参考位置位于所述第二感兴趣区域内。
9.根据权利要求8所述的方法，还包括：
通过所述图像配准装置，当所述AP图像上的感兴趣区域和所述LL图像上的感兴趣区域向所述第一法向量的方向移动并平面相交时，结合所述DDR图像的来源和探测器之间的地理空间关系，确定第一感兴趣容积；以及
通过所述图像配准装置，当所述AP图像上的感兴趣区域和所述LL图像上的感兴趣区域在透视投影范围内向所述第二个法向量的方向移动并平面相交时，结合所述2D图像的来源和探测器之间包括透视投影关系的地理空间关系，确定第二感兴趣容积。
10.根据权利要求9所述的方法，其中
所述第一原点包括所述第一感兴趣容积的中心，并且
所述第二原点包括所述第二感兴趣容积的中心。
11.根据权利要求9所述的方法，其中所述第一原点包括患者脊椎椎弓根螺钉的目标位置之间的中心。
12.根据权利要求11所述的方法，其中，所述第一旋转角度包括连接所述第一原点和所述椎弓根螺钉的入口点之间的中点的线段与通过所述第一感兴趣容积的中心的所述第一法向量之间相对于所述第一原点形成的角度。
13.根据权利要求8所述的方法，其中
所述DRR图像的所述AP图像和所述LL图像的每个第一感兴趣区域都包括一个矩形，并且
关于所述DRR图像，
该方法包括：
第一步，通过所述图像配准装置，计算在所述LL图像上针对所述AP图像上感兴趣区域顶点的外极线，与连接所述LL图像上感兴趣区域外围或侧边的中点的中线之间的第一交点；
第二步，通过所述图像配准装置，根据所述AP图像上感兴趣区域顶点到法向量的正交投影，通过对所述第一交点进行正交投影得到4个重建点；
第三步，通过所述图像配准装置，计算在所述AP图像上针对所述LL图像上感兴趣区域顶点的外极线，与连接所述AP图像上感兴趣区域外围或侧边的中点的中线之间的第二交点；
第四步，通过所述图像配准装置，根据所述LL图像上感兴趣区域顶点到法向量的正交投影，通过对所述第二交点进行正交投影得到4个重建点；以及
第五步，通过所述图像配准装置，计算根据第一到第四步获得的8个重建点形成的六面体中所述第一感兴趣容积。
14.根据权利要求8所述的方法，其中确定所述第二感兴趣容积包括，关于所述2D图像，
第一步，通过所述图像配准装置，计算在所述LL图像上针对所述AP图像上感兴趣区域顶点的外极线，与连接所述LL图像上感兴趣区域外围或侧边的中点的中线之间的第一交点；
第二步，通过所述图像配准装置，根据所述AP图像上感兴趣区域顶点到来源的透视投影矢量，通过对所述第一交点进行透视投影得到4个重建点；
第三步，通过所述图像配准装置，计算在所述AP图像上针对所述LL图像上感兴趣区域顶点的外极线，与连接所述AP图像上感兴趣区域外围或侧边的中点的中线之间的第二交点；
第四步，通过所述图像配准装置，根据所述LL图像上感兴趣区域顶点到来源的透视投影矢量，通过对所述第二交点进行透视投影得到4个重建点；以及
第五步，通过所述图像配准装置，计算根据第一到第四步获得的8个重建点形成的六面体中所述第二感兴趣容积。
15.一种图像配准方法，其步骤由包含处理器的图像配准装置执行，该方法包括：
手术前从3D成像装置中获取患者手术部位的3D图像；
从所述3D图像中提取前后(AP)方向和侧向(LL)方向的数字重建放射影像(DRR)；
在手术期间从2D成像装置中获取患者手术部位的AP图像和LL图像的2D图像；
确定每个AP图像和DRR图像的LL图像的第一感兴趣区域；
确定与每个AP图像和LL图像的2D图像的第一感兴趣区域相对应的第二感兴趣区域；
当所述AP图像上的感兴趣区域和所述LL图像上的感兴趣区域在所述AP图像和所述LL图像的平面以第一法向量的方向平行移动时，结合所述DRR图像的来源和探测器之间的地理空间关系，确定由平面相交形成的第一感兴趣容积；
当所述AP图像上的感兴趣区域和所述LL图像上的感兴趣区域在所述2D图像的所述AP图像和所述LL图像的透视投影范围内以第二法向量方向移动时，确定由平面相交形成的第二感兴趣容积，其中所述2D图像的来源和探测器之间的地理空间关系包括透视投影关系；
确定所述第一感兴趣容积内的第一参考位置和预设参考位置之间的第一位移，所述第一参考位置对应于所述第一感兴趣区域内的预设第一参考位置，所述预设参考位置对应所述第一参考位置；
确定参考位置和所述第二感兴趣容积内的第二参考位置之间的第二位移，所述参考位置对应所述第二感兴趣区域内的预设第二参考位置；以及
确定转换关系，以基于转换关系最小化所述第一感兴趣区域的顶点与所述第二感兴趣区域的顶点之间的欧式距离，其中2D图像和DRR图像之间的所述转换关系是基于第一位移和第二位移，由每个DRR图像和2D图像的来源和探测器之间的地理空间关系确定的。
16.根据权利要求15所述的方法，其中
确定所述第一位移包括根据所述参考位置和所述第一参考位置之间的角度确定第一旋转角度，对应于通过预设第一原点并与所述AP图像和所述LL图像平面的所述第一法向量的交叉乘积矢量平行的第一旋转轴；以及
确定所述第二位移包括根据所述参考位置和所述第二参考位置之间的角度确定第二旋转角度，对应于通过预设第二原点并与所述AP图像和所述LL图像平面的所述第二法向量的交叉乘积向量平行的第二旋转轴。
17.根据权利要求15所述的方法，其中确定所述第一兴趣容积和所述第二感兴趣容积包括通过将所述第一感兴趣区域和所述第二感兴趣区域顶点的外极线投射到所述第一法向量和所述第二法向量来形成一个多面体。
18.一种图像配准装置，包括处理器，该处理器执行基于权利要求1-17中任一项的图像配准方法。
19.一种医疗操作机器人系统，包括：
2D成像装置，被配置为在手术期间获取患者手术部位的2D图像；
机器人手臂，包括末端执行器，手术器械可分离的耦合至所述末端执行器；
位置传感器，被配置为检测所述手术器械或末端执行器的实时位置；
控制器，被配置为根据预设的手术方案控制所述机器人手臂；
显示器；以及
导航系统，被配置为在手术期间获取的2D图像上显示关于手术器械或植入物的规划信息，或通过执行基于权利要求1-17中任一项的图像配准方法，通过所述显示器在手术前获得的2D图像或3D图像上显示所述手术器械或所述植入物的实时位置。
20.一种存储软件的计算机程序介质，所述软件用于执行基于权利要求1-17中任一项的图像配准方法。
CN202311447959.5A 2022-11-02 2023-11-01 2d-3d图像配准方法和用于执行该方法的医疗操作机器人系统 Pending CN117994300A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0144585 2022-11-02
KR1020220144585A KR102612603B1 (ko) 2022-11-02 2022-11-02 2d-3d 이미지 정합 방법 및 이를 수행하는 수술용 로봇 시스템

Publications (1)

Publication Number Publication Date
CN117994300A true CN117994300A (zh) 2024-05-07

Family

ID=88647306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311447959.5A Pending CN117994300A (zh) 2022-11-02 2023-11-01 2d-3d图像配准方法和用于执行该方法的医疗操作机器人系统

Country Status (5)

Country Link
US (1) US20240144498A1 (zh)
EP (1) EP4404140A2 (zh)
JP (1) JP2024067006A (zh)
KR (1) KR102612603B1 (zh)
CN (1) CN117994300A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101758740B1 (ko) * 2015-09-09 2017-08-11 울산대학교 산학협력단 의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템
KR102203544B1 (ko) 2019-03-13 2021-01-18 큐렉소 주식회사 C-arm 기반의 의료영상 시스템 및 2D 이미지와 3D 공간의 정합방법
KR102394901B1 (ko) 2020-04-06 2022-05-09 큐렉소 주식회사 2차원 의료영상 기반 척추 수술 플래닝 장치 및 방법

Also Published As

Publication number Publication date
EP4404140A2 (en) 2024-07-24
US20240144498A1 (en) 2024-05-02
JP2024067006A (ja) 2024-05-16
KR102612603B1 (ko) 2023-12-12

Similar Documents

Publication Publication Date Title
US11657518B2 (en) Method for deformable 3D-2D registration using multiple locally rigid registrations
US11806183B2 (en) Apparatus and methods for use with image-guided skeletal procedures
US20220133412A1 (en) Apparatus and methods for use with image-guided skeletal procedures
US10426414B2 (en) System for tracking an ultrasonic probe in a body part
US20060004284A1 (en) Method and system for generating three-dimensional model of part of a body from fluoroscopy image data and specific landmarks
TWI836493B (zh) 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
CN106691600A (zh) 一种脊柱椎弓根钉植入定位装置
US20050200624A1 (en) Method and apparatus for determining a plane of symmetry of a three-dimensional object
US20220110698A1 (en) Apparatus and methods for use with image-guided skeletal procedures
AU2018256649B2 (en) System and method for surgical planning
US20240298980A1 (en) Apparatus and methods for use with image-guided skeletal procedures
CN114159160B (zh) 手术导航方法、装置、电子设备、存储介质
US9576353B2 (en) Method for verifying the relative position of bone structures
CN109350059B (zh) 用于肘部自动对准的组合的转向引擎和界标引擎
CN117994300A (zh) 2d-3d图像配准方法和用于执行该方法的医疗操作机器人系统
US11918406B2 (en) Marker registration correction by virtual model manipulation
Irwansyah et al. Repositioning bone fragments using registration of paired-points and assisted-constraints in virtual bone reduction surgery
CN112419475B (zh) 植入螺钉的椎骨与螺钉的位置关系的展示方法及装置
US20240307122A1 (en) Apparatus and methods for use with image-guided skeletal procedures
Zhao et al. A surgical navigation system based on augmented reality
EP4433993A1 (en) Method and navigation system for registering two-dimensional image data set with three-dimensional image data set of body of interest
WO2023089566A1 (en) Method and navigation system for registering two-dimensional image data set with three-dimensional image data set of body of interest

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination