CN108784834A - 一种基于定位标识进行空间配准的方法及设备 - Google Patents

一种基于定位标识进行空间配准的方法及设备 Download PDF

Info

Publication number
CN108784834A
CN108784834A CN201810310594.4A CN201810310594A CN108784834A CN 108784834 A CN108784834 A CN 108784834A CN 201810310594 A CN201810310594 A CN 201810310594A CN 108784834 A CN108784834 A CN 108784834A
Authority
CN
China
Prior art keywords
image
cross
image data
section
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810310594.4A
Other languages
English (en)
Inventor
李沃霖
王德峰
梅晓阳
骆嘉希
邬卓彬
潘杭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou SHU Kai Medical Technology Co., Ltd.
Original Assignee
Hangzhou Medical Technology Co Ltd
Shanghai Operation Kay Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Medical Technology Co Ltd, Shanghai Operation Kay Robot Co Ltd filed Critical Hangzhou Medical Technology Co Ltd
Priority to CN201810310594.4A priority Critical patent/CN108784834A/zh
Publication of CN108784834A publication Critical patent/CN108784834A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于定位标识进行空间配准的方法及设备，所述方法包括：根据基本图像单元确定分层粒度并基于分层粒度对所获取的三维图像数据进行分层解析，以获得多个单层图像；对所述多个单层图像中的每个进行图像识别以确定多个特征点并构建第一配准矩阵，利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准；获取具有定位标识的机械单元的实时图像数据，利用所述定位设备对所述实时图像数据中的定位标识进行识别；基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点以构建第二配准矩阵，并利用所述第二配准矩阵将所述定位设备的定位空间与机械单元的实时图像数据进行配准。

Description

一种基于定位标识进行空间配准的方法及设备
技术领域
本发明涉及器械导航领域，并且更具体地，涉及一种基于定位标识进行空间配准的方法及设备。
背景技术
机器人辅助手术技术是集多项现代高科技手段于一体的综合技术。外科医生可以远离手术台操纵机器人进行手术。利用机器人做手术时，医生的双手不碰触患者。一旦切口位置被确定，装有照相机和其他外科工具的机械臂将实施切断、止血及缝合等动作，外科医生只需坐在通常是手术室的控制台上，观测和指导机械臂工作。未来，机器人辅助手术技术能够让医生在地球的一端对另一端的患者实施手术。
空间配准是机器人辅助手术领域中的重要技术。空间配准将图像、跟踪系统和机器人手臂的协调系统对齐，使机器人手臂了解图像上计划的计划位置，并对手术器械进行实时监测。通过实时监测的空间配准来准确地对机器人手臂进行定位，可以发现手术器械可视化是至关重要的。
目前，医生必须将机器人手臂移动到患者特定区域，例如患者身体上的基准标记，以便配准机器人手臂。然而，机器人手臂的重量导致这项任务很难完成。这在一些手术中是不可能的，例如脊柱植入手术。
发明内容
为了解决上述问题，本申请提供一种基于定位标识进行空间配准的方法及设备。本申请的配准系统可以分为三个部分：(1)定位设备和图像的空间配准；(2)定位设备和机器人手臂的空间配准；(3)以及对机器人手臂的中心点进行定位的视觉修正。
根据本发明的一个方面，提供一种基于定位标识进行空间配准的方法，所述方法包括：
获取与目标对象的目标区域相关联的三维图像数据；
根据基本图像单元确定分层粒度并基于分层粒度对所述三维图像数据进行分层解析，以获得多个单层图像；
对所述多个单层图像中的每个进行图像识别以确定多个特征点；
基于所述多个特征点构建第一配准矩阵，利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准；
获取具有定位标识的机械单元的实时图像数据，利用所述定位设备对所述实时图像数据中的定位标识进行识别；
基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点；以及
基于所述至少一个特征匹配点构建第二配准矩阵，并利用所述第二配准矩阵将所述定位设备的定位空间与机械单元的实时图像数据进行配准，从而实现机械单元的实时图像数据与所述三维图像数据的空间配准。
其中，在获取与目标对象的目标区域相关联的三维图像数据之前还包括：
在所述目标对象的目标区域设置具有电子计算机断层扫描CT标识的支架并为所述目标对象的目标区域拍摄多个CT断面图像或锥形束CT断面图像。
其中，根据预先设定的医学图像要求确定所拍摄的多个CT断面图像或锥形束CT断面图像中的每个的质量评分。
其中，当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量大于高数量阈值时，将多个CT断面图像或锥形束CT断面图像丢弃。
其中，当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于高数量阈值且大于低数量阈值时，将多个CT断面图像或锥形束CT断面图像中质量评分低于标准分数的CT断面图像或锥形束CT断面图像进行图像修复。
其中，对经过图像修复的CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
其中，当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于低数量阈值时，对所述多个CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
其中，在所述目标对象的目标区域设置具有定位标识的支架。
其中，所述基本图像单元是单个像素或多个像素。
其中，所述多个单层图像中的每个单层图像是以基本图像单元为厚度并且以三维图像数据横截面为底面的立体结构。
其中，所述多个特征点中的每个特征点是能够对单层图像中的标记物进行标识的关键点。
其中，其中利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准包括：在所述第一配准矩阵中确定与定位标识相关联的多个配准点，将所述多个配准点与所述定位设备的定位空间中的基准点进行配准，从而实现定位设备的定位空间与三维图像数据的配准。
其中，其中使用高对比度材料来制造所述定位标识，并且根据目标区域的类型来设置所述定位标识的几何形状。
其中，所述高对比度材料为铝或钛合金。
其中，所述基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点包括：确定所识别的定位标识在三维图像数据中的标识位置，从所述多个特征点中选择以所述标识位置为中心的预定范围内的至少一个匹配特征点。
其中，在所述机械单元的实时图像数据与所述三维图像数据的空间配准之后，还包括根据用户输入进行手动配准。
根据本发明的另一方面，提供一种基于定位标识进行空间配准的设备，所述设备包括：
获取单元，获取与目标对象的目标区域相关联的三维图像数据；
解析单元，根据基本图像单元确定分层粒度并基于分层粒度对所述三维图像数据进行分层解析，以获得多个单层图像；
识别单元，对所述多个单层图像中的每个进行图像识别以确定多个特征点；
第一配准单元，基于所述多个特征点构建第一配准矩阵，利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准；
处理单元，获取具有定位标识的机械单元的实时图像数据，利用所述定位设备对所述实时图像数据中的定位标识进行识别；
选择单元，基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点；以及
第二配准单元，基于所述至少一个特征匹配点构建第二配准矩阵，并利用所述第二配准矩阵将所述定位设备的定位空间与机械单元的实时图像数据进行配准，从而实现机械单元的实时图像数据与所述三维图像数据的空间配准。
其中，在所述获取单元获取与目标对象的目标区域相关联的三维图像数据之前还包括：
在所述目标对象的目标区域设置具有电子计算机断层扫描CT标识的支架并为所述目标对象的目标区域拍摄多个CT断面图像或锥形束CT断面图像。
其中，根据预先设定的医学图像要求确定所拍摄的多个CT断面图像或锥形束CT断面图像中的每个的质量评分。
其中，当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量大于高数量阈值时，将多个CT断面图像或锥形束CT断面图像丢弃。
其中，当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于高数量阈值且大于低数量阈值时，将多个CT断面图像或锥形束CT断面图像中质量评分低于标准分数的CT断面图像或锥形束CT断面图像进行图像修复。
其中，对经过图像修复的CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
其中，当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于低数量阈值时，对所述多个CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
其中，在所述目标对象的目标区域设置具有定位标识的支架。
其中，所述基本图像单元是单个像素或多个像素。
其中，所述多个单层图像中的每个单层图像是以基本图像单元为厚度并且以三维图像数据横截面为底面的立体结构。
其中，所述多个特征点中的每个特征点是能够对单层图像中的标记物进行标识的关键点。
其中，其中利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准包括：在所述第一配准矩阵中确定与定位标识相关联的多个配准点，将所述多个配准点与所述定位设备的定位空间中的基准点进行配准，从而实现定位设备的定位空间与三维图像数据的配准。
其中，其中使用高对比度材料来制造所述定位标识，并且根据目标区域的类型来设置所述定位标识的几何形状。
其中，所述高对比度材料为铝或钛合金。
其中，所述基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点包括：确定所识别的定位标识在三维图像数据中的标识位置，从所述多个特征点中选择以所述标识位置为中心的预定范围内的至少一个匹配特征点。
其中，在所述机械单元的实时图像数据与所述三维图像数据的空间配准之后，还包括根据用户输入进行手动配准。
本申请的技术方案以自动方式进行空间配准，从而减少操作错误，并且无需将机器人手臂移动到病人的身体上。此外，本申请的技术方案进行空间配准能够节省时间(通常在2分钟内完成)。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为根据本发明实施方式的进行空间配准的逻辑结构的示意图；
图2为根据本发明实施方式的空间配准方法的流程图；
图3为根据本发明实施方式的基于定位标识进行空间配准的方法的流程图；以及
图4为根据本发明实施方式的基于定位标识进行空间配准的设备的结构示意图。
具体实施方式
图1为根据本发明实施方式的进行空间配准的逻辑结构的示意图。如图1所示，空间配准的逻辑结构涉及图像、定位设备和机械臂。在所述目标对象的目标区域设置具有电子计算机断层扫描CT标识的支架并为所述目标对象的目标区域拍摄多个CT断面图像或锥形束CT断面图像。根据预先设定的医学图像要求确定所拍摄的多个CT断面图像或锥形束CT断面图像中的每个的质量评分。
当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量大于高数量阈值时，将多个CT断面图像或锥形束CT断面图像丢弃。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于高数量阈值且大于低数量阈值时，将多个CT断面图像或锥形束CT断面图像中质量评分低于标准分数的CT断面图像或锥形束CT断面图像进行图像修复。对经过图像修复的CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于低数量阈值时，对所述多个CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
在获取与目标对象的目标区域相关联的三维图像数据后，根据基本图像单元确定分层粒度并基于分层粒度对所述三维图像数据进行分层解析，以获得多个单层图像。对所述多个单层图像中的每个进行图像识别以确定多个特征点并且基于所述多个特征点构建第一配准矩阵，利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准。
此外，还包括在所述目标对象的目标区域设置具有定位标识的支架。其中基本图像单元是单个像素或多个像素。所述多个单层图像中的每个单层图像是以基本图像单元为厚度并且以三维图像数据横截面为底面的立体结构。所述多个特征点中的每个特征点是能够对单层图像中的标记物进行标识的关键点。
其中利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准包括：在所述第一配准矩阵中确定与定位标识相关联的多个配准点，将所述多个配准点与所述定位设备的定位空间中的基准点进行配准，从而实现定位设备的定位空间与三维图像数据的配准。
获取具有定位标识的机械单元的实时图像数据，利用所述定位设备对所述实时图像数据中的定位标识进行识别，并且基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点。其中使用高对比度材料来制造所述定位标识，并且根据目标区域的类型来设置所述定位标识的几何形状。所述高对比度材料为铝或钛合金。所述基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点包括：确定所识别的定位标识在三维图像数据中的标识位置，从所述多个特征点中选择以所述标识位置为中心的预定范围内的至少一个匹配特征点。
基于所述至少一个特征匹配点构建第二配准矩阵，并利用所述第二配准矩阵将所述定位设备的定位空间与机械单元的实时图像数据进行配准，从而实现机械单元的实时图像数据与所述三维图像数据的空间配准。所述机械单元的实时图像数据与所述三维图像数据的空间配准之后，还包括根据用户输入进行手动配准。
为了将定位设备的空间坐标和图像的空间坐标进行配准，需要在这两个空间坐标中配准容易识别的内容。在这种情况下，本申请使用了具有几何形状(不对称，各向异性)并且由高对比度材料(铝，钛合金)构成的标识。随后，通过对相关算法(K均值，阈值等)进行处理，并通过重构算法重建三维模型。从而，本申请能够在图像中提取高对比度材质工具。通过跟踪标识和标识的模型(例如，通过三维扫描)，定位设备可以在空间中输出用于表示定位设备的坐标的模型。本申请通过变换来两个模型的距离进行最小化处理以实现配准。通常，模型由坐标系中的三维点组成，因此通过确定两个模型中每个相关点之间的距离，来实现配准。
图2为根据本发明实施方式的空间配准方法200的流程图。如图2所示，空间配准方法200从步骤201处开始。
在步骤202处，在所述目标对象的目标区域设置具有电子计算机断层扫描CT标识的支架。
在步骤203，为所述目标对象的目标区域拍摄多个CT断面图像或锥形束CT断面图像。
在步骤204，根据预先设定的医学图像要求确定所拍摄的多个CT断面图像或锥形束CT断面图像中的每个的质量评分。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量大于高数量阈值时，将多个CT断面图像或锥形束CT断面图像丢弃。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于高数量阈值且大于低数量阈值时，将多个CT断面图像或锥形束CT断面图像中质量评分低于标准分数的CT断面图像或锥形束CT断面图像进行图像修复。对经过图像修复的CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于低数量阈值时，对所述多个CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
在步骤205，在所述目标对象的目标区域设置具有定位标识的支架。
在步骤206，在获取与目标对象的目标区域相关联的三维图像数据后，根据基本图像单元确定分层粒度并基于分层粒度对所述三维图像数据进行分层解析，以获得多个单层图像。对所述多个单层图像中的每个进行图像识别以确定多个特征点并且基于所述多个特征点构建第一配准矩阵，利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准。
其中基本图像单元是单个像素或多个像素。所述多个单层图像中的每个单层图像是以基本图像单元为厚度并且以三维图像数据横截面为底面的立体结构。所述多个特征点中的每个特征点是能够对单层图像中的标记物进行标识的关键点。
其中利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准包括：在所述第一配准矩阵中确定与定位标识相关联的多个配准点，将所述多个配准点与所述定位设备的定位空间中的基准点进行配准，从而实现定位设备的定位空间与三维图像数据的配准。
在步骤207，获取具有定位标识的机械单元的实时图像数据，利用所述定位设备对所述实时图像数据中的定位标识进行识别，并且基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点。其中使用高对比度材料来制造所述定位标识，并且根据目标区域的类型来设置所述定位标识的几何形状。所述高对比度材料为铝或钛合金。所述基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点包括：确定所识别的定位标识在三维图像数据中的标识位置，从所述多个特征点中选择以所述标识位置为中心的预定范围内的至少一个匹配特征点。
基于所述至少一个特征匹配点构建第二配准矩阵，并利用所述第二配准矩阵将所述定位设备的定位空间与机械单元的实时图像数据进行配准，从而实现机械单元的实时图像数据与所述三维图像数据的空间配准。
在步骤208，所述机械单元的实时图像数据与所述三维图像数据的空间配准之后，还包括根据用户输入进行手动配准。
在步骤209，确定空间配准是否符合要求。
如果符合要求，那么进行步骤210，方法结束。
为了将定位设备的空间坐标和图像的空间坐标进行配准，需要在这两个空间坐标中配准容易识别的内容。在这种情况下，本申请使用了具有几何形状(不对称，各向异性)并且由高对比度材料(铝，钛合金)构成的标识。随后，通过对相关算法(K均值，阈值等)进行处理，并通过重构算法重建三维模型。从而，本申请能够在图像中提取高对比度材质工具。通过跟踪标识和标识的模型(例如，通过三维扫描)，定位设备可以在空间中输出用于表示定位设备的坐标的模型。本申请通过变换来两个模型的距离进行最小化处理以实现配准。通常，模型由坐标系中的三维点组成，因此通过确定两个模型中每个相关点之间的距离，来实现配准。
图3为根据本发明实施方式的基于定位标识进行空间配准的方法300的流程图。如图3所示，在步骤301，获取与目标对象的目标区域相关联的三维图像数据。在获取与目标对象的目标区域相关联的三维图像数据之前还包括：在所述目标对象的目标区域设置具有电子计算机断层扫描CT标识的支架并为所述目标对象的目标区域拍摄多个CT断面图像或锥形束CT断面图像。根据预先设定的医学图像要求确定所拍摄的多个CT断面图像或锥形束CT断面图像中的每个的质量评分。
当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量大于高数量阈值时，将多个CT断面图像或锥形束CT断面图像丢弃。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于高数量阈值且大于低数量阈值时，将多个CT断面图像或锥形束CT断面图像中质量评分低于标准分数的CT断面图像或锥形束CT断面图像进行图像修复。对经过图像修复的CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于低数量阈值时，对所述多个CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。还包括在所述目标对象的目标区域设置具有定位标识的支架。
在步骤302，根据基本图像单元确定分层粒度并基于分层粒度对所述三维图像数据进行分层解析，以获得多个单层图像。所述基本图像单元是单个像素或多个像素。所述多个单层图像中的每个单层图像是以基本图像单元为厚度并且以三维图像数据横截面为底面的立体结构。
在步骤303，对所述多个单层图像中的每个进行图像识别以确定多个特征点。所述多个特征点中的每个特征点是能够对单层图像中的标记物进行标识的关键点。
在步骤304，基于所述多个特征点构建第一配准矩阵，利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准。其中利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准包括：在所述第一配准矩阵中确定与定位标识相关联的多个配准点，将所述多个配准点与所述定位设备的定位空间中的基准点进行配准，从而实现定位设备的定位空间与三维图像数据的配准。
在步骤305，获取具有定位标识的机械单元的实时图像数据，利用所述定位设备对所述实时图像数据中的定位标识进行识别。其中使用高对比度材料来制造所述定位标识，并且根据目标区域的类型来设置所述定位标识的几何形状。所述高对比度材料为铝或钛合金。
在步骤306，基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点。所述基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点包括：确定所识别的定位标识在三维图像数据中的标识位置，从所述多个特征点中选择以所述标识位置为中心的预定范围内的至少一个匹配特征点。
在步骤307，基于所述至少一个特征匹配点构建第二配准矩阵，并利用所述第二配准矩阵将所述定位设备的定位空间与机械单元的实时图像数据进行配准，从而实现机械单元的实时图像数据与所述三维图像数据的空间配准。在所述机械单元的实时图像数据与所述三维图像数据的空间配准之后，还包括根据用户输入进行手动配准。
图4为根据本发明实施方式的基于定位标识进行空间配准的设备400的结构示意图。如图4所示，设备400包括：获取单元401、解析单元402、识别单元403、第一配准单元404、处理单元405、选择单元406以及第二配准单元407。
其中，获取单元401获取与目标对象的目标区域相关联的三维图像数据。解析单元402根据基本图像单元确定分层粒度并基于分层粒度对所述三维图像数据进行分层解析，以获得多个单层图像。识别单元403对所述多个单层图像中的每个进行图像识别以确定多个特征点。第一配准单元404基于所述多个特征点构建第一配准矩阵，利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准。处理单元405获取具有定位标识的机械单元的实时图像数据，利用所述定位设备对所述实时图像数据中的定位标识进行识别。选择单元406基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点。以及第二配准单元407基于所述至少一个特征匹配点构建第二配准矩阵，并利用所述第二配准矩阵将所述定位设备的定位空间与机械单元的实时图像数据进行配准，从而实现机械单元的实时图像数据与所述三维图像数据的空间配准。
还包括，在获取与目标对象的目标区域相关联的三维图像数据之前，在所述目标对象的目标区域设置具有电子计算机断层扫描CT标识的支架并为所述目标对象的目标区域拍摄多个CT断面图像或锥形束CT断面图像。根据预先设定的医学图像要求确定所拍摄的多个CT断面图像或锥形束CT断面图像中的每个的质量评分。
当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量大于高数量阈值时，将多个CT断面图像或锥形束CT断面图像丢弃。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于高数量阈值且大于低数量阈值时，将多个CT断面图像或锥形束CT断面图像中质量评分低于标准分数的CT断面图像或锥形束CT断面图像进行图像修复。对经过图像修复的CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于低数量阈值时，对所述多个CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
在所述目标对象的目标区域设置具有定位标识的支架。所述基本图像单元是单个像素或多个像素。所述多个单层图像中的每个单层图像是以基本图像单元为厚度并且以三维图像数据横截面为底面的立体结构。所述多个特征点中的每个特征点是能够对单层图像中的标记物进行标识的关键点。其中利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准包括：在所述第一配准矩阵中确定与定位标识相关联的多个配准点，将所述多个配准点与所述定位设备的定位空间中的基准点进行配准，从而实现定位设备的定位空间与三维图像数据的配准。
其中使用高对比度材料来制造所述定位标识，并且根据目标区域的类型来设置所述定位标识的几何形状。所述高对比度材料为铝或钛合金所述基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点包括：确定所识别的定位标识在三维图像数据中的标识位置，从所述多个特征点中选择以所述标识位置为中心的预定范围内的至少一个匹配特征点。在所述机械单元的实时图像数据与所述三维图像数据的空间配准之后，还包括根据用户输入进行手动配准。

Claims (32)

1.一种基于定位标识进行空间配准的方法，所述方法包括：
获取与目标对象的目标区域相关联的三维图像数据；
根据基本图像单元确定分层粒度并基于分层粒度对所述三维图像数据进行分层解析，以获得多个单层图像；
对所述多个单层图像中的每个进行图像识别以确定多个特征点；
基于所述多个特征点构建第一配准矩阵，利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准；
获取具有定位标识的机械单元的实时图像数据，利用所述定位设备对所述实时图像数据中的定位标识进行识别；
基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点；以及
基于所述至少一个特征匹配点构建第二配准矩阵，并利用所述第二配准矩阵将所述定位设备的定位空间与机械单元的实时图像数据进行配准，从而实现机械单元的实时图像数据与所述三维图像数据的空间配准。
2.根据权利要求1所述的方法，在获取与目标对象的目标区域相关联的三维图像数据之前还包括：
在所述目标对象的目标区域设置具有电子计算机断层扫描CT标识的支架并为所述目标对象的目标区域拍摄多个CT断面图像或锥形束CT断面图像。
3.根据权利要求2所述的方法，根据预先设定的医学图像要求确定所拍摄的多个CT断面图像或锥形束CT断面图像中的每个的质量评分。
4.根据权利要求3所述的方法，当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量大于高数量阈值时，将多个CT断面图像或锥形束CT断面图像丢弃。
5.根据权利要求3所述的方法，当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于高数量阈值且大于低数量阈值时，将多个CT断面图像或锥形束CT断面图像中质量评分低于标准分数的CT断面图像或锥形束CT断面图像进行图像修复。
6.根据权利要求5所述的方法，对经过图像修复的CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
7.根据权利要求3所述的方法，当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于低数量阈值时，对所述多个CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
8.根据权利要求6或7所述的方法，在所述目标对象的目标区域设置具有定位标识的支架。
9.根据权利要求1所述的方法，所述基本图像单元是单个像素或多个像素。
10.根据权利要求9所述的方法，所述多个单层图像中的每个单层图像是以基本图像单元为厚度并且以三维图像数据横截面为底面的立体结构。
11.根据权利要求1所述的方法，所述多个特征点中的每个特征点是能够对单层图像中的标记物进行标识的关键点。
12.根据权利要求8所述的方法，其中利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准包括：在所述第一配准矩阵中确定与定位标识相关联的多个配准点，将所述多个配准点与所述定位设备的定位空间中的基准点进行配准，从而实现定位设备的定位空间与三维图像数据的配准。
13.根据权利要求1所述的方法，其中使用高对比度材料来制造所述定位标识，并且根据目标区域的类型来设置所述定位标识的几何形状。
14.根据权利要求13所述的方法，所述高对比度材料为铝或钛合金。
15.根据权利要求1所述的方法，所述基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点包括：确定所识别的定位标识在三维图像数据中的标识位置，从所述多个特征点中选择以所述标识位置为中心的预定范围内的至少一个匹配特征点。
16.根据权利要求1所述的方法，在所述机械单元的实时图像数据与所述三维图像数据的空间配准之后，还包括根据用户输入进行手动配准。
17.一种基于定位标识进行空间配准的设备，所述设备包括：
获取单元，获取与目标对象的目标区域相关联的三维图像数据；
解析单元，根据基本图像单元确定分层粒度并基于分层粒度对所述三维图像数据进行分层解析，以获得多个单层图像；
识别单元，对所述多个单层图像中的每个进行图像识别以确定多个特征点；
第一配准单元，基于所述多个特征点构建第一配准矩阵，利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准；
处理单元，获取具有定位标识的机械单元的实时图像数据，利用所述定位设备对所述实时图像数据中的定位标识进行识别；
选择单元，基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点；以及
第二配准单元，基于所述至少一个特征匹配点构建第二配准矩阵，并利用所述第二配准矩阵将所述定位设备的定位空间与机械单元的实时图像数据进行配准，从而实现机械单元的实时图像数据与所述三维图像数据的空间配准。
18.根据权利要求17所述的设备，还包括，在获取与目标对象的目标区域相关联的三维图像数据之前，在所述目标对象的目标区域设置具有电子计算机断层扫描CT标识的支架并为所述目标对象的目标区域拍摄多个CT断面图像或锥形束CT断面图像。
19.根据权利要求18所述的设备，根据预先设定的医学图像要求确定所拍摄的多个CT断面图像或锥形束CT断面图像中的每个的质量评分。
20.根据权利要求19所述的设备，当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量大于高数量阈值时，将多个CT断面图像或锥形束CT断面图像丢弃。
21.根据权利要求19所述的设备，当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于高数量阈值且大于低数量阈值时，将多个CT断面图像或锥形束CT断面图像中质量评分低于标准分数的CT断面图像或锥形束CT断面图像进行图像修复。
22.根据权利要求21所述的设备，对经过图像修复的CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
23.根据权利要求19所述的设备，当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于低数量阈值时，对所述多个CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
24.根据权利要求22或23所述的设备，在所述目标对象的目标区域设置具有定位标识的支架。
25.根据权利要求17所述的设备，所述基本图像单元是单个像素或多个像素。
26.根据权利要求25所述的设备，所述多个单层图像中的每个单层图像是以基本图像单元为厚度并且以三维图像数据横截面为底面的立体结构。
27.根据权利要求17所述的设备，所述多个特征点中的每个特征点是能够对单层图像中的标记物进行标识的关键点。
28.根据权利要求24所述的设备，其中利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准包括：在所述第一配准矩阵中确定与定位标识相关联的多个配准点，将所述多个配准点与所述定位设备的定位空间中的基准点进行配准，从而实现定位设备的定位空间与三维图像数据的配准。
29.根据权利要求17所述的设备，其中使用高对比度材料来制造所述定位标识，并且根据目标区域的类型来设置所述定位标识的几何形状。
30.根据权利要求29所述的设备，所述高对比度材料为铝或钛合金。
31.根据权利要求17所述的设备，所述基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点包括：确定所识别的定位标识在三维图像数据中的标识位置，从所述多个特征点中选择以所述标识位置为中心的预定范围内的至少一个匹配特征点。
32.根据权利要求17述的设备，在所述机械单元的实时图像数据与所述三维图像数据的空间配准之后，还包括根据用户输入进行手动配准。
CN201810310594.4A 2018-04-09 2018-04-09 一种基于定位标识进行空间配准的方法及设备 Pending CN108784834A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810310594.4A CN108784834A (zh) 2018-04-09 2018-04-09 一种基于定位标识进行空间配准的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810310594.4A CN108784834A (zh) 2018-04-09 2018-04-09 一种基于定位标识进行空间配准的方法及设备

Publications (1)

Publication Number Publication Date
CN108784834A true CN108784834A (zh) 2018-11-13

Family

ID=64095574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810310594.4A Pending CN108784834A (zh) 2018-04-09 2018-04-09 一种基于定位标识进行空间配准的方法及设备

Country Status (1)

Country Link
CN (1) CN108784834A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101797182A (zh) * 2010-05-20 2010-08-11 北京理工大学 一种基于增强现实技术的鼻内镜微创手术导航系统
CN102933163A (zh) * 2010-04-14 2013-02-13 史密夫和内修有限公司 用于基于患者的计算机辅助手术程序的系统和方法
CN106999248A (zh) * 2014-06-19 2017-08-01 Kb医疗公司 用于执行微创外科手术的系统及方法
US20170340389A1 (en) * 2016-05-27 2017-11-30 Mako Surgical Corp. Preoperative planning and associated intraoperative registration for a surgical system
CN107440797A (zh) * 2017-08-21 2017-12-08 上海霖晏医疗科技有限公司 用于手术导航的注册配准系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102933163A (zh) * 2010-04-14 2013-02-13 史密夫和内修有限公司 用于基于患者的计算机辅助手术程序的系统和方法
CN101797182A (zh) * 2010-05-20 2010-08-11 北京理工大学 一种基于增强现实技术的鼻内镜微创手术导航系统
CN106999248A (zh) * 2014-06-19 2017-08-01 Kb医疗公司 用于执行微创外科手术的系统及方法
US20170340389A1 (en) * 2016-05-27 2017-11-30 Mako Surgical Corp. Preoperative planning and associated intraoperative registration for a surgical system
CN107440797A (zh) * 2017-08-21 2017-12-08 上海霖晏医疗科技有限公司 用于手术导航的注册配准系统及方法

Similar Documents

Publication Publication Date Title
US10258427B2 (en) Mixed reality imaging apparatus and surgical suite
DE102011078212B4 (de) Verfahren und Vorrichtung zum Darstellen eines Objektes
CN107811710B (zh) 手术辅助定位系统
CN107456278B (zh) 一种内窥镜手术导航方法和系统
US10433915B2 (en) System and method for image localization of effecters during a medical procedure
US20050203380A1 (en) System and method for augmented reality navigation in a medical intervention procedure
US20040186347A1 (en) Surgical operation assistance system and surgical operation assisting method
CN106535812A (zh) 带有基于定量三维成像的触觉反馈的手术系统
WO2014120909A1 (en) Apparatus, system and method for surgical navigation
DE102014218558A1 (de) Benutzerschnittstelle und Verfahren zur automatisierten Positionierung eines Untersuchungstisches relativ zu einer medizintechnischen bildgebenden Anlage
CN107595390B (zh) 一种超声影像与ct影像的实时匹配融合方法
CN108629845A (zh) 手术导航方法、装置、设备、系统和可读存储介质
CN115153835A (zh) 基于特征点配准与增强现实的髋臼假体放置引导系统及方法
WO2020145826A1 (en) Method and assembly for spatial mapping of a model, such as a holographic model, of a surgical tool and/or anatomical structure onto a spatial position of the surgical tool respectively anatomical structure, as well as a surgical tool
US20230074630A1 (en) Surgical systems and methods for positioning objects using augmented reality navigation
CN110169821A (zh) 一种图像处理方法、装置及系统
JP2017164075A (ja) 画像位置合せ装置、方法およびプログラム
CN108784834A (zh) 一种基于定位标识进行空间配准的方法及设备
EP3973540A1 (en) Systems and methods for generating workspace volumes and identifying reachable workspaces of surgical instruments
JP2024508126A (ja) 拡張現実を使用して整形外科手術用の脊椎ロッドを提案するための方法およびシステム
US20240041526A1 (en) Robotic surgical system
KR20000011134A (ko) 정위 수술 방법 및 장치
Condino et al. Single feature constrained manual registration method for Augmented Reality applications in gynecological laparoscopic interventions
Żuk et al. Quantitative evaluation of stereoscopic augmented reality visualization using an optical see-through head-mounted display.
Maddah 3D visualization and interactive image manipulation for surgical planning in robot-assisted surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20181112

Address after: 201413 Shanghai Fengxian District Xinyang highway 1566 No. 12 factory floor 101 rooms.

Applicant after: Shanghai operation Kay robot Co., Ltd.

Applicant after: Hangzhou SHU Kai Medical Technology Co., Ltd.

Address before: 201413 Shanghai Fengxian District Xinyang highway 1566 No. 12 factory floor 101 rooms.

Applicant before: Shanghai operation Kay robot Co., Ltd.

Applicant before: Hangzhou Medical Technology Co., Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181113

WD01 Invention patent application deemed withdrawn after publication