一种基于定位标识进行空间配准的方法及设备
技术领域
本发明涉及器械导航领域,并且更具体地,涉及一种基于定位标识进行空间配准的方法及设备。
背景技术
机器人辅助手术技术是集多项现代高科技手段于一体的综合技术。外科医生可以远离手术台操纵机器人进行手术。利用机器人做手术时,医生的双手不碰触患者。一旦切口位置被确定,装有照相机和其他外科工具的机械臂将实施切断、止血及缝合等动作,外科医生只需坐在通常是手术室的控制台上,观测和指导机械臂工作。未来,机器人辅助手术技术能够让医生在地球的一端对另一端的患者实施手术。
空间配准是机器人辅助手术领域中的重要技术。空间配准将图像、跟踪系统和机器人手臂的协调系统对齐,使机器人手臂了解图像上计划的计划位置,并对手术器械进行实时监测。通过实时监测的空间配准来准确地对机器人手臂进行定位,可以发现手术器械可视化是至关重要的。
目前,医生必须将机器人手臂移动到患者特定区域,例如患者身体上的基准标记,以便配准机器人手臂。然而,机器人手臂的重量导致这项任务很难完成。这在一些手术中是不可能的,例如脊柱植入手术。
发明内容
为了解决上述问题,本申请提供一种基于定位标识进行空间配准的方法及设备。本申请的配准系统可以分为三个部分:(1)定位设备和图像的空间配准;(2)定位设备和机器人手臂的空间配准;(3)以及对机器人手臂的中心点进行定位的视觉修正。
根据本发明的一个方面,提供一种基于定位标识进行空间配准的方法,所述方法包括:
获取与目标对象的目标区域相关联的三维图像数据;
根据基本图像单元确定分层粒度并基于分层粒度对所述三维图像数据进行分层解析,以获得多个单层图像;
对所述多个单层图像中的每个进行图像识别以确定多个特征点;
基于所述多个特征点构建第一配准矩阵,利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准;
获取具有定位标识的机械单元的实时图像数据,利用所述定位设备对所述实时图像数据中的定位标识进行识别;
基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点;以及
基于所述至少一个特征匹配点构建第二配准矩阵,并利用所述第二配准矩阵将所述定位设备的定位空间与机械单元的实时图像数据进行配准,从而实现机械单元的实时图像数据与所述三维图像数据的空间配准。
其中,在获取与目标对象的目标区域相关联的三维图像数据之前还包括:
在所述目标对象的目标区域设置具有电子计算机断层扫描CT标识的支架并为所述目标对象的目标区域拍摄多个CT断面图像或锥形束CT断面图像。
其中,根据预先设定的医学图像要求确定所拍摄的多个CT断面图像或锥形束CT断面图像中的每个的质量评分。
其中,当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量大于高数量阈值时,将多个CT断面图像或锥形束CT断面图像丢弃。
其中,当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于高数量阈值且大于低数量阈值时,将多个CT断面图像或锥形束CT断面图像中质量评分低于标准分数的CT断面图像或锥形束CT断面图像进行图像修复。
其中,对经过图像修复的CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
其中,当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于低数量阈值时,对所述多个CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
其中,在所述目标对象的目标区域设置具有定位标识的支架。
其中,所述基本图像单元是单个像素或多个像素。
其中,所述多个单层图像中的每个单层图像是以基本图像单元为厚度并且以三维图像数据横截面为底面的立体结构。
其中,所述多个特征点中的每个特征点是能够对单层图像中的标记物进行标识的关键点。
其中,其中利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准包括:在所述第一配准矩阵中确定与定位标识相关联的多个配准点,将所述多个配准点与所述定位设备的定位空间中的基准点进行配准,从而实现定位设备的定位空间与三维图像数据的配准。
其中,其中使用高对比度材料来制造所述定位标识,并且根据目标区域的类型来设置所述定位标识的几何形状。
其中,所述高对比度材料为铝或钛合金。
其中,所述基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点包括:确定所识别的定位标识在三维图像数据中的标识位置,从所述多个特征点中选择以所述标识位置为中心的预定范围内的至少一个匹配特征点。
其中,在所述机械单元的实时图像数据与所述三维图像数据的空间配准之后,还包括根据用户输入进行手动配准。
根据本发明的另一方面,提供一种基于定位标识进行空间配准的设备,所述设备包括:
获取单元,获取与目标对象的目标区域相关联的三维图像数据;
解析单元,根据基本图像单元确定分层粒度并基于分层粒度对所述三维图像数据进行分层解析,以获得多个单层图像;
识别单元,对所述多个单层图像中的每个进行图像识别以确定多个特征点;
第一配准单元,基于所述多个特征点构建第一配准矩阵,利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准;
处理单元,获取具有定位标识的机械单元的实时图像数据,利用所述定位设备对所述实时图像数据中的定位标识进行识别;
选择单元,基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点;以及
第二配准单元,基于所述至少一个特征匹配点构建第二配准矩阵,并利用所述第二配准矩阵将所述定位设备的定位空间与机械单元的实时图像数据进行配准,从而实现机械单元的实时图像数据与所述三维图像数据的空间配准。
其中,在所述获取单元获取与目标对象的目标区域相关联的三维图像数据之前还包括:
在所述目标对象的目标区域设置具有电子计算机断层扫描CT标识的支架并为所述目标对象的目标区域拍摄多个CT断面图像或锥形束CT断面图像。
其中,根据预先设定的医学图像要求确定所拍摄的多个CT断面图像或锥形束CT断面图像中的每个的质量评分。
其中,当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量大于高数量阈值时,将多个CT断面图像或锥形束CT断面图像丢弃。
其中,当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于高数量阈值且大于低数量阈值时,将多个CT断面图像或锥形束CT断面图像中质量评分低于标准分数的CT断面图像或锥形束CT断面图像进行图像修复。
其中,对经过图像修复的CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
其中,当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于低数量阈值时,对所述多个CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
其中,在所述目标对象的目标区域设置具有定位标识的支架。
其中,所述基本图像单元是单个像素或多个像素。
其中,所述多个单层图像中的每个单层图像是以基本图像单元为厚度并且以三维图像数据横截面为底面的立体结构。
其中,所述多个特征点中的每个特征点是能够对单层图像中的标记物进行标识的关键点。
其中,其中利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准包括:在所述第一配准矩阵中确定与定位标识相关联的多个配准点,将所述多个配准点与所述定位设备的定位空间中的基准点进行配准,从而实现定位设备的定位空间与三维图像数据的配准。
其中,其中使用高对比度材料来制造所述定位标识,并且根据目标区域的类型来设置所述定位标识的几何形状。
其中,所述高对比度材料为铝或钛合金。
其中,所述基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点包括:确定所识别的定位标识在三维图像数据中的标识位置,从所述多个特征点中选择以所述标识位置为中心的预定范围内的至少一个匹配特征点。
其中,在所述机械单元的实时图像数据与所述三维图像数据的空间配准之后,还包括根据用户输入进行手动配准。
本申请的技术方案以自动方式进行空间配准,从而减少操作错误,并且无需将机器人手臂移动到病人的身体上。此外,本申请的技术方案进行空间配准能够节省时间(通常在2分钟内完成)。
附图说明
通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:
图1为根据本发明实施方式的进行空间配准的逻辑结构的示意图;
图2为根据本发明实施方式的空间配准方法的流程图;
图3为根据本发明实施方式的基于定位标识进行空间配准的方法的流程图;以及
图4为根据本发明实施方式的基于定位标识进行空间配准的设备的结构示意图。
具体实施方式
图1为根据本发明实施方式的进行空间配准的逻辑结构的示意图。如图1所示,空间配准的逻辑结构涉及图像、定位设备和机械臂。在所述目标对象的目标区域设置具有电子计算机断层扫描CT标识的支架并为所述目标对象的目标区域拍摄多个CT断面图像或锥形束CT断面图像。根据预先设定的医学图像要求确定所拍摄的多个CT断面图像或锥形束CT断面图像中的每个的质量评分。
当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量大于高数量阈值时,将多个CT断面图像或锥形束CT断面图像丢弃。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于高数量阈值且大于低数量阈值时,将多个CT断面图像或锥形束CT断面图像中质量评分低于标准分数的CT断面图像或锥形束CT断面图像进行图像修复。对经过图像修复的CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于低数量阈值时,对所述多个CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
在获取与目标对象的目标区域相关联的三维图像数据后,根据基本图像单元确定分层粒度并基于分层粒度对所述三维图像数据进行分层解析,以获得多个单层图像。对所述多个单层图像中的每个进行图像识别以确定多个特征点并且基于所述多个特征点构建第一配准矩阵,利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准。
此外,还包括在所述目标对象的目标区域设置具有定位标识的支架。其中基本图像单元是单个像素或多个像素。所述多个单层图像中的每个单层图像是以基本图像单元为厚度并且以三维图像数据横截面为底面的立体结构。所述多个特征点中的每个特征点是能够对单层图像中的标记物进行标识的关键点。
其中利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准包括:在所述第一配准矩阵中确定与定位标识相关联的多个配准点,将所述多个配准点与所述定位设备的定位空间中的基准点进行配准,从而实现定位设备的定位空间与三维图像数据的配准。
获取具有定位标识的机械单元的实时图像数据,利用所述定位设备对所述实时图像数据中的定位标识进行识别,并且基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点。其中使用高对比度材料来制造所述定位标识,并且根据目标区域的类型来设置所述定位标识的几何形状。所述高对比度材料为铝或钛合金。所述基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点包括:确定所识别的定位标识在三维图像数据中的标识位置,从所述多个特征点中选择以所述标识位置为中心的预定范围内的至少一个匹配特征点。
基于所述至少一个特征匹配点构建第二配准矩阵,并利用所述第二配准矩阵将所述定位设备的定位空间与机械单元的实时图像数据进行配准,从而实现机械单元的实时图像数据与所述三维图像数据的空间配准。所述机械单元的实时图像数据与所述三维图像数据的空间配准之后,还包括根据用户输入进行手动配准。
为了将定位设备的空间坐标和图像的空间坐标进行配准,需要在这两个空间坐标中配准容易识别的内容。在这种情况下,本申请使用了具有几何形状(不对称,各向异性)并且由高对比度材料(铝,钛合金)构成的标识。随后,通过对相关算法(K均值,阈值等)进行处理,并通过重构算法重建三维模型。从而,本申请能够在图像中提取高对比度材质工具。通过跟踪标识和标识的模型(例如,通过三维扫描),定位设备可以在空间中输出用于表示定位设备的坐标的模型。本申请通过变换来两个模型的距离进行最小化处理以实现配准。通常,模型由坐标系中的三维点组成,因此通过确定两个模型中每个相关点之间的距离,来实现配准。
图2为根据本发明实施方式的空间配准方法200的流程图。如图2所示,空间配准方法200从步骤201处开始。
在步骤202处,在所述目标对象的目标区域设置具有电子计算机断层扫描CT标识的支架。
在步骤203,为所述目标对象的目标区域拍摄多个CT断面图像或锥形束CT断面图像。
在步骤204,根据预先设定的医学图像要求确定所拍摄的多个CT断面图像或锥形束CT断面图像中的每个的质量评分。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量大于高数量阈值时,将多个CT断面图像或锥形束CT断面图像丢弃。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于高数量阈值且大于低数量阈值时,将多个CT断面图像或锥形束CT断面图像中质量评分低于标准分数的CT断面图像或锥形束CT断面图像进行图像修复。对经过图像修复的CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于低数量阈值时,对所述多个CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
在步骤205,在所述目标对象的目标区域设置具有定位标识的支架。
在步骤206,在获取与目标对象的目标区域相关联的三维图像数据后,根据基本图像单元确定分层粒度并基于分层粒度对所述三维图像数据进行分层解析,以获得多个单层图像。对所述多个单层图像中的每个进行图像识别以确定多个特征点并且基于所述多个特征点构建第一配准矩阵,利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准。
其中基本图像单元是单个像素或多个像素。所述多个单层图像中的每个单层图像是以基本图像单元为厚度并且以三维图像数据横截面为底面的立体结构。所述多个特征点中的每个特征点是能够对单层图像中的标记物进行标识的关键点。
其中利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准包括:在所述第一配准矩阵中确定与定位标识相关联的多个配准点,将所述多个配准点与所述定位设备的定位空间中的基准点进行配准,从而实现定位设备的定位空间与三维图像数据的配准。
在步骤207,获取具有定位标识的机械单元的实时图像数据,利用所述定位设备对所述实时图像数据中的定位标识进行识别,并且基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点。其中使用高对比度材料来制造所述定位标识,并且根据目标区域的类型来设置所述定位标识的几何形状。所述高对比度材料为铝或钛合金。所述基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点包括:确定所识别的定位标识在三维图像数据中的标识位置,从所述多个特征点中选择以所述标识位置为中心的预定范围内的至少一个匹配特征点。
基于所述至少一个特征匹配点构建第二配准矩阵,并利用所述第二配准矩阵将所述定位设备的定位空间与机械单元的实时图像数据进行配准,从而实现机械单元的实时图像数据与所述三维图像数据的空间配准。
在步骤208,所述机械单元的实时图像数据与所述三维图像数据的空间配准之后,还包括根据用户输入进行手动配准。
在步骤209,确定空间配准是否符合要求。
如果符合要求,那么进行步骤210,方法结束。
为了将定位设备的空间坐标和图像的空间坐标进行配准,需要在这两个空间坐标中配准容易识别的内容。在这种情况下,本申请使用了具有几何形状(不对称,各向异性)并且由高对比度材料(铝,钛合金)构成的标识。随后,通过对相关算法(K均值,阈值等)进行处理,并通过重构算法重建三维模型。从而,本申请能够在图像中提取高对比度材质工具。通过跟踪标识和标识的模型(例如,通过三维扫描),定位设备可以在空间中输出用于表示定位设备的坐标的模型。本申请通过变换来两个模型的距离进行最小化处理以实现配准。通常,模型由坐标系中的三维点组成,因此通过确定两个模型中每个相关点之间的距离,来实现配准。
图3为根据本发明实施方式的基于定位标识进行空间配准的方法300的流程图。如图3所示,在步骤301,获取与目标对象的目标区域相关联的三维图像数据。在获取与目标对象的目标区域相关联的三维图像数据之前还包括:在所述目标对象的目标区域设置具有电子计算机断层扫描CT标识的支架并为所述目标对象的目标区域拍摄多个CT断面图像或锥形束CT断面图像。根据预先设定的医学图像要求确定所拍摄的多个CT断面图像或锥形束CT断面图像中的每个的质量评分。
当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量大于高数量阈值时,将多个CT断面图像或锥形束CT断面图像丢弃。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于高数量阈值且大于低数量阈值时,将多个CT断面图像或锥形束CT断面图像中质量评分低于标准分数的CT断面图像或锥形束CT断面图像进行图像修复。对经过图像修复的CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于低数量阈值时,对所述多个CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。还包括在所述目标对象的目标区域设置具有定位标识的支架。
在步骤302,根据基本图像单元确定分层粒度并基于分层粒度对所述三维图像数据进行分层解析,以获得多个单层图像。所述基本图像单元是单个像素或多个像素。所述多个单层图像中的每个单层图像是以基本图像单元为厚度并且以三维图像数据横截面为底面的立体结构。
在步骤303,对所述多个单层图像中的每个进行图像识别以确定多个特征点。所述多个特征点中的每个特征点是能够对单层图像中的标记物进行标识的关键点。
在步骤304,基于所述多个特征点构建第一配准矩阵,利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准。其中利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准包括:在所述第一配准矩阵中确定与定位标识相关联的多个配准点,将所述多个配准点与所述定位设备的定位空间中的基准点进行配准,从而实现定位设备的定位空间与三维图像数据的配准。
在步骤305,获取具有定位标识的机械单元的实时图像数据,利用所述定位设备对所述实时图像数据中的定位标识进行识别。其中使用高对比度材料来制造所述定位标识,并且根据目标区域的类型来设置所述定位标识的几何形状。所述高对比度材料为铝或钛合金。
在步骤306,基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点。所述基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点包括:确定所识别的定位标识在三维图像数据中的标识位置,从所述多个特征点中选择以所述标识位置为中心的预定范围内的至少一个匹配特征点。
在步骤307,基于所述至少一个特征匹配点构建第二配准矩阵,并利用所述第二配准矩阵将所述定位设备的定位空间与机械单元的实时图像数据进行配准,从而实现机械单元的实时图像数据与所述三维图像数据的空间配准。在所述机械单元的实时图像数据与所述三维图像数据的空间配准之后,还包括根据用户输入进行手动配准。
图4为根据本发明实施方式的基于定位标识进行空间配准的设备400的结构示意图。如图4所示,设备400包括:获取单元401、解析单元402、识别单元403、第一配准单元404、处理单元405、选择单元406以及第二配准单元407。
其中,获取单元401获取与目标对象的目标区域相关联的三维图像数据。解析单元402根据基本图像单元确定分层粒度并基于分层粒度对所述三维图像数据进行分层解析,以获得多个单层图像。识别单元403对所述多个单层图像中的每个进行图像识别以确定多个特征点。第一配准单元404基于所述多个特征点构建第一配准矩阵,利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准。处理单元405获取具有定位标识的机械单元的实时图像数据,利用所述定位设备对所述实时图像数据中的定位标识进行识别。选择单元406基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点。以及第二配准单元407基于所述至少一个特征匹配点构建第二配准矩阵,并利用所述第二配准矩阵将所述定位设备的定位空间与机械单元的实时图像数据进行配准,从而实现机械单元的实时图像数据与所述三维图像数据的空间配准。
还包括,在获取与目标对象的目标区域相关联的三维图像数据之前,在所述目标对象的目标区域设置具有电子计算机断层扫描CT标识的支架并为所述目标对象的目标区域拍摄多个CT断面图像或锥形束CT断面图像。根据预先设定的医学图像要求确定所拍摄的多个CT断面图像或锥形束CT断面图像中的每个的质量评分。
当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量大于高数量阈值时,将多个CT断面图像或锥形束CT断面图像丢弃。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于高数量阈值且大于低数量阈值时,将多个CT断面图像或锥形束CT断面图像中质量评分低于标准分数的CT断面图像或锥形束CT断面图像进行图像修复。对经过图像修复的CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。当质量评分低于标准分数的CT断面图像或锥形束CT断面图像的数量小于或等于低数量阈值时,对所述多个CT断面图像或锥形束CT断面图像进行空间投影以生成三维图像数据。
在所述目标对象的目标区域设置具有定位标识的支架。所述基本图像单元是单个像素或多个像素。所述多个单层图像中的每个单层图像是以基本图像单元为厚度并且以三维图像数据横截面为底面的立体结构。所述多个特征点中的每个特征点是能够对单层图像中的标记物进行标识的关键点。其中利用所述第一配准矩阵将定位设备的定位空间与三维图像数据进行配准包括:在所述第一配准矩阵中确定与定位标识相关联的多个配准点,将所述多个配准点与所述定位设备的定位空间中的基准点进行配准,从而实现定位设备的定位空间与三维图像数据的配准。
其中使用高对比度材料来制造所述定位标识,并且根据目标区域的类型来设置所述定位标识的几何形状。所述高对比度材料为铝或钛合金所述基于所识别的定位标识从所述多个特征点中选择至少一个匹配特征点包括:确定所识别的定位标识在三维图像数据中的标识位置,从所述多个特征点中选择以所述标识位置为中心的预定范围内的至少一个匹配特征点。在所述机械单元的实时图像数据与所述三维图像数据的空间配准之后,还包括根据用户输入进行手动配准。