CN109793558A - 基于双目视觉定位的穿刺手术空间映射方法 - Google Patents

Abstract

本发明公开了基于双目视觉定位的穿刺手术空间映射方法，属于产品编码技术领域，包括：从各个电商平台下载商品；在编码系统中生成商品品牌、类型、属性以及流水号；选择需要编码的商品，根据商品品牌、类型、属性以及流水号的位数生成商品码；商品码生成后，再在各个电商平台上对商品进行编码。本发明从各个平台下载商品，在系统中生成商品品牌、类型、属性，并让商家自己设定对应的码号，让商家选择需要编码的商品，可以根据品牌、类型、属性、以及流水号的位数生成商品码，使没有编码的商品快速编码，让没有编码经验的商家可以方便的使用编码。

Description

基于双目视觉定位的穿刺手术空间映射方法

技术领域

本发明涉及一种视觉定位方法，特别是涉及基于双目视觉定位的穿刺手术空间映射方法，属于导航技术领域。

背景技术

近年来，穿刺手术在微创外科领域得到了迅速发展，具有创伤小、疼痛轻、恢复快和手术并发症小的特点，是传统开放性手术的一次重大变革，代表了医学手术发展的必然趋势,传统的经皮穿刺手术主要是在医学图像引导下，由医生手持穿刺针等工具对病人做穿刺介入，手术的效果很大程度上依赖于操作者的经验和技能，因此手术治疗效果差异较大，存在着穿刺病灶靶点定位不准、穿刺路径规划困难和穿刺精准度低的问题。

在医疗机器人导航系统中，空间定位是整个手术的关键，其作用就是实时测出手术器械的空间位置和姿态，通过术前与术中医学图像配准以及术中医学图像与患者、手术器械之间的配准关系，经过相应的坐标转换，控制手术器械达到要求的部位，从而实施相应的手术操作。研究医学图像三维模型坐标、机器人坐标系和视觉定位坐标系的空间融合定位技术等内容，建立基于医学图像辅助的精准穿刺机器人空间定位导航和空间坐标系配准，解决其精准定位的技术问题。

发明内容

本发明的主要目的是为了提供基于双目视觉定位的穿刺手术空间映射方法，主要偏重视觉算法的处理和推导，且方法简单，价格低廉。

本发明的目的可以通过采用如下技术方案达到：

基于双目视觉定位的穿刺手术空间映射方法，包括以下步骤：

步骤1：医学图像空间内对病灶靶点、穿刺入针点以及穿刺路径位姿的定位；

步骤2：双目摄像机图像空间内对患者皮肤表层标记弹定位；

步骤3：双目摄像机图像空间内对机器人空间坐标的定位；

步骤4：计算出机器人空间内病灶靶点、穿刺入针点和穿刺路径位姿的定位。

进一步的，步骤1中，医学图像定位通过CT图像坐标系，且CT图像坐标系通过3D模型仿射坐标系建立与3D模型仿射坐标系一一对应的3D模型。

进一步的，步骤1中，在3D模型上粘贴至少4个标记点建立一个3D模型仿射坐标系，通过不在同一平面内的4个标记点建立参考坐标系，任选其中一个标记点M₀(x_m0,y_m0,z_m0)作为参考坐标系原点，且平行于CT图像坐标系的三个坐标轴方向，则3D模型仿射坐标系相对于CT图像坐标系发生了平移和旋转，其分别在x、y、z轴上平移距离为x_m0、y_m0、z_m0，其沿x、y、z轴旋转为0；

其他三个标记点M₁(x_m1,y_m1,z_m1)、M₂(x_m2,y_m,2,z_m2)、M₃(x_m3,y_m3,z_m3)建立仿射关系，从3D模型放射坐标系到图像坐标系的映射矩阵可表示为如下：

其转换公式可表示为：

P_3D仿射＝T₁ ^-1P_图像，P_图像＝T₁P_3D仿射

图像坐标系中的任意一点P(x_mp,y_mp,z_mp)在3D模型上都有唯一的一点与之对应。

进一步的，步骤2中，双目摄像机图像定位通过双目摄像机光学坐标系，且双目摄像机光学坐标系与3D模型仿射坐标系建立一一对应关系，通过双目摄像机做光学定位计算，求得四个标记点在光学坐标系下的坐标位置，建立摄像机光学坐标系到3D模型仿射坐标系的转换矩阵：

双目摄像机光学坐标系和3D模型仿射坐标系建立了一一对应的关系。

进一步的，步骤2中，3D模型上的任意一点在双目摄像机光学坐标系上都有唯一的一点与之对应，其转换公式可表示为：

求得图像坐标系中的点对应到摄像机光学坐标系下的映射关系为：

其中，是图像坐标系到摄像机坐标系的映射矩阵。

进一步的，步骤3中，机器人空间坐标定位通过机器人坐标系，且机器人坐标系与机器人放射坐标系建立一一对应关系，在机器人末端选取四个标记点，作为机器人的标记点，可建立机器人坐标系到机器人仿射坐标系之间的转换矩阵：

其转换公式可表示为：

P_机器人＝T₄P_{机器人仿射}

机器人坐标系和机器人仿射坐标系建立了一一对应的关系，机器人的任意一点在机器人仿射坐标系上都有唯一的一点与之对应。

进一步的，步骤3中，双目摄像机光学坐标系通过与机器人仿射坐标系建立了一一对应的关系对机器人空间坐标进行定位，所述建立机器人仿射坐标系和双目摄像机光学坐标系之间的对应关系，机器人上的每个点都可以唯一的映射到双目摄像机光学坐标系中，其转换关系矩阵为：

其转换公式可表示为：

P_光学＝T₂P_{机器人仿射}

由以上关系可求得机器人坐标系中的点对应到摄像机光学坐标系下的映射关系为：

其中，是光学坐标系到摄像机坐标系的映射矩阵。

进一步的，步骤4中，CT图像坐标系与机器人坐标系建立一一对应关系，CT图像坐标系到双目摄像机光学坐标系系的转换关系T3，双目摄像机光学坐标系到机器人仿射坐标系的转换关系T6，可求得CT图像坐标系上的点到机器人坐标系的转换关系：

P_机器人＝T₆T₃P_图像＝T₇P_图像

其中，T_7＝T₆T₃，是CT图像坐标系到机器人坐标系的转换关系矩阵，可实现3D模型上的任意点位置坐标映射到机器人坐标系上。

本发明的有益技术效果：

1、本发明的基于双目视觉定位的手术空间映射方法，针对穿刺手术中空间映射的关键问题，通过双目相机识别患者皮肤表面的圆形标记点和手术机器人末端的标记点，得出他们在视觉坐标系内的空间位置坐标，完成穿刺手术中患者医学图像空间坐标系位置到手术机器人空间坐标系的映射，借助以机器人定位精度高、运行稳定、安全可靠的特点，完成医学外科微创穿刺手术中辅助精准定位的问题。

2、本发明的基于双目视觉定位的手术空间映射方法，主要偏重视觉算法的处理和推导，且方法简单，价格低廉。

具体实施方式

为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本实施例提供的基于双目视觉定位的穿刺手术空间映射方法，包括以下步骤：

步骤1：医学图像空间内对病灶靶点、穿刺入针点以及穿刺路径位姿的定位；

步骤2：双目摄像机图像空间内对患者皮肤表层标记弹定位；

步骤3：双目摄像机图像空间内对机器人空间坐标的定位；

步骤4：计算出机器人空间内病灶靶点、穿刺入针点和穿刺路径位姿的定位。

在本实施例中，所示步骤1中医学图像定位通过CT图像坐标系，且CT图像坐标系通过3D模型仿射坐标系建立与3D模型仿射坐标系一一对应的3D模型，所述在3D模型上粘贴至少4个标记点建立一个3D模型仿射坐标系，通过不在同一平面内的4个标记点建立参考坐标系，任选其中一个标记点M₀(x_m0,y_m0,z_m0)作为参考坐标系原点，且平行于CT图像坐标系的三个坐标轴方向，则3D模型仿射坐标系相对于CT图像坐标系发生了平移和旋转，其分别在x、y、z轴上平移距离为x_m0、y_m0、z_m0，其沿x、y、z轴旋转为0。和其他三个标记点M₁(x_m1,y_m1,z_m1)、M₂(x_m2,y_m,2,z_m2)、M₃(x_m3,y_m3,z_m3)建立仿射关系，从3D模型放射坐标系到图像坐标系的映射矩阵可表示为如下：

这样3D模型仿射坐标系和图像坐标系建立了一一对应的关系，则图像坐标系中的任意一点P(x_mp,y_mp,z_mp)在3D模型上都有唯一的一点与之对应，其转换公式可表示为：

P_图像＝T₁P_3D仿射

在本实施例中，所示步骤2中双目摄像机图像定位通过双目摄像机光学坐标系，且双目摄像机光学坐标系与3D模型仿射坐标系建立一一对应关系，所述通过双目摄像机做光学定位计算，求得四个标记点在光学坐标系下的坐标位置，建立摄像机光学坐标系到3D模型仿射坐标系的转换矩阵：

双目摄像机光学坐标系和3D模型仿射坐标系建立了一一对应的关系，则3D模型上的任意一点在双目摄像机光学坐标系上都有唯一的一点与之对应，其转换公式可表示为：

P_3D仿射＝T₂P_光学

可求得图像坐标系中的点对应到摄像机光学坐标系下的映射关系为：

其中，是图像坐标系到摄像机坐标系的映射矩阵。

在本实施例中，所示步骤3中机器人空间坐标定位通过机器人坐标系，且机器人坐标系与机器人放射坐标系建立一一对应关系，所述在机器人末端选取四个标记点，作为机器人的标记点，可建立机器人坐标系到机器人仿射坐标系之间的转换矩阵：

机器人坐标系和机器人仿射坐标系建立了一一对应的关系，则机器人的任意一点在机器人仿射坐标系上都有唯一的一点与之对应，其转换公式可表示为：

P_机器人＝T₄P_{机器人仿射}

在本实施例中，所示步骤3中双目摄像机光学坐标系通过与机器人仿射坐标系建立了一一对应的关系对机器人空间坐标进行定位，所述建立机器人仿射坐标系和双目摄像机光学坐标系之间的对应关系，机器人上的每个点都可以唯一的映射到双目摄像机光学坐标系中，其转换关系矩阵为：

其转换公式可表示为：

P_光学＝T₂P_{机器人仿射}

由以上关系可求得机器人坐标系中的点对应到摄像机光学坐标系下的映射关系为：

其中，是光学坐标系到摄像机坐标系的映射矩阵。

在本实施例中，所示步骤4中CT图像坐标系与机器人坐标系建立一一对应关系，所述CT图像坐标系到双目摄像机光学坐标系系的转换关系T3，双目摄像机光学坐标系到机器人仿射坐标系的转换关系T6，故可求得CT图像坐标系上的点到机器人坐标系的转换关系：

P_机器人＝T₆T₃P_图像＝T₇P_图像

其中，T_7＝T₆T₃，是CT图像坐标系到机器人坐标系的转换关系矩阵，可实现3D模型上的任意点位置坐标映射到机器人坐标系上。

综上所述，在本实施例中，通过双目摄像机识别圆形标记点在双目图像平面内的图像坐标值，利用精确推导出圆形标记点的圆心在视觉空间坐标系内的精确坐标值，同时双目摄像机通过识别机器人本体的圆形标记点坐标，推导得出机器人在视觉空间坐标系内的坐标值，标记点在图像空间和机器人空间的坐标位置就能够确定，并且他们之间存在着一一对应的关系，解决计算机图像空间到实际手术空间的匹配和映射的关键问题。

以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。

Claims (8)

1.基于双目视觉定位的穿刺手术空间映射方法，其特征在于，包括以下步骤：

步骤1：医学图像空间内对病灶靶点、穿刺入针点以及穿刺路径位姿的定位；

步骤2：双目摄像机图像空间内对患者皮肤表层标记弹定位；

步骤3：双目摄像机图像空间内对机器人空间坐标的定位；

步骤4：计算出机器人空间内病灶靶点、穿刺入针点和穿刺路径位姿的定位。

2.根据权利要求1所述的基于双目视觉定位的穿刺手术空间映射方法，其特征在于，步骤1中，医学图像定位通过CT图像坐标系，且CT图像坐标系通过3D模型仿射坐标系建立与3D模型仿射坐标系一一对应的3D模型。

3.根据权利要求2所述的基于双目视觉定位的穿刺手术空间映射方法，其特征在于，步骤1中，在3D模型上粘贴至少4个标记点建立一个3D模型仿射坐标系，通过不在同一平面内的4个标记点建立参考坐标系，任选其中一个标记点M₀(x_m0,y_m0,z_m0)作为参考坐标系原点，且平行于CT图像坐标系的三个坐标轴方向，则3D模型仿射坐标系相对于CT图像坐标系发生了平移和旋转，其分别在x、y、z轴上平移距离为x_m0、y_m0、z_m0，其沿x、y、z轴旋转为0；

其他三个标记点M₁(x_m1,y_m1,z_m1)、M₂(x_m2,y_m,2,z_m2)、M₃(x_m3,y_m3,z_m3)建立仿射关系，从3D模型放射坐标系到图像坐标系的映射矩阵可表示为如下：

其转换公式可表示为：

图像坐标系中的任意一点P(x_mp,y_mp,z_mp)在3D模型上都有唯一的一点与之对应。

4.根据权利要求1所述的基于双目视觉定位的穿刺手术空间映射方法，其特征在于，步骤2中，双目摄像机图像定位通过双目摄像机光学坐标系，且双目摄像机光学坐标系与3D模型仿射坐标系建立一一对应关系，通过双目摄像机做光学定位计算，求得四个标记点在光学坐标系下的坐标位置，建立摄像机光学坐标系到3D模型仿射坐标系的转换矩阵：

双目摄像机光学坐标系和3D模型仿射坐标系建立了一一对应的关系。

5.根据权利要求4所述的基于双目视觉定位的穿刺手术空间映射方法，其特征在于，步骤2中，3D模型上的任意一点在双目摄像机光学坐标系上都有唯一的一点与之对应，其转换公式可表示为：

求得图像坐标系中的点对应到摄像机光学坐标系下的映射关系为：

其中，是图像坐标系到摄像机坐标系的映射矩阵。

6.根据权利要求1所述的基于双目视觉定位的穿刺手术空间映射方法，其特征在于，步骤3中，机器人空间坐标定位通过机器人坐标系，且机器人坐标系与机器人放射坐标系建立一一对应关系，在机器人末端选取四个标记点，作为机器人的标记点，可建立机器人坐标系到机器人仿射坐标系之间的转换矩阵：

其转换公式可表示为：

机器人坐标系和机器人仿射坐标系建立了一一对应的关系，机器人的任意一点在机器人仿射坐标系上都有唯一的一点与之对应。

7.根据权利要求1所述的基于双目视觉定位的穿刺手术空间映射方法，其特征在于，步骤3中，双目摄像机光学坐标系通过与机器人仿射坐标系建立了一一对应的关系对机器人空间坐标进行定位，所述建立机器人仿射坐标系和双目摄像机光学坐标系之间的对应关系，机器人上的每个点都可以唯一的映射到双目摄像机光学坐标系中，其转换关系矩阵为：

其转换公式可表示为：

由以上关系可求得机器人坐标系中的点对应到摄像机光学坐标系下的映射关系为：

其中，是光学坐标系到摄像机坐标系的映射矩阵。

8.根据权利要求1所述的基于双目视觉定位的穿刺手术空间映射方法，其特征在于，步骤4中，CT图像坐标系与机器人坐标系建立一一对应关系，CT图像坐标系到双目摄像机光学坐标系系的转换关系T3，双目摄像机光学坐标系到机器人仿射坐标系的转换关系T6，可求得CT图像坐标系上的点到机器人坐标系的转换关系：

P_机器人＝T₆T₃P_图像＝T₇P_图像

其中，T₇＝T₆T₃，是CT图像坐标系到机器人坐标系的转换关系矩阵，可实现3D模型上的任意点位置坐标映射到机器人坐标系上。