CN114373003A - 一种基于双目视觉的被动红外标记手术器械配准方法 - Google Patents

Abstract

一种基于双目视觉的被动红外标记手术器械配准方法，包括：一、构建工具特征，读取参数文件，通过计算获得红外反光工具中各标志点构建成的形状特征，包括距离特征以及三角特征；二、标志点三维位置识别，两单目红外镜头同时拍摄图像，图像中的标志点表现为高亮斑点；以第一单目红外镜头的空间位置作为坐标原点，将两图像中相同位置的标志点成对匹配；算出每对匹配标志点的空间三维坐标位置；三、空间散点与工具匹配。本发明可满足临床手术导航的器械配准需要，且跟踪配准同时具备较高的帧率与准确性。跟踪实时性、准确性高。红外反光工具只需至少三个标志点被检测即可实现识别。红外反光工具的添加、移除以及部分遮挡下均可以实现实时检测。

Description

一种基于双目视觉的被动红外标记手术器械配准方法

技术领域

本发明涉及医疗器械手术导航领域，具体涉及一种基于双目视觉的被动红外标记手术器械配准方法。

背景技术

随着计算机视觉技术的发展，运用镜头图像数据进行物体定位已经有了很大应用。而在临床中，采用通过数字化医学影像与视觉定位结合的方式，有效延伸了医生的感知能力范围，对提高手术的准确性、安全性并减少创面具有重要意义。

“被动红外标记”为固定（连设）在被追踪手术器械上的多标志点（marker）组成的刚体定位标记组合体，“手术器械”可以是活动的，如手术刀，也可以是相对固定的，如头架。在红外相机中，标志点表现为高亮的斑点，通过两个及以上相机中分别成像，则可以依据双目视觉原理的空间位置计算得到标志点的三维位置。通常，当标记物中各个标志点被对应识别，则可计算标志点刚体的位置姿态，进一步确定被标志点绑定（连设）的器械位置。

由于每个器械能绑定标志点有限，且考虑成本因素与可替换因素，标志点一般生产为同种规格，所以，为了实现区分，这就要求标志点中的标志点必须要有不同的几何分布。通常在设计分布时就要确保标志点组成的多边形是非对称的，同时每两个标志点间的距离应该有明显差异，每三个标志点组成的三角也应各不相同。

标志点为红外反光材质，红外相机应外加红外补光装置来实现标志点的最大特征表现，同时应过滤其他波段的成像，为标志点的像素识别减少干扰。

为了满足临床手术导航的器械配准需要，跟踪配准必须同时具备较高的帧率与准确性，同时当多个被标记工具同时出现时，也应准确区分。

因此，如何解决上述现有技术存在的不足，便成为本发明所要研究解决的课题。

发明内容

本发明的目的是提供一种基于双目视觉的被动红外标记手术器械配准方法。

为达到上述目的，本发明采用的技术方案是：

一种基于双目视觉的被动红外标记手术器械配准方法，包括一配准系统，该配准系统包含红外相机、红外反光工具以及计算中心；

所述红外相机包括至少两个单目红外镜头；

所述红外反光工具包括至少三个不共线的反光标志点，且当红外反光工具的标志点数量为三个时，三点组成非等腰或非等边三角形；各标志点均位于所述红外相机的拍摄范围内；

所述红外反光工具连设于一支架的上端；

所述计算中心通讯连接所述红外相机，用于存储所述红外相机拍摄的图像，并通过计算实现红外反光工具定位；

所述配准方法包括：

一、构建工具特征

读取参数文件，该参数文件包括所述红外反光工具的唯一识别编号、各个标志点的位置分布坐标；

通过计算获得该红外反光工具中各标志点构建成的形状特征，包括距离特征以及三角特征；

其中，所述距离特征包括任两个标志点的距离数据组；所述三角特征包括任三个标志点组成三角形的内在信息，该内在信息包括角度、边长、面积；

二、标志点三维位置识别

所述红外相机中的两单目红外镜头同时各拍摄一张图像并存入所述计算中心，图像中所述红外反光工具上的标志点的成像表现为高亮斑点；

对两所述图像分别进行畸变校正；

将两张无畸变的图像进行阈值分割与腐蚀膨胀处理，使斑点与背景的对比更突出；

分别对每张图像中各个所述斑点的外轮廓进行提取，并通过算法进行边缘点圆拟合，求得圆心坐标作为标志点在其所在图像中的投影位置；

以所述红外相机中第一单目红外镜头的空间位置作为坐标原点，依据双目视觉原理中的极线约束原理匹配第一图像中的标志点与第二图像中的标志点，将两图像中相同位置的标志点成对匹配；最后依据双目视差原理计算出每对匹配标志点的空间三维坐标位置；

三、空间散点与工具匹配

由步骤一得到所述红外反光工具中各标志点的位置分布坐标，所述红外反光工具上标志点数量为N个，N≥3；

由步骤二得到实际场景中所述红外反光工具中各标志点的空间三维坐标位置；

计算步骤二得到的标志点空间三维坐标位置的两两距离；

遍历各所述标志点的排列组合，设其中一种组合为C，则该组合C应满足其包含的标志点的数量为M，M≥3，且M≤N；

以所述组合C为例，计算各标志点的两两距离，若距离超出步骤一中所述红外反光工具中两两标志点的距离范围，则判定组合C无效；

以所述组合C为例，计算每三个标志点组成的三角形，若数值超出步骤一中所述红外反光工具中三角形的内在信息对应的数值范围，则判定组合C无效；

以所述组合C为例，计算各标志点是否均在外包多边形的角点上，计算标志点是否均在同一平面，若与红外反光工具不符，则判定组合C无效；

通过最小二乘法，计算组合C与所述红外反光工具的标志点对应组合S之间的位姿变换矩阵，将位姿变换矩阵T作用于所述红外反光工具的标志点坐标，计算所述红外反光工具的标志点与组合C之间的配准误差，所述配准误差的计算方法为：e = ||T*S-C||；

若配准误差e小于一预设阈值，则认为该组标志点组合与工具实现匹配；若多组配准误差e均小于所述预设阈值，且存在工具匹配的冲突，则将匹配标志点数量多的那种作为最终结果；若数量一致则将配准误差最小的作为最终结果。

上述技术方案中的有关内容解释如下：

1．上述方案中，所述红外相机中的两个单目红外镜头同向且并排设置，并通过刚性连接组成为一组合体，使用红外反光棋盘格完成两个单目红外镜头的内、外参数标定。

2．上述方案中，在构建工具特征时，通过计算获得该红外反光工具中各标志点构建成的形状特征还包括工具类型，所述工具类型包括所有标志点所组成的特定样式，该特定样式包括：各标志点是否均在外包多边形的角点上、各标志点是否均在同一平面。

3．上述方案中，在标志点三维位置识别时，提取两张图像中各个所述斑点的外轮廓，通过Taubin法进行边缘点圆拟合并求得圆心坐标作为标志点在所述图像中的投影位置。

4．上述方案中，在进行空间散点与工具匹配时，采用CUDA并行运算加速计算。

5．上述方案中，若红外反光工具的数量为多个，则按照添加顺序选出第一红外反光工具，并按照步骤一、二、 三完成配准；然后，选择下一个红外反光工具，至少重复步骤一、三进行配准。

相比现有技术而言，本发明可满足临床手术导航的器械配准需要，且跟踪配准同时具备较高的帧率与准确性，同时当多个红外反光工具（被标记工具）同时出现时，也能准确区分。

本发明具有跟踪实时性、准确性高的特点。红外反光工具只需至少三个标志点被检测即可实现识别。红外反光工具的添加、移除以及部分遮挡下均可以实现实时检测。

附图说明

附图1为本发明实施例红外相机对红外反光工具拍摄时的示意图；

附图2为本发明实施例某一种红外反光工具的结构示意图；

附图3为本发明实施例方法的流程图。

以上附图中：1．红外相机；2．红外反光工具；3．单目红外镜头；4．图像；5．标志点；6．斑点。

具体实施方式

下面结合附图及实施例对本发明作进一步描述：

实施例：以下将以图式及详细叙述对本案进行清楚说明，任何本领域技术人员在了解本案的实施例后，当可由本案所教示的技术，加以改变及修饰，其并不脱离本案的精神与范围。

关于本文中所使用的“第一”、“第二”等，并非特别指称次序或顺位的意思，亦非用以限定本案，其仅为了区别以相同技术用语描述的组件或操作。

关于本文中所使用的“包含”、“包括”、“具有”等，均为开放性的用语，即意指包含但不限于。

关于本文中所使用的用词（terms），除有特别注明外，通常具有每个用词使用在此领域中、在本案内容中与特殊内容中的平常意义。某些用以描述本案的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本案描述上额外的引导。

参见附图1~3所示，一种基于双目视觉的被动红外标记手术器械配准方法，包括一配准系统（见图1、2），该配准系统包含红外相机1、红外反光工具2以及计算中心。

所述红外相机1包括至少两个单目红外镜头3；两个单目红外镜头3同向且并排设置，并通过刚性连接组成为一组合体，使用红外反光棋盘格完成两个单目红外镜头3的内、外参数标定。

优选的，所述红外相机1还可包括拍摄同步模块、红外补光灯、红外滤光片，可以提高拍摄效果。

所述红外反光工具2包括至少三个不共线的反光标志点5，且当红外反光工具2的标志点5数量为三个时，三点组成非等腰或非等边三角形；各标志点5均位于所述红外相机1的拍摄范围内。

所述红外反光工具2连设于一可移动支架的上端。

所述计算中心通讯连接所述红外相机1，用于存储所述红外相机1拍摄的图像，并通过计算实现红外反光工具2定位。

如图3所示，所述配准方法包括：

一、构建工具特征

读取参数文件，该参数文件包括所述红外反光工具2的唯一识别编号、各个标志点5的位置分布坐标；

通过计算获得该红外反光工具2中各标志点5构建成的形状特征，包括距离特征、三角特征以及工具类型特征；

其中，所述距离特征包括任两个标志点的距离数据组；所述三角特征包括任三个标志点5组成三角形的内在信息，该内在信息包括角度、边长、面积；所述工具类型特征包括所有标志点5所组成的特定样式，该特定样式包括：各标志点5是否均在外包多边形的角点上、各标志点5是否均在同一平面。

上述形状特征可由各个标志点5的位置坐标分布计算得到，并可存储于所述参数文件中。

二、标志点三维位置识别

所述红外相机1中的两单目红外镜头3同时各拍摄一张图像4并存入所述计算中心，图像4中所述红外反光工具2上的标志点5的成像表现为高亮斑点6；

对两所述图像4分别进行畸变校正。即，若单目红外镜头3输出原始图像为未经过畸变矫正的，则需要首先对两所述图像4分别进行畸变校正，具体的畸变矫正方法为常见图像预处理步骤，为本领域专业人员所掌握。

将两张无畸变的图像4进行阈值分割与腐蚀膨胀处理，使斑点6与背景的对比更突出。所述阈值分割与腐蚀膨胀为常见图像预处理步骤，为本领域专业人员所掌握。

分别对每张图像4中各个斑点6的外轮廓进行提取，并通过算法进行边缘点圆拟合，求得圆心坐标作为标志点5在其所在图像4中的投影位置；优选的，可通过Taubin法进行边缘点圆拟合并求得圆心坐标作为标志点5在所述图像4中的投影位置。所述Taubin法为常用的散点拟合圆形方法，为本领域专业人员所掌握。

以所述红外相机1中第一单目红外镜头的空间位置作为坐标原点，依据双目视觉原理中的极线约束原理匹配第一图像中的标志点与第二图像中的标志点，将两图像4中相同位置的标志点5成对匹配；最后依据双目视差原理计算出每对匹配标志点5的空间三维坐标位置。所述极线约束指的是其中一单目红外镜头拍摄的图像4中的标志点的投影点（斑点6）在另一单目红外镜头拍摄的图像中对应的标志点的投影点只可能出现在特定直线上。所述双目视觉中的极限约束原理与视差原理为本领域专业人员所掌握。

上述“一、构建工具特征的步骤”和“二、标志点的三维位置识别步骤”在时间上没有前后关系。

三、空间散点与工具匹配

由步骤一得到所述红外反光工具2中各标志点5的位置分布坐标，所述红外反光工具2上标志点5数量为N个，N≥3；

由步骤二得到实际场景中所述红外反光工具2中各标志点5的空间三维坐标位置；

计算步骤二得到的标志点5空间三维坐标位置的两两距离；

遍历各所述标志点5的排列组合，设其中一种组合为C，则该组合C应满足其包含的标志点的数量为M，M≥3，且M≤N；

优选的，可采用并行计算的方式减少运算速度，以达到实时的效果。例如，可采用CUDA并行运算加速计算所述实际场景中各标志点5的两两距离，以及畸变校正、腐蚀膨胀等，以达到快速、实时的计算效果。

以所述组合C为例，计算各标志点5的两两距离，若距离超出步骤一中所述红外反光工具中两两标志点的距离范围，则判定组合C无效。

以所述组合C为例，计算每三个标志点组成的三角形，若数值超出步骤一中所述红外反光工具中三角形的内在信息对应的数值范围（如三角形的角度值、面积值范围），则判定组合C无效。

以所述组合C为例，计算各标志点是否均在外包多边形的角点上，计算标志点是否均在同一平面，若与红外反光工具不符，则判定组合C无效；通过提前对比工具特征（比如是否满足共面，外包多边形等）实现初筛，减少后续计算量，最终可以提高实时性。

通过最小二乘法，计算组合C与所述红外反光工具的标志点对应组合S之间的位姿变换矩阵，将位姿变换矩阵T作用于所述红外反光工具的标志点坐标，计算所述红外反光工具的标志点与组合C之间的配准误差，所述配准误差的计算方法为：e = ||T*S-C||。

若配准误差e小于一预设阈值，则认为该组标志点组合与工具实现匹配；若多组配准误差e均小于所述预设阈值，且存在工具匹配的冲突，则将匹配标志点数量多的那种作为最终结果；若数量一致则将配准误差最小的作为最终结果。所述预设阈值为一具体数值，可根据经验进行设定，使得标志点组合与工具匹配计算的误识别率与漏识别率最小。

其中，所述空间散点包括真实空间中已准确识别的标志点、环境中客观存在的噪点以及因算法局限导致的误识别点。

优选的，若红外反光工具的数量为多个，则按照添加顺序选出第一红外反光工具，并按照步骤一、二、 三完成配准。

然后，选择下一个红外反光工具，至少重复步骤一、三进行配准。步骤二的重复不是必须的，因为步骤二能够一次性将多个红外反光工具的各标志点同时进行三维位置的识别。

以下为本发明实施例的具体实施过程：

本实施例将布置两个红外反光工具2在场景中。红外相机1布置在患者一侧，用于采集标志点5的信息。

红外反光工具2的样式参阅图2。在本实施例中，场景包含两个红外反光工具2（即表1~3中的两个工具标志物），其各个标志点5之间的几何尺寸如表1所示。

表1 标志点几何尺寸

1） 计算工具特征

读取包含表1信息的标志点工具文件，随后计算两两标志点5之间的距离（表2）。计算所有可能三个标志点5组成的三角的边长、内角并按从小到大的顺序排序，计算三角的朝向（是否为逆时针排列）与面积（表3）。

表2 工具距离特征量

表3 三角特征量

2） 标志点三维红外相机拍摄

使用红外相机1进行拍摄，在各单目红外镜头3上安装红外滤光片使得仅保留红外波段光线，同时可与单目红外镜头3平行同向增加红外补光灯，最大程度突出标志点5特征。

依据图像处理的相关知识，将双目图像进行畸变矫正、阈值分割、腐蚀膨胀等处理，提取高亮斑点轮廓并拟合圆形，圆心即为标志点5在左右目图像中的成像位置。依据双目立体视觉原理，由极线约束对左右目标志点5进行匹配并计算三维空间内的位置，完成标志点三维位置计算。

3） 选取待匹配集合

由于标志点5共有四个点，则有“四个点完整出现”和“遮挡了一个点”两种可能定位情况。采用并行计算的方式，首先从上一步得到的三维标志点5中按照排列组合数公式A(n,4)选取4个候选点经过筛选后与工具计算配准误差。按照组合数公式A(n,3)选取3个候选点经过筛选后与工具计算配准误差。依次完成两红外反光工具2的定位。

4） 最终判定

计算所有待匹配组合的配准误差。筛选误差大于阈值的组合，剩余组合以匹配数量最多为原则，确定最终的工具组合，若数量一致则将配准误差最小的作为最终结果。

相比现有技术而言，本发明可满足临床手术导航的器械配准需要，且跟踪配准同时具备较高的帧率与准确性，同时当多个红外反光工具（被标记工具）同时出现时，也能准确区分。本发明具有跟踪实时性、准确性高的特点。红外反光工具只需至少三个标志点被检测即可实现识别。红外反光工具的添加、移除以及部分遮挡下均可以实现实时检测。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于双目视觉的被动红外标记手术器械配准方法，其特征在于：

包括一配准系统，该配准系统包含红外相机、红外反光工具以及计算中心；

所述红外相机包括至少两个单目红外镜头；

所述红外反光工具包括至少三个不共线的反光标志点，且当红外反光工具的标志点数量为三个时，三点组成非等腰或非等边三角形；各标志点均位于所述红外相机的拍摄范围内；

所述红外反光工具连设于一支架的上端；

所述计算中心通讯连接所述红外相机，用于存储所述红外相机拍摄的图像，并通过计算实现红外反光工具定位；

所述配准方法包括：

一、构建工具特征

读取参数文件，该参数文件包括所述红外反光工具的唯一识别编号、各个标志点的位置分布坐标；

通过计算获得该红外反光工具中各标志点构建成的形状特征，包括距离特征以及三角特征；

其中，所述距离特征包括任两个标志点的距离数据组；所述三角特征包括任三个标志点组成三角形的内在信息，该内在信息包括角度、边长、面积；

二、标志点三维位置识别

所述红外相机中的两单目红外镜头同时各拍摄一张图像并存入所述计算中心，图像中所述红外反光工具上的标志点的成像表现为高亮斑点；

对两所述图像分别进行畸变校正；

将两张无畸变的图像进行阈值分割与腐蚀膨胀处理，使斑点与背景的对比更突出；

分别对每张图像中各个所述斑点的外轮廓进行提取，并通过算法进行边缘点圆拟合，求得圆心坐标作为标志点在其所在图像中的投影位置；

以所述红外相机中第一单目红外镜头的空间位置作为坐标原点，依据双目视觉原理中的极线约束原理匹配第一图像中的标志点与第二图像中的标志点，将两图像中相同位置的标志点成对匹配；最后依据双目视差原理计算出每对匹配标志点的空间三维坐标位置；

三、空间散点与工具匹配

由步骤一得到所述红外反光工具中各标志点的位置分布坐标，所述红外反光工具上标志点数量为N个，N≥3；

由步骤二得到实际场景中所述红外反光工具中各标志点的空间三维坐标位置；

计算步骤二得到的标志点空间三维坐标位置的两两距离；

遍历各所述标志点的排列组合，设其中一种组合为C，则该组合C应满足其包含的标志点的数量为M，M≥3，且M≤N；

以所述组合C为例，计算各标志点的两两距离，若距离超出步骤一中所述红外反光工具中两两标志点的距离范围，则判定组合C无效；

以所述组合C为例，计算每三个标志点组成的三角形，若数值超出步骤一中所述红外反光工具中三角形的内在信息对应的数值范围，则判定组合C无效；

以所述组合C为例，计算各标志点是否均在外包多边形的角点上，计算标志点是否均在同一平面，若与红外反光工具不符，则判定组合C无效；

通过最小二乘法，计算组合C与所述红外反光工具的标志点对应组合S之间的位姿变换矩阵，将位姿变换矩阵T作用于所述红外反光工具的标志点坐标，计算所述红外反光工具的标志点与组合C之间的配准误差，所述配准误差的计算方法为：e = ||T*S-C||；

若配准误差e小于一预设阈值，则认为该组标志点组合与工具实现匹配；若多组配准误差e均小于所述预设阈值，且存在工具匹配的冲突，则将匹配标志点数量多的那种作为最终结果；若数量一致则将配准误差最小的作为最终结果。

2.根据权利要求1所述的手术器械配准方法，其特征在于：所述红外相机中的两个单目红外镜头同向且并排设置，并通过刚性连接组成为一组合体，使用红外反光棋盘格完成两个单目红外镜头的内、外参数标定。

3.根据权利要求1所述的手术器械配准方法，其特征在于：在构建工具特征时，通过计算获得该红外反光工具中各标志点构建成的形状特征还包括工具类型，所述工具类型包括所有标志点所组成的特定样式，该特定样式包括：各标志点是否均在外包多边形的角点上、各标志点是否均在同一平面。

4.根据权利要求1所述的手术器械配准方法，其特征在于：在标志点三维位置识别时，提取两张图像中各个所述斑点的外轮廓，通过Taubin法进行边缘点圆拟合并求得圆心坐标作为标志点在所述图像中的投影位置。

5.根据权利要求1所述的手术器械配准方法，其特征在于：在进行空间散点与工具匹配时，采用CUDA并行运算加速计算。

6.根据权利要求1所述的手术器械配准方法，其特征在于：若红外反光工具的数量为多个，则按照添加顺序选出第一红外反光工具，并按照步骤一、二、 三完成配准；然后，选择下一个红外反光工具，至少重复步骤一、三进行配准。

Images