CN212276455U - 关节镜图像标定工装 - Google Patents

Abstract

本实用新型提供了一种关节镜图像标定工装。该工装包括：内窥镜、内窥镜标定点、固定座及标定板底座，内窥镜固定在固定座上，标定板底座设置在固定座下方，且底部的内侧安装有标定板，内窥镜标定点同样固定在固定座上，并且与内窥镜之间的空间位置关系固定。本实用新型提供的关节镜图像标定工装，解决了关节镜图像标定过程中计算量大、标定过程复杂、标定精度差的难题。

Description

关节镜图像标定工装

技术领域

本实用新型涉及计算机视觉技术领域，特别是涉及一种关节镜图像标定工装。

背景技术

在基于图像的计算辅助手术中，尤其是关节镜手术，相机的位姿标定是必不可少的，然而开发出一种有效的医用关节镜标定方法是一项挑战性任务。原因有三：其一，标定结果必须精确，因为许多手术需要至少5毫米级的定位精度；其二，必须考虑到相机的强径向畸变；其三，最终的标定步骤简洁、标定速度快捷、标定精度和鲁棒性高，让非专业人士也可上手操作。现有的关节镜标定方法如下可示：

现有技术方案1(Barreto J P,Roquette J,Sturm P F,et al.Automatic CameraCalibration Applied to Medical Endoscopy[C]//British Machine VisionConference.DBLP,2009.)：对于内镜图像轮廓线及尖角的识别，将内镜图像转化成极坐标图像，寻找最佳的圆心位置及图像，使得极坐标图像的轮廓线最接近竖直直线，极坐标图像中距离圆心最远的点即为尖角。

现有技术方案2(张春燕,邹伟.一种鱼眼镜头标定板的设计、检测与排序方法[J].计算机工程与应用,2015,51(015):188-192.)：对于内参标定，采用鱼眼成像特点设计出一种适用于鱼眼标定的宽幅多特征圆标定板，基于该种圆点标定板，利用椭圆检测和参数拟合技术对其特征圆进行标定和计算。

现有技术方案3(Melo R,Barreto J P,Falcao G.A new solution for cameracalibration and real-time image distortion correction in medical endoscopy-initial technical evaluation.[J].IEEE Trans Biomed Eng,2012,59(3):634-644.)：对于内参标定，假设镜头畸变符合抛物面模型，采用单张图片进行标定。

现有技术方案4(Sturm P,

P.Barreto.General Imaging Geometry forCentral Catadioptric Cameras[C]//European Conference on ComputerVision.Springer,Berlin,Heidelberg,2008.)：对于内参标定，假设镜头畸变符合球面模型，采用单张图片进行标定。

现有技术方案5(Yamaguchi T,Nakamoto M,Sato Y,Konishi K,Hashizume M,Sugano N,Yoshikawa H,Tamura S,Development of a camera model and calibrationprocedure for oblique-viewing endoscopes,Computer Aided Surgery,01Jan 2004,9(5):203-214)：对于外参标定，通过在镜头上安装驱动电机，驱动镜头转动的同时记录镜头的位姿即镜头中标定板的位置，拟合出镜头的外参。

现有技术方案1存在缺点是计算量巨大，必须使用并行计算法，否则无法达到实时性要求。

现有技术方案2存在缺点是需要采多张不同位置和角度的图片进行标定，费时费力。

现有技术方案3、4存在缺点是模型精度较差，导致关节镜标定精度较差。

现有技术方案5存在的缺点是标定过程复杂，需要安装电机并且结合运动进行标定，费时费力，在实际使用过程中难以推广。

实用新型内容

本实用新型要解决的技术问题是提供一种关节镜图像标定工装，解决了关节镜图像标定过程中计算量大、标定过程复杂、标定精度差的难题。

为解决上述技术问题，本实用新型提供了一种关节镜图像标定工装，所述工装包括：内窥镜、内窥镜标定点、固定座及标定板底座，内窥镜固定在固定座上，标定板底座设置在固定座下方，且底部的内侧安装有标定板，内窥镜标定点同样固定在固定座上，并且与内窥镜之间的空间位置关系固定。

在一些实施方式中，标定点主体和固定座之间有与内窥镜外形一致的空腔结构。

在一些实施方式中，标定点主体和固定座之间采用螺栓连接。

在一些实施方式中，在螺栓拧紧的情况下，标定点主体和固定座完全抱紧内窥镜。

在一些实施方式中，标定点分为上下两层设置。

在一些实施方式中，上层设置有两个标定点主体，下层设置有三个标定点主体。

在一些实施方式中，标定板底座底部的一个侧面镂空。

在一些实施方式中，标定板底座底部的其余三个侧面和底面上安装标定板。

在一些实施方式中，标定板黏贴在标定板底座底部的内侧面上。

采用这样的设计后，本实用新型至少具有以下优点：

其一，相比于现有技术在镜头上安装驱动电机，驱动镜头转动的同时记录镜头的位姿即镜头中标定板的位置，来拟合出镜头的外参，本文通过特殊设计的关节镜标定工装，在标定的时候标定板到关节镜Marker的位姿关系是已知的，使得关节镜镜头到Marker的坐标关系可以直接计算得来，简化了标定过程，使人容易上手；其二，相比于现有技术通过多张不同位置、不同角度的图片来进行标定，本实用新型通过特殊设计的标定板，实现了单张图片标定的可能性，大大缩短了标定时间；其三，相比于现有技术将内镜图像转化成极坐标图像，通过寻找最佳的圆心位置及图像，进而来识别内镜图像轮廓线及尖角的方法，本文通过逼近法可快速定位圆弧轮廓和尖角，大大减少了计算量。

附图说明

上述仅是本实用新型技术方案的概述，为了能够更清楚了解本实用新型的技术手段，以下结合附图与具体实施方式对本实用新型作进一步的详细说明。

图1是本实用新型实施例提供的关节镜图像标定工装的结构示意图；

图2是本实用新型实施例提供的内窥镜标定点的结构示意图；

图3是本实用新型实施例提供的关节镜图像标定方法的流程示意图；

图4是本实用新型实施例提供的关节镜镜头转动的示意图；

图5是本实用新型实施例提供的使用逼近法拟合24个边缘点的原理示意图；

图6是本实用新型实施例提供的最小距离最小二乘法拟合轮廓的效果图；

图7是本实用新型实施例提供的计算镜头的旋转角度的原理示意图；

图8是本实用新型实施例提供的关节镜下的标定板图片；

图9是本实用新型实施例提供的对标定板进行分割的分割效果图；

图10是本实用新型实施例提供的排序后的标定板效果图。

具体实施方式

以下结合附图对本实用新型的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本实用新型，并不用于限定本实用新型。

参见图1，一种内窥镜快速标定装置，包括有内窥镜标定点部分和标定板部分，内窥镜标定点部分包括标定点主体(2)和固定座(3)，标定板部分包括标定板底座(1)以及标定板(a、b、c、d)；

参见图2，内窥镜标定点的作用是通过其上的标定点，在术中方便术者实时获取内窥镜的位置。内窥镜标定点部分固定在内窥镜(4)上。标定点主体(2)和固定座(3)之间有与内窥镜(4)外形一致的空腔结构，标定点主体(2)和固定座(3)之间采用螺栓连接，在螺栓拧紧的情况下，标定点主体(2)和固定座(3)完全抱紧内窥镜(4)，使它们之间相对位置固定。

标定板部分的作用是在术前辅助医生快速进行内窥镜内参、内窥镜与标定点的相对位姿。内窥镜与标定点的相对位姿也被称为外参。标定板底座(1)的a、b、c、d四个位置有四个宽度厚度与图2所示a、b、c、d四个标定板一致的凹槽，标定板(a、b、c、d)与标定板底座(1)采用胶粘的方式固定。

内窥镜标定点部分和标定板部分没有进行固定，而是采用机械限位的方式，即它们衔接处的连接方式是唯一而且紧密的，保证内窥镜Marker部分与标定板部分的相对关系一致且符合原图设计。

在标定过程中只需拍一张图片即可获取内窥镜的内参，以及内窥镜标定点相对于内窥镜的关系；在之后的手术过程中，通过追踪内窥镜上的标定点就可以准确获取该时刻内窥镜的位置。

参见图3，本实用新型实施例还提供一种快速标定关节镜方法：即通过特殊设计的关节镜标定工装和标定板实现关节镜图像快速标定，具体步骤如下：

步骤一、识别关节镜图像外轮廓。

由于关节镜原始图像存在大量的椒盐噪声，在使用前首先要对其进行中值滤波，降低图像的噪声规模。

术中关节镜图像，有效图像区域为带尖角的圆形区域，区域以外的像素值为零(白平衡之后)。关节镜区别于一般的相机，关节镜的镜头在使用过程中会转动以扩充视野如图4所示，因此需要实时对图像轮廓和尖角进行定位，才能准确获取关节镜头和相机的关系，标定参数才会有效，而通过测量发现在不同的关节镜在不同的角度时，轮廓位置都有所不同，因此需要快速计算出每一幅图像的轮廓。

本文采用逼近法快速定位圆弧轮廓，如图5所示，采用24条不同斜率的直线从外向里进行逼近，取图像左右两侧的梯度最大值作为目标点，设定逼近范围，最后得到24个梯度值最大的点。

得到24个边缘点之后，需要用这24个边缘点拟合图像轮廓，通常的方法是使用最小二乘法进行拟合，但由于光线、噪声和尖角点的影响，会有小部分点不在圆轮廓上，这时候直接采用最小二乘法进行拟合会导致误差较大，因此本文采用一种“最小距离最小二乘法”，其核心思想是使数据点到圆心的距离之和最小，即：

使得f取得最小值的x_c、y_c和R就是最佳拟合参数。最小距离最小二乘法的拟合效果如图6所示。

步骤二、识别外轮廓缺口，计算镜头偏转角度。

识别出内部图像的轮廓之后，需要从这24个点中找出尖角点，本文通过各个点到拟合圆的圆心进行计算，取到圆心距离最远的点，再结合阈值过滤等手段，可以准确地找出尖角顶点的坐标。

计算出顶点坐标之后，结合第一步中拟合的圆心坐标，计算出关节镜的旋转角度，与钟表类似，以钟表的零点方向为零度，顺时针转过的角度为镜头旋转的角度。

步骤三、X角点识别。

本文采用标定板的样式如图8所示，图中同时含有4块标定板，因此只需要一张图片即可完成关节镜的标定。

在X角点的识别上，首先采用形态学的方式进行筛选。从数十万个图像像素中找出数十个候选点，这需要有高效的过滤算子。本文采用的是Bennett等人提出的角点响应值算子。定义当前像素点20的和响应值(SR)、微分响应(DR)、平均响应值(MR)和最终响应值R如下：

加权求和得到该点的总响应值R：

R＝SR-DR-16MR

R越高表示它越接近X角点。然后对像素点采用阈值过滤、非极大值抑制等方法，就能将X角点准确地筛选出来。

步骤四、标定板分割。

如图9所示，图中的X角点一共包含4个标定板的点，因此需要将X角点进行分割。

在设计标定板时，为方便分割，采用了红、蓝、绿对三种颜色进行标定板界线的划分，分割的目的就是准确找出图中的六个点，从而确定五条分界线，从而通过点与直线的关系来确定每个X角点属于哪一块标定板。具体分割步骤如下：

将图像的RGB通道分离，对各通道的像素值进行阈值过滤。

指定一个小半径r，寻找在以r为半径的圆内，同时包含红、蓝、绿三种颜色的点，通过斜率迭代的方式快速定位原点1和原点2，此时原点1和原点2尚无法直接同标定板关联起来；

指定一个大半径R，以原点1和原点2为中心快速确定原点1对应的红蓝点和原点2对应的红蓝点，再结合向量之间的位置关系确定①、②、③、④标定板与这六个点的关系。

通过X角点与这5条直线的位置关系，确定每个X角点属于哪个标定板。

步骤五、标定板角点排序。

基于相机标定的原理，相机坐标系下的点需要与世界坐标系中的点一一对应才能实现标定，因此需要找到每个标定板的原点，再对其一一排序，如图10所示。

对4块标定板的点排序过程类似，因此只对第一块标定板的排序过程进行介绍。步骤如下：

遍历分区1中所有的点(以下简称所有点)，找出距离原点1最近的两个点(找两个点的原因是避免距离最近的点是噪点)。

以第一个点为基准，通过角度、方向和距离约束找到基准的4个点0、1、8、9，若寻找失败则用第二个点重新寻找，若再次失败则放弃该标定板。

从找到的基准点，使用角度和距离约束，依次对剩下的点进行定位，例如使用0和1定位出2点，使用0和8定位出16点，使用0和9定位出18点等等，以此类推，直到所有点搜索完毕。

步骤六、关节镜内参标定。

对排序好的标定板坐标与其对应的世界坐标系坐标，使用张正友标定法进行标定，得到相机的内参(内参矩阵、畸变矩阵)与标定板相对于相机的外参，如图10所示。

步骤七、关节镜外参标定。

如图10所示，本文设计了特殊的关节镜标定工装，在标定的时候标定板到关节镜Marker的位姿关系T₁是已知的，因此关节镜镜头到Marker的坐标关系可以直接计算得来，即：

T₀＝T₂*T₁

在一些实施方式中，内参标定板可使用如圆形标定板、charucoboard、二维码标定板、带几何约束的空间立体标定板等。

在一些实施方式中，安装内参标定板的空间结构，除了现在采用的长方体外，还可采用正方体、四面体、八面体等在内部可以同时看到多个面的立体结构。

在一些实施方式中，内参标定板的数量除了现在的4块，可以采用1块、2块、3块乃至多块标定板。

在一些实施方式中，相机Marker的形状可替换为红外反光小球、圆形标记点以及二维码标记等。

在一些实施方式中，内窥镜畸变模型可以采用球面模型、抛物面模型、分段模型等。

在一些实施方式中，采用直线逼近法寻找内窥镜轮廓圆时可以设置不同角度间隔来设置逼近直线，因此逼近直线的数量不是唯一的，理论上是任意数量。

在一些实施方式中，标定工装的加工工艺和材料不是唯一的，可以采用机械加工，材料可以选用尼龙、金属等。

在一些实施方式中，内参标定板之间的分割可以不采用本文的颜色区分方法，而采用不同线形或者不同编码来分割。

以上所述，仅是本实用新型的较佳实施例而已，并非对本实用新型作任何形式上的限制，本领域技术人员利用上述揭示的技术内容做出些许简单修改、等同变化或修饰，均落在本实用新型的保护范围内。

Claims (9)

1.一种关节镜图像标定工装，其特征在于，包括：内窥镜、内窥镜标定点、固定座及标定板底座，内窥镜固定在固定座上，标定板底座设置在固定座下方，且底部的内侧安装有标定板，内窥镜标定点同样固定在固定座上，并且与内窥镜之间的空间位置关系固定。

2.根据权利要求1所述的关节镜图像标定工装，其特征在于，标定点主体和固定座之间有与内窥镜外形一致的空腔结构。

3.根据权利要求1所述的关节镜图像标定工装，其特征在于，标定点主体和固定座之间采用螺栓连接。

4.根据权利要求3所述的关节镜图像标定工装，其特征在于，在螺栓拧紧的情况下，标定点主体和固定座完全抱紧内窥镜。

5.根据权利要求1所述的关节镜图像标定工装，其特征在于，标定点分为上下两层设置。

6.根据权利要求1所述的关节镜图像标定工装，其特征在于，上层设置有两个标定点主体，下层设置有三个标定点主体。

7.根据权利要求1所述的关节镜图像标定工装，其特征在于，标定板底座底部的一个侧面镂空。

8.根据权利要求7所述的关节镜图像标定工装，其特征在于，标定板底座底部的其余三个侧面和底面上安装标定板。

9.根据权利要求8所述的关节镜图像标定工装，其特征在于，标定板黏贴在标定板底座底部的内侧面上。

Images