CN104657970A - 一种全自动双目内窥镜的标定方法及标定系统 - Google Patents

Abstract

本发明适用于内窥镜标定技术领域，提供了一种全自动双目内窥镜的标定方法，包括下述步骤：根据待标定内窥镜的视场范围生成多个平面靶标的姿势，并将所述姿势记录到单片机；将所述平面靶标置于角动仪上，通过所述单片机驱动所述角动仪调整到预定姿势，同时驱动所述内窥镜拍摄所述平面靶标，获取所述平面靶标在不同姿势下的图片；通过所述图片对所述内窥镜进行标定，且使标定精度达到预设的精度要求。本发明根据内窥镜的视场范围自动生成多个拍摄姿势，并预存于单片机中，通过单片机控制角动仪调整姿势以完成平面靶标的不同姿势的拍摄，然后通过标定软件完成标定，实现标定全程自动化，标定系统简洁成本低，并大幅提高了标定效率及标定精度。

Description

一种全自动双目内窥镜的标定方法及标定系统

技术领域

本发明属于内窥镜标定技术领域，特别涉及一种全自动双目内窥镜的标定方法及标定系统。

背景技术

在内窥镜的发展中，由于简单的二维影像不能够提供足够的信息，因此三维内窥镜迅速发展起来。在三维内窥镜中，可以分为虚拟现实式和光学式两种，其中，光学式三维内窥镜已经广泛应用到工业测量及医疗领域。在光学式三维内窥镜中，内窥镜系统的标定是必不可少的，标定系统的精度和方便程度都会大大影响到三维测量系统的可用性和精确性。由于内窥镜镜头相对于普通摄像机镜头的焦距以及可视范围小得多，普通标定方法的精度及可操作性难以用于内窥镜系统的标定。

现有技术中，基于摄像机的工作原理可以把内窥镜的标定方法划分为立体标定式和平面靶标式。其中，立体标定式是通过拍摄一张已知三维标定物的图像来标定摄像机。该方法仅需一张图片来进行标定，但是需要制作高精度的三维标定物，由于内窥镜镜头的视场较小，制作尺寸极小的三维标定物比较困难且较昂贵。平面靶标式是通过拍摄多张平面靶标在不同距离不同角度的图像来完成标定，该方法无需高精度的标定物以及精密复杂的设备，仅需将打印的平面靶标图像贴在平板上，在摄像机前摆放多个姿势即可完成标定。同样的，由于内窥镜视场较小，因此在保证两个内窥镜摄像机能够拍摄到的前提下，尽量摆放多个姿势较为困难，同时由于是手动调整靶标姿势，每次拍摄时由于抖动以及平板的平面度较差等，难以保证靶标平面的稳定性，标定精度低且速度慢。

发明内容

本发明的目的在于提供一种全自动双目内窥镜的标定方法，旨在通过简单的设备快速、准确的完成双目内窥镜的标定。

本发明是这样实现的，一种全自动双目内窥镜的标定方法，包括下述步骤：

根据待标定内窥镜的视场范围生成多个平面靶标的姿势，并将所述姿势记录到单片机；

将所述平面靶标置于角动仪上，通过所述单片机驱动所述角动仪调整到预定姿势，同时驱动所述内窥镜拍摄所述平面靶标，获取所述平面靶标在不同姿势下的图片；

通过所述图片对所述内窥镜进行标定，且使标定精度达到预设的精度要求。

优选的，所述根据待标定内窥镜的视场范围生成多个平面靶标的姿势的步骤具体为：

（1）、获取内窥镜的视场范围，包括可用的位置范围和角度范围，选取跨度较大的维度信息作为待测m维空间，其余维则取区间中点作为空间参数，其中，2≤m≤6；

（2）、将所述m维空间均匀划分为2n个区间，然后在其中随机抽取n个区间，计算任意两区间的中心点间的距离，其中，n为正整数；

（3）、判断所述距离是否大于预定阈值，是则进行第（4）步，否则重新进行第（2）步；

（4）、确定n个区间中每个区间的中心点为所述平面靶标的姿势，并计算不同姿势间的相对位置关系，生成运动参数并写入所述单片机。

本发明的另一目的在于提供一种全自动双目内窥镜的标定系统，包括：

作为标定物的平面靶标，以及

角动仪，用于承载所述平面靶标并改变所述平面靶标的姿势，

单片机，与所述角动仪及内窥镜连接，用于预存所述姿势并控制所述角动仪调节到预设的姿势，同时驱动内窥镜对所述平面靶标进行拍摄；

标定单元，与所述单片机和内窥镜连接，用于生成所述平面靶标的姿势并写入单片机，并根据内窥镜拍摄的图片完成内窥镜的三维标定。

本发明与现有的三维内窥镜的标定方法相比，无需使用高精度且昂贵的立体靶标及复杂的设备，无需人工设计调整靶标的姿势，根据内窥镜的视场范围自动生成多个拍摄姿势，并预存于单片机中，通过单片机控制角动仪调整姿势以完成平面靶标的不同姿势的拍摄，然后通过标定软件完成标定，实现标定全程（从姿势生成到标定结束）自动化，标定系统简洁成本低，由于不需人工设计并控制平面靶标的姿势，使标定效率及精度更高。

另外，采用本发明的姿势生成方法，可使生成的姿势较均匀的分布于整个视场的各区间，且保证不同姿势在空间中有一定距离，避免两个或多个区间重叠，可大大增加标定过程的鲁棒性，使标定能在整个三维空间得到优化，提高标定精度；同时，在内窥镜发生轻微的抖动或移动时，对标定精度的影响也是极小的，进而保证了标定的稳定性。本发明的标定方法最终计算出的标定精度由1.1像素升高到0.4像素左右，精度提高50%以上。

附图说明

图1是本发明实施例提供的全自动双目内窥镜的标定方法流程图（一）；

图2是本发明实施例提供的全自动双目内窥镜的标定方法流程图（二）；

图3是本发明实施例提供的标定方法的姿势生成流程图；

图4是本发明实施例提供的标定方法的内窥镜标定流程图；

图5是本发明实施例提供的全自动双目内窥镜的标定系统示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

图1、2示出了本发明实施例提供的全自动双目内窥镜的标定方法流程图，为了便于说明，仅示出了与本实施例相关的部分。

请参阅图1，该全自动双目内窥镜的标定方法包括下述步骤：

在步骤S101中，根据待标定内窥镜的视场范围生成多个平面靶标的姿势，并将该姿势记录到单片机。

在步骤S102中，将平面靶标置于角动仪上，通过单片机驱动角动仪调整到预定姿势，同时驱动内窥镜拍摄平面靶标，获取平面靶标在不同姿势下的图片；

在步骤S103中，通过该图片对内窥镜进行标定，且使标定精度达到预设的精度要求。

进一步结合图2，上述方法的具体执行过程如下：

（1）、检测内窥镜的可用深度及角度范围，即检测内窥镜的视场范围，以限定姿势生成的空间；

（2）、在上述视场内生成多个姿势并存储到单片机；

（3）、通过单片机驱动角动仪携带平面靶标进行姿势调节；

（4）、通过单片机驱动内窥镜拍摄平面靶标，获取每个姿势下的平面靶标图片；

（5）、判断获取的平面靶标图片的数量是否达到预存姿势的数量，是则进行第（6）步，否则返回第（3）步；

（6）、采用平面靶标图片对内窥镜系统进行标定；

（7）、判断标定精度是否达到要求，是则结束，否则返回第（2）步。

在本发明实施例中，优选通过下述方法生成平面靶标的多个拍摄姿势，以提高后续的标定精度。结合图3，该方法具体包括下述步骤：

（1）、获取内窥镜的视场范围，包括可用的位置范围（x，y，z）和角度范围（R，P，Y），选取其中的全部或部分跨度较大的维度信息作为待测m（2≤m≤6）维空间，其余维则取区间中点作为空间参数；

（2）、将m维空间均匀划分为2n个区间，然后在其中随机抽取n个区间，计算任意两区间的中心点间的距离，其中，n为正整数；

（3）、判断该距离是否大于预定阈值，是则进行第（4）步，否则重新进行第（2）步；

（4）、确定n个区间中每个区间的中心点为平面靶标的姿势，并计算不同姿势间的相对位置关系（R，t），生成运动参数并写入单片机。

其中，运动参数代表姿势间的旋转矩阵R和平移向量t，即由一种姿势转换到另一种姿势的变换参数，在进行拍摄时，单片机根据该运动参数调节角动仪变换方位，使平面靶标处于不同姿势。

在这种姿势生成方法中，选取跨度较大的维度信息作为待测m维空间，使拍摄范围最大化，为姿势生成提供较大空间，使生成的姿势较均匀的分布于整个视场的各区间，使内窥镜标定在三维空间内各处得到充分优化，以提高标定的准确性；

通过控制区间间隔大于预定阈值，能够保证不同姿势在空间中有一定距离，避免两个或多个区间重叠或距离过近，可大大增加标定过程的鲁棒性，使标定能在整个三维空间得到优化，提高标定精度；同时，在内窥镜发生轻微的抖动或移动时，对标定精度的影响也是极小的，进而保证了标定的稳定性。

进一步的，本发明实施例中的平面靶标可以选择成本低的打印或者制造的平面靶标图像，也可以采用LCD显示屏，其标定精度可以进一步提高。

在本发明实施例的步骤S102中，可以使用电动角动仪调整平面靶标的姿势，通过单片机向电动角动仪发出驱动信号，驱动电动角动仪变换位置和角度，进而完成多个姿势的拍摄。当然，也可以采用手动角动仪，由人工调节角动仪的位置和角度，由于平面靶标的固定仍采用角动仪，仍然可以实现精确的位置和角度固定，所以对标定的精度无影响，又可降低成本，但由于需要手动调节角动仪，拍摄时间较使用电动角动仪要长，会在一定程度上降低标定效率。

步骤S102将平面靶标放置于角动仪上，通过单片机预存多个姿势，根据预存姿势驱动角动仪改变位置和角度，并驱动内窥镜对不同姿势下的平面靶标进行拍摄，整个获取图片的过程实现全自动操作，快速有效、误差小，消除了人为调整拍摄姿势时难以避免的不确定因素，进而提高了标定精度。

在本发明实施例的步骤S103中，在完成n个姿势的拍摄后，采用n幅图片进行内窥镜的标定。结合图4，具体的标定过程如下：

（1）、读取每张图片，提取每张图片的标定点坐标，同时去除非标定杂点；

（2）、判断是否完成全部图片获取，是则进行第（3）步，否则返回第（1）步，

（3）、根据检测到的标定点位置以及预设三维标定点坐标估算内窥镜的内参数，根据内参数计算出外参数，然后对该内参数和外参数进行优化；在该步骤（3）中，可以采用常规的平面靶标摄像机标定方法估算出内窥镜的内参数，然后采用常规的非线性标定法来优化内窥镜的内外参数，本实施例不再赘述。

（4）、采用非线性优化方法最大化内窥镜系统的视场，分别计算出内窥镜的两个镜头的最佳旋转矩阵（Rl，Rr）以及平移向量（tl，tr），从而实现内窥镜系统的非线性畸变校正以及立体校正，使得内窥镜两镜头拍摄的图像仅在水平方向有偏差，以方便三维坐标的计算；

（5）、通过上述的内外参数和两个镜头的最佳旋转矩阵（Rl，Rr）以及平移向量（tl，tr）完成内窥镜的标定；

（6）、计算标定精度，当该精度达到预设精度要求时结束标定，否则重新进行步骤S101，即重新生成姿势，进行再一次标定，直至标定精度满足要求。

本发明与现有的三维内窥镜的标定方法相比，具有如下优点：

第一、无需使用高精度且昂贵的立体靶标及复杂的设备，仅需要使用打印或制造的平面靶标，采用简单的单片机和角动仪配合平面靶标图片的拍摄即可进行标定，标定系统简洁成本低；且不需人工控制平面靶标的姿势，标定全程自动化，效率高；

第二、在姿势生成方法中，选用跨度较大的维度作为待测多维空间，且选取n个具有一定间隔的区间生成n个姿势，避免了不同姿势之间的重叠且分布均匀，使标定在整个内窥镜视场中各处得到充分优化，进而提高标定的鲁棒性和精度，本发明的姿势生成方法能够生成15～20个不同姿势，而手工调节只能做出8～10个姿势，在采用640*480成像镜头的标准蛇形内窥镜系统中，最终计算出的标定精度由1.1像素升高到0.4像素左右，精度提高50%以上。

第三、该标定方法对内窥镜进行了非线性校正，使得两幅图像只在水平方向有偏差，可以更加直接简单的计算三维坐标，使该标定的实际应用更加快捷方便。

本发明进一步提供一种实施上述标定方法的双目内窥镜的标定系统，结合图5，该系统包括：

作为标定物的平面靶标1，以及

角动仪2，用于承载平面靶标1并改变平面靶标1的姿势，

单片机3，用于预存平面靶标1的姿势并控制角动仪2调节到预设姿势，同时驱动内窥镜5对平面靶标1进行拍摄；

标定单元4，用于生成平面靶标1的姿势，并根据内窥镜5拍摄的图片完成内窥镜5的三维标定。

上述标定系统用于实施本发明的标定方法，其通过单片机3、角动仪2完成平面靶标1处于不同姿势下的拍摄，同时配合标定单元4的计算实现了内窥镜5的三维标定，该系统无需人工调节平面靶标1的拍摄姿势，其姿势生成、姿势调节及拍摄完全自动化，标定快速且精度高，并且不需要复杂昂贵的靶标和设备，成本较低，适合广泛应用于工业及医疗等领域的内窥镜的三维标定。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种全自动双目内窥镜的标定方法，其特征在于，包括下述步骤：

根据待标定内窥镜的视场范围生成多个平面靶标的姿势，并将所述姿势记录到单片机；

将所述平面靶标置于角动仪上，通过所述单片机驱动所述角动仪调整到预定姿势，同时驱动所述内窥镜拍摄所述平面靶标，获取所述平面靶标在不同姿势下的图片；

通过所述图片对所述内窥镜进行标定，且使标定精度达到预设的精度要求。

2.如权利要求1所述的标定方法，其特征在于，所述根据待标定内窥镜的视场范围生成多个平面靶标的姿势的步骤具体为：

（1）、获取内窥镜的视场范围，包括可用的位置范围和角度范围，选取跨度较大的维度信息作为待测m维空间，其余维则取区间中点作为空间参数，其中，2≤m≤6；

（2）、将所述m维空间均匀划分为2n个区间，然后在其中随机抽取n个区间，计算任意两区间的中心点间的距离，其中，n为正整数；

（3）、判断所述距离是否大于预定阈值，是则进行第（4）步，否则重新进行第（2）步；

（4）、确定n个区间中每个区间的中心点为所述平面靶标的姿势，并计算不同姿势间的相对位置关系，生成运动参数并写入所述单片机。

3.如权利要求2所述的标定方法，其特征在于，所述运动参数包括不同姿势间的旋转矩阵和平移向量。

4.如权利要求1所述的标定方法，其特征在于，所述平面靶标采用打印或制造的平面图像或LCD显示屏。

5.如权利要求1所述的标定方法，其特征在于，所述角动仪采用电动角动仪。

6.如权利要求1至5任一项所述的标定方法，其特征在于，所述通过图片对所述内窥镜进行标定，且使标定精度达到预设的精度要求的步骤具体为：

（1）、读取每张图片，提取每张图片的标定点坐标，同时去除非标定杂点；

（2）、判断是否完成全部图片获取，是则进行第（3）步，否则返回第（1）步，

（3）、根据检测到的标定点位置以及预设三维标定点坐标估算内窥镜的内参数，根据所述内参数计算内窥镜的外参数，并对所述内参数和外参数进行优化；

（4）、采用非线性优化方法最大化内窥镜的视场，分别计算出内窥镜的两个镜头的最佳旋转矩阵以及平移向量，完成内窥镜系统的非线性畸变校正及立体校正；

（5）、通过所述内参数、外参数和所述旋转矩阵及平移向量完成内窥镜的标定；

（6）、计算标定精度，当所述精度达到预设精度要求时结束标定，否则重新进行所述根据待标定内窥镜的视场范围生成多个平面靶标的姿势，并将所述姿势记录到单片机的步骤。

7.一种全自动双目内窥镜的标定系统，其特征在于，包括：

作为标定物的平面靶标，以及

角动仪，用于承载所述平面靶标并改变所述平面靶标的姿势，

单片机，与所述角动仪及内窥镜连接，用于预存所述姿势并控制所述角动仪调节到预设的姿势，同时驱动内窥镜对所述平面靶标进行拍摄；

标定单元，与所述单片机和内窥镜连接，用于生成所述平面靶标的姿势并写入单片机，并根据内窥镜拍摄的图片完成内窥镜的三维标定。

8.如权利要求7所述的标定系统，其特征在于，所述平面靶标采用打印或制造的平面图像或LCD显示屏。

9.如权利要求7或8所述的标定系统，其特征在于，所述角动仪采用电动角动仪。

10.如权利要求7或8所述的标定系统，其特征在于，所述角动仪采用手动角动仪。