CN103412401B - 内窥镜和管道内壁三维图像重建方法 - Google Patents

Abstract

一种内窥镜和管道内壁三维图像重建方法，本发明解决了在内镜检测中的细小管道内壁的清晰成像和三维特征重建的问题，采用时空信息融合，结合SIFT算法、双目CCD定标和双目成像的原理获取检测管道内壁的三维特征信息，本发明能真实反映管道内壁检测部位的空间特性。

Description

内窥镜和管道内壁三维图像重建方法

技术领域

本发明涉及内窥镜，特别是一种内窥镜和管道内壁三维图像重建方法三维重建方法。

背景技术

电子内窥镜主要由内镜(endoscopy)、电视系统信息中心(video informationsystem center)和电视监视器(televisio monitor)三个主要部分组成，其中最主要的为内镜部分。内镜的成像主要依赖于镜身前端装备的微型图像传感器(CCD)，CCD就像一台微型摄像机将图像经过图象处理器处理后，显示在电视监视器的屏幕上。比普通光导纤维内镜的图像清晰，色泽逼真，分辨率高，可供多人同时观看。

三维重建技术在原有的平面成像的基础上，加入了成像物体的位置信息，使物体可以三维重现，反映信息更全面，更具体。目前双目体视主要应用于四个领域：机器人导航、微操作系统的参数检测、三维测量和虚拟现实。日本奈良科技大学信息科学学院提出了一种基于双目立体视觉的增强现实系统（AR）注册方法，通过动态修正特征点的位置，提高注册精度（参见Vallerand Steve,Kanbara Masayuki,Yokoya Naokazu.Binocular Vision-Based Augmented Reality System With An IncreasedRegistration Depth Using Dynamic Correction Of Feature Positions.Proceedings.Of the2003 IEEE,Virtual Reality.March 2003；Vol.22～26,p271～272）；华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统（参见Clark F.Olson,Habib Abi-Rached,Ming Ye,Jonathan P.Hendrich.Wide-Baseline Stereo VisionFor Mars Rovers.Proceedings Of The2003IEEE/RSJ Intl.Conference On IntelligentRobots And Systerms.October2003）；微软2012年发布融合三维视觉技术的Kinect成像系统，用于Xbox360上。

2004年，Rob Hess完善并公布了其利用openCV进行特征点提取和匹配的SIFT算法（参见Rob Hess.http://blogs.oregonstate.edu/hess/code/sift/,2004）；在图像融合领域，Szeliski在Computer Vision:Algorithms and Applications[M].一书中提到的渐入渐出法将可以将两个图像的重叠区域进行融合

对微细管道的检测通常是基于RGB彩色成像的方式，而结合立体成像的检测方法和装置设计难度较大，并且通常有分辨率、仪器尺寸、三维重建效果以及光通量匹配等效果不佳的问题。

发明内容

本发明的目的是提供一种内窥镜和管道内壁三维图像重建方法，以解决内窥镜检测中细小管道内壁的清晰成像和三维图像特征重建的问题，采用时空信息融合，结合SIFT算法、双目CCD定标和双目成像的原理获取检测管道内壁的三维特征信息，真实反映检测部位空间特性。

本发明的技术解决方案如下：

一种内窥镜，包括连接管道、图像采集装置和计算机，其特点在于所述的图像采集装置包括圆筒形外壳、第一CCD、第二CCD、第一发光二极管（以下简称为LED）、第二LED、电源插口和通信接口，所述的第一CCD、第二CCD分别固定在所述的圆筒形外壳一端圆盘面的0°位置和180°位置，并与该圆盘面的中心呈对称放置；所述的第一LED、第二LED分别位于与所述的第一CCD、第二CCD同一端圆盘面的90°和270°位置，相对圆盘面中心呈对称放置；所述电源插口位于所述的圆筒形外壳另一端的圆盘面上，并与所述的第一CCD、第二CCD、第一LED和第二LED的电源输入端连接；所述通信接口位于与电源插口同一端的圆盘面上，并分别与所述的第一CCD的输出端、第二CCD的输出端连接，所述的电源插口和通信接口经所述的连接管道与所述的计算机相连。

利用上述内窥镜进行管道内壁三维图像重建的方法，该方法包括下列步骤：

①首先建立3维动态坐标系：沿细小管径延生的方向的切线方向为w，与w方向垂直的平面上，双目CCD中心的连线为u轴，方向为第一CCD指向第二CCD，v方向以所述的w与u方向相对应，构建右手坐标系u-v-w；

②双目CCD标定：先用matlab标定工具箱对摄像头进行立体标定，然后将标定数据读入visual studio，利用openCV标定算法中的摄像机针孔模型进行图像校正；

利用8×8标准色板，利用第一CCD和第二CCD对其进行拍照，选取两个CCD成像中一个公共空间点p，p在左右两个摄像机成像平面上的图像坐标分别为(u_l,v_l),(u_r,v_r)，那么根据摄像机成像模型，可得：

$\left[\begin{array}{c}{u}_l\\ v_l\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{l11}& m_{l12}& m_{l13}& m_{l14}\\ m_{l21}& m_{l22}& m_{l23}& m_{l24}\\ m_{l31}& m_{l32}& m_{l33}& m_{l34}\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=M_l\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$

$\left[\begin{array}{c}{u}_r\\ v_r\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{r11}& m_{r12}& m_{r13}& m_{r14}\\ m_{r21}& m_{r22}& m_{r23}& m_{r24}\\ m_{r31}& m_{r32}& m_{r33}& m_{r34}\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=M_r\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$

其中(x,y,z)为所述特征点p在世界坐标系的位置，M_l和M_r是双目CCD的特征矩阵，上述两式联立即可求出特征矩阵M_l和M_r。

③从待测管径初始位置开始，双目CCD进行一次拍照，得到两幅图像1a和1b；1a和1b部分区域重叠，然后进行两幅图像的拼接，并提取重叠区域各个像素点的3维位置信息，进而实现3维重建。具体步骤如下：

通过visual studio读入图像1a和图像1b，利用SIFT算法程序（请参见Rob Hess.http://blogs.oregonstate.edu/hess/code/sift/,2004）分别对图像1a和图像1b进行特征点提取，并将已提取出来的特征点进行匹配，使两幅图像的对应点一一匹配，其中每一对匹配点对应一个空间点p_i（i=1,2,...,N，N为匹配点总对数）；

将图1a和1b的匹配特征点进行平移重叠，利用Szeliski在Computer Vision:Algorithms and Applications[M].一书中提出的渐入渐出法将重叠区域进行融合，使得图像1a和图像1b拼接成为图像1；

三维建模：通过上述图像采集过程，可以获得所有提取出来的N个特征点在左右两个摄像机成像平面上的图像坐标，其中第i个特征点在左右摄像机成像平面上的图像坐标为：(u_il,v_il)以及(u_ir,v_ir)，分别代入:

$\left[\begin{array}{c}{u}_{\mathrm{il}}\\ v_{\mathrm{il}}\\ 1\end{array}\right]=M_l\left[\begin{array}{c}{x}_i\\ y_i\\ z_i\\ 1\end{array}\right]$

$\left[\begin{array}{c}{u}_{\mathrm{il}}\\ v_{\mathrm{il}}\\ 1\end{array}\right]=M_r\left[\begin{array}{c}{x}_i\\ y_i\\ z_i\\ 1\end{array}\right]$

即可求出N个特征点p_i的世界坐标系(x_i,y_i,z_i)。

由上述的已经匹配的图像特征点对，通过特征点连线并延长的方式，并取最大闭合区域，即可得知图像1a和图像1b的重合区域，然后利用openCV遍历的方式，求出重合区域中所有像素点的三维坐标，并将三维信息与像素点的颜色信息相结合，使得每个像素点的信息变为“三原色-深度”（RGB-D）；

④将采集装置沿着管径延生方向的切线方向匀速运动，速度为p mm/s，p<10，双目CCD采用固定时间间隔自动拍照，拍照时间间隔为0.25s，假设图像1采集时间为0时刻，则0.25s时刻CCD拍照得到两幅图像2a和图像2b；将图像2a和图像2b用③中的方法拼接成图像2，同理可提取图像2中特征点的世界坐标系。

⑤将2a和2b拼接成图像2后，再将图像1和图像2利用②中的方法进行沿z轴方向的拼接,生成合成；

⑥再经过0.25秒进行第三次拍照，重复步骤④⑤拼接成为图像3并提取图像3中位置点的三维信息，并和图像1、2拼接的合成图进行沿z轴方向的拼接获得图像3；

⑦重复步骤⑥，直至所述的图像采集装置沿管径延生方向移动到待测部位末端，进行第N次拍照，拼接成为图像N并提取图像N中位置点的三维信息，并和图像N-1、图像N-2拼接的合成图,获得图像N；

⑧将拼接结果和所有的像素点的RGB-D信息传递给可视化软件openCV、matlab、labview或c#等，利用软件中的三维可视化工具包实现三维内窥环境中的三维重建结果的显示。

本发明与先前技术相比，具有以下优点：

1）采用时空信息融合，结合SIFT算法、双目CCD定标和双目成像的原理获取检测管道内壁的三维特征信息，真实再现检测部位空间特性；

2）本发明针对微小环境的特点，采用动态双目采集实时融合的方式，使图像处理与图像采集过程同时进行，提高了实时性效果。

附图说明

图1是本发明内窥镜结构框图

图2是本发明内窥镜图像采集装置结构示意图

图3是本发明内窥镜图像采集装置电路连接图

图4是本发明内窥镜空间位置信息提取和全景图像融合流程图

具体实施方式

以下结合附图和实施例对本发明做进一步说明，但不应以此限制本发明的保护范围。

提供一种内窥镜和管道内壁三维图像重建方法，解决在内镜检测中的细小管道内壁的三维重建方法的问题，采用时空信息融合，结合SIFT算法、双目CCD定标和双目成像的原理获取检测管道内壁的三维特征信息，真实反映检测部位空间特性的目的。

先请参阅图1、图2和图3，图1是本发明内窥镜结构框图，图2是本发明内窥镜图像采集装置结构示意图，图3是本发明内窥镜图像采集装置电路连接图，由图可见，本发明内窥镜，包括连接管道1、图像采集装置2和计算机3，所述的图像采集装置2包括圆筒形外壳21、第一CCD22、第二CCD23、第一LED24、第二LED25、电源插口26和通信接口27，所述的第一CCD22、第二CCD23分别固定在所述的圆筒形外壳一端圆盘面的0°位置和180°位置，并与该圆盘面的中心呈对称放置；所述的第一LED24、第二LED25分别位于与所述的第一CCD22、第二CCD23同一端圆盘面的90°和270°位置，相对圆盘面中心呈对称放置；所述电源插口26位于所述的圆筒形外壳另一端的圆盘面上，并与所述的第一CCD22、第二CCD23、第一LED24和第二LED25的电源输入端连接；所述通信接口27位于与电源插口26同一端的圆盘面上，并分别与所述的第一CCD22的输出端、第二CCD23的输出端连接，所述的电源插口26和通信接口27经所述的连接管道2与所述的计算机3相连。

电源插口用于给所述CCD和LED供电，通信接口用于所述的CCD与计算机通信。

利用上述内窥镜进行管道内壁三维图像重建的方法，该方法包括下列步骤：

①首先建立3维动态坐标系：沿细小管径延生的方向的切线方向为w，与w方向垂直的平面上，双目CCD中心的连线为u轴，方向为第一CCD指向第二CCD，v方向以所述的w与u方向相对应，构建右手坐标系u-v-w；

②双目CCD标定：先用matlab标定工具箱对摄像头进行立体标定，然后将标定数据读入visual studio，利用openCV标定算法中的摄像机针孔模型进行图像校正；

利用8×8标准色板，利用第一CCD和第二CCD对其进行拍照，选取两个CCD成像中一个公共空间点p，p在左右两个摄像机成像平面上的图像坐标分别为(u_l,v_l),(u_r,v_r)，那么根据摄像机成像模型，可得：

$\left[\begin{array}{c}{u}_l\\ v_l\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{l11}& m_{l12}& m_{l13}& m_{l14}\\ m_{l21}& m_{l22}& m_{l23}& m_{l24}\\ m_{l31}& m_{l32}& m_{l33}& m_{l34}\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=M_l\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$

$\left[\begin{array}{c}{u}_r\\ v_r\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{r11}& m_{r12}& m_{r13}& m_{r14}\\ m_{r21}& m_{r22}& m_{r23}& m_{r24}\\ m_{r31}& m_{r32}& m_{r33}& m_{r34}\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=M_r\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$

其中(x,y,z)为所述特征点p在世界坐标系的位置，M_l和M_r是双目CCD的特征矩阵，上述两式联立即可求出特征矩阵M_l和M_r。

③从待测管径初始位置开始，双目CCD进行一次拍照，得到两幅图像1a和1b；1a和1b部分区域重叠，然后进行两幅图像的拼接，并提取重叠区域各个像素点的3维位置信息，进而实现3维重建。具体步骤如下：

通过visual studio读入图像1a和图像1b，利用SIFT算法程序（请参见Rob Hess.http://blogs.oregonstate.edu/hess/code/sift/,2004）分别对图像1a和图像1b进行特征点提取，并将已提取出来的特征点进行匹配，使两幅图像的对应点一一匹配，其中每一对匹配点对应一个空间点p_i（i=1,2,...,N，N为匹配点总对数）；

将图1a和1b的匹配特征点进行平移重叠，利用Szeliski在Computer Vision:Algorithms and Applications[M].一书中提出的渐入渐出法将重叠区域进行融合，使得图像1a和图像1b拼接成为图像1；

三维建模：通过上述图像采集过程，可以获得所有提取出来的N个特征点在左右两个摄像机成像平面上的图像坐标，其中第i个特征点在左右摄像机成像平面上的图像坐标为：(u_il,v_il)以及(u_ir,v_ir)，分别代入:

$\left[\begin{array}{c}{u}_{\mathrm{il}}\\ v_{\mathrm{il}}\\ 1\end{array}\right]=M_l\left[\begin{array}{c}{x}_i\\ y_i\\ z_i\\ 1\end{array}\right]$

$\left[\begin{array}{c}{u}_{\mathrm{il}}\\ v_{\mathrm{il}}\\ 1\end{array}\right]=M_r\left[\begin{array}{c}{x}_i\\ y_i\\ z_i\\ 1\end{array}\right]$

即可求出N个特征点p_i的世界坐标系(x_i,y_i,z_i)。

由上述的已经匹配的图像特征点对，通过特征点连线并延长的方式，并取最大闭合区域，即可得知图像1a和图像1b的重合区域，然后利用openCV遍历的方式，求出重合区域中所有像素点的三维坐标，并将三维信息与像素点的颜色信息相结合，使得每个像素点的信息变为RGB-D；

④将采集装置沿着管径延生方向的切线方向匀速运动，速度约为p mm/s（p<10），双目CCD采用固定时间间隔自动拍照，拍照时间间隔为0.25s，假设图像1采集时间为0时刻，则0.25s时刻CCD拍照得到两幅图像2a和图像2b；将图像2a和图像2b用③中的方法拼接成图像2，同理可提取图像2中特征点的世界坐标系。

⑤将2a和2b拼接成图像2后，再将图像1和图像2利用②中的方法进行沿z轴方向的拼接；

⑥再经过0.25秒进行第三次拍照，重复步骤④⑤拼接成为图像3并提取图像3中位置点的三维信息，并和图像1、2拼接的合成图进行沿z轴方向的拼接获得图像3；

⑦重复步骤⑥，直至所述的图像采集装置2沿管径延生方向移动到待测部位末端，进行第N次拍照，同上述方法拼接成为图像N并提取图像N中位置点的三维信息，并和图像N-1、图像N-2拼接的合成图,获得图像N；

⑧将拼接结果和所有的像素点的RGB-D信息传递给可视化软件openCV、matlab、labview或c#等，利用软件中的三维可视化工具包实现3维内窥环境中的三维重建结果的显示。

本实施例具有以下优点：

采用时空信息融合，结合SIFT算法、双目CCD定标和双目成像的原理获取检测管道内壁的3维特征信息，实现真实再现检测部位空间特性的目的；针对微小环境的特点，采用动态双目采集实时融合的方式，使图像处理与图像采集过程同时进行，提高了实时性效果。

Claims (2)

1.一种内窥镜，包括连接管道(1)、图像采集装置(2)和计算机(3)，其特征在于所述的图像采集装置(2)包括圆筒形外壳(21)、第一CCD(22)、第二CCD(23)、第一LED(24)、第二LED(25)、电源插口(26)和通信接口(27)，所述的第一CCD(22)、第二CCD(23)分别固定在所述的圆筒形外壳(21)一端圆盘面的0°位置和180°位置，并与该圆盘面的中心呈对称放置；所述的第一LED(24)、第二LED(25)分别位于与所述的第一CCD(22)、第二CCD(23)同一端圆盘面的90°和270°位置，相对圆盘面的中心呈对称放置；所述电源插口(26)和所述通信接口(27)位于所述的圆筒形外壳(21)另一端的圆盘面上，所述电源插口(26)通过导线与所述的第一CCD(22)、第二CCD(23)、第一LED(24)和第二LED(25)的电源输入端连接；所述通信接口(27)分别与所述的第一CCD(22)的输出端、第二CCD(23)的输出端连接，所述的电源插口(26)和通信接口(27)经所述的连接管道(1)与所述的计算机(3)相连。

2.利用权利要求1所述的内窥镜进行管道内壁三维图像重建的方法，特征在于该方法包括下列步骤：

①首先建立三维动态坐标系：沿管径延伸的方向的切线方向为w，与w方向垂直的平面上，双目CCD中心的连线为u轴，方向为第一CCD指向第二CCD，v方向以所述的w与u方向相对应，构建右手坐标系u-v-w；

②双目CCD标定：先用matlab标定工具箱对摄像头进行立体标定，然后将标定数据读入visual studio，利用openCV标定算法中的摄像机针孔模型进行图像校正：

利用第一CCD和第二CCD对8×8标准色板进行拍照，选取两个CCD成像中一个公共空间点p，p在左右两个摄像机成像平面上的图像坐标分别为(u_l,v_l),(u_r,v_r)，根据摄像机成像模型得：

其中，(x,y,z)为所述公共空间点p在世界坐标系的位置，M_l和M_r是双目CCD的特征矩阵，上述两式联立即可求出特征矩阵M_l和M_r；

③从待测管径初始位置开始，双目CCD进行一次拍照，得到两幅图像1a和1b；1a和1b部分区域重叠，然后进行两幅图像的拼接，并提取重叠区域各个像素点的三维位置信息，进而实现三维重建，具体步骤如下：

通过visual studio读入图像1a和图像1b，利用SIFT算法程序分别对图像1a和图像1b进行特征点提取，并将已提取出来的特征点进行匹配，使两幅图像的对应点一一匹配，其中每一对匹配点对应一个空间点p_i，i＝1,2,...,N，N为匹配点总对数；

将图1a和1b的匹配特征点进行平移重叠，利用渐入渐出法将重叠区域进行融合，使得图像1a和图像1b拼接成为图像1；

三维建模：通过上述图像采集过程，获得所有提取出来的N个特征点在左右两个摄像机成像平面上的图像坐标，其中第i个特征点在左右摄像机成像平面上的图像坐标为：(u_il,v_il)以及(u_ir,v_ir)，分别代入:

求出N个空间点p_i的世界坐标系(x_i,y_i,z_i)；

由上述的已经匹配的图像特征点对，通过特征点连线并延长的方式，取最大闭合区域，得知图像1a和图像1b的重合区域，然后利用openCV遍历的方式，求出重合区域中所有像素点的三维坐标，并将三维信息与像素点的颜色信息相结合，使得每个像素点的信息变为RGB-D；

④将采集装置沿着管径延伸方向的切线方向匀速运动，速度为p mm/s，p<10，双目CCD采用固定时间间隔自动拍照，拍照时间间隔为0.25s，假设图像1采集时间为0时刻，则0.25s时刻CCD拍照得到两幅图像2a和图像2b；将图像2a和图像2b用③中的方法拼接成图像2，同理可提取图像2中特征点的世界坐标系；

⑤将2a和2b拼接成图像2后，再将图像1和图像2利用步骤②中的方法进行沿z轴方向的拼接；

⑥再经过0.25秒进行第三次拍照，重复步骤④⑤拼接成为图像3并提取图像3中位置点的三维信息，并和图像1、2拼接的合成图进行沿z轴方向的拼接获得图像3；

⑦重复步骤⑥，直至所述的图像采集装置(2)沿管径延伸方向移动到待测部位末端，进行第N次拍照，拼接成为图像N并提取图像N中位置点的三维信息，并和图像N-1、图像N-2拼接的合成图,获得图像N；

⑧将拼接结果和所有的像素点的RGB-D信息传递给可视化软件openCV、matlab、labview或c#，显示三维内窥环境中的三维重建结果。