CN102283626B - 包含结构光三维成像系统的医用内窥镜 - Google Patents

Abstract

包含结构光三维成像系统的医用内窥镜，它涉及一种医用内窥镜，它解决了在扩张鼻内腔脑外科手术中，由于常规立体观测技术受空间限制而不能直接应用于医用内窥镜的问题。本发明的医用内窥镜，它包括工作镜管，所述工作镜管包括成像通道和照明通道，所述照明通道内置照明光纤，它还包括计算处理模块，所述计算处理模块的信号输入端连接成像通道的电信号输出端；它还包括结构光通道，所述结构光通道置于照明通道内，照明光纤的末端输出的光束由结构光通道接收，该光束经过结构光通道后产生结构光，且所述结构光由结构光通道输出至照明通道外。本发明克服了已有技术的不足，可用于扩张鼻内腔脑外科手术中。

Description

包含结构光三维成像系统的医用内窥镜

技术领域

本发明涉及一种医用内窥镜。

背景技术

内窥镜成像技术是一种典型的医学成像技术，在医学诊断和手术导航等方面都发挥着重要作用。随着人们对诊断和手术导航精度的日益重视，三维成像技术在医用内窥镜中的应用也日益增多。以脑瘤手术为例，传统的脑瘤治疗方法中，如颅骨切开术采用切开病人的头骨或面部骨骼的手术方式，往往会严重损坏病人的容貌，而且需要较长的术后恢复期。最近，扩张鼻内腔脑外科手术(EEN，Expanded Endonasal Neurosurgery)在脑瘤临床治疗中得到了极大关注。这种手术方案将微型内窥镜和外科手术设备导入鼻腔，查找出脑瘤的精确位置并加以切除。EEN手术的顺利实施需要内镜影像导航系统的有效指引，导航系统的性能会直接影响到脑瘤的定位准确性和外科手术的灵敏性。内窥镜影像导航系统一般主要包括两个子系统：(1)用于实时获取手术部位图像的内窥镜成像系统；(2)用于将手术设备的位置映射到手术前的CT或MRI数据上的导航系统。图1为一个典型的刚体内窥镜的结构示意图，如图1所示，内窥镜在内部工作镜管部分有两个通道：成像通道0-4和照明通道0-6，其中成像通道0-4用于对器官表面成像，照明通道0-6则用来输出光束。成像通道0-4的光学元件(从末端算起)包括用于观测较大视野角度的发散镜头0-5、用于调焦的物镜0-3、用于转换图像的棒状传导部件0-2和放大目镜0-7；照明通道仅包括照明光纤0-1，用于连接到光源处。与成像通道0-4相比，照明通道0-6的结构要简单得多。

目前应用于EEN手术的内窥镜影像导航系统仍然具有很大的不健全性，由于不能从获取的图像或视频中复原三维场景而导致导航出现一定的偏差(最大偏差可达2cm左右)。如果缺少手术部位的必要三维场景信息，医生往往需要尝试接触组织表面以感受深度距离，或依靠个人经验做出主观判断。因而精确的三维可视化场景将会显著提高外科医生手术操作的灵敏性和脑瘤定位的准确性，具有重大的技术和医学应用价值。

最近几年内，内窥镜图像的三维建模技术已经得到了一定程度的发展并取得了初步的研究成果。然而，由于EEN手术中使用的内窥镜必须非常小以便能穿过鼻腔到达头骨底部区域，一些常规的立体观测技术如多目立体视觉往往由于空间限制而不能直接应用。迄今为止，国内外尚未出现可行的EEN三维结构建模技术方面的报道。

发明内容

本发明的目的是解决在扩张鼻内腔脑外科手术中，由于常规立体观测技术受空间限制而不能直接应用于医用内窥镜的问题，提供了一种包含结构光三维成像系统的医用内窥镜。

包含结构光三维成像系统的医用内窥镜，它包括工作镜管，所述工作镜管包括成像通道和照明通道，所述照明通道内置照明光纤，它还包括计算处理模块，所述计算处理模块的信号输入端连接成像通道的电信号输出端；它还包括结构光通道，所述结构光通道置于照明通道内，照明光纤的末端输出的光束由结构光通道接收，该光束经过结构光通道后产生结构光，且所述结构光由结构光通道输出至照明通道外；所述结构光通道由聚焦镜头组、微型栅格屏和投影镜头组组成，照明光纤的末端输出的光束依次经过聚焦镜头组、微型栅格屏和投影镜头组后，生成结构光输出；所述计算处理模块用于对成像通道获得的图像进行三维重建，获得所述图像的三维图像；计算处理模块对成像通道获得的图像进行三维重建的具体过程为：

对于目标中清晰区域，通过提取栅格角点的方法，并利用基于栅格形变的结构光三维重建方法重建所述清晰区域的表面三维形状；对于目标中模糊区域，采用基于几何方法的散焦三维重建方法重建所述模糊区域的表面三维形状。

本发明的包含结构光三维成像系统的医用内窥镜，通过在医用内窥镜的照明通道中增设结构光通道、并综合使用基于栅格形变的结构光三维重建方法以及基于几何方法的散焦三维重建方法来获取医学组织和器官表面的三维形状信息，且能够应用于扩张鼻内腔脑外科手术中；本发明的三维图像是通过结构光三维重建方法实现的，没有占用额外空间。

附图说明

图1为典型刚体内窥镜的结构示意图；图2为本发明的医用内窥镜的结构示意图；图3为本发明的医用内窥镜中的结构光通道的结构示意图；图4为本发明的医用内窥镜的剖面示意图。

具体实施方式

具体实施方式一：结合图2和图3说明本实施方式，本实施方式的包含结构光三维成像系统的医用内窥镜，它包括工作镜管，所述工作镜管包括成像通道1和照明通道2，所述照明通道2内置照明光纤3，它还包括计算处理模块4，所述计算处理模块4的信号输入端连接成像通道1的电信号输出端；

它还包括结构光通道5，所述结构光通道5置于照明通道2内，照明光纤3的末端输出的光束由结构光通道5接收，该光束经过结构光通道5后产生结构光，且所述结构光由结构光通道5输出至照明通道2外。以上结构可参见图2。

照明光纤2的直径约为10微米(mm)，使用细光纤束的原因在于其可以近似为一个点光源。

如图2所示的内窥镜，包括成像通道1和照明通道2。成像通道1包括用于观测较大视野角度的发散镜头、用于调焦的物镜、用于转换图像的棒状传导部件和放大目镜；照明通道2内置照明光纤3，照明光纤3连接到光源处。照明通道2内设置结构光通道5，用来生成结构光。其中Target为目标。

以扩张鼻内脑外科手术为例，由于需要将内窥镜从鼻腔插入，因此内窥镜尺寸必须尽量小巧。如图4所示，刚体内窥镜的直径大约4毫米，成像通道1直径大约2.8毫米，结构光通道5直径大约1毫米。

参见图3，所述结构光通道5可由聚焦镜头组51、微型栅格屏52和投影镜头组53组成，照明光纤3的末端输出的光束依次经过聚焦镜头组51、微型栅格屏52和投影镜头组53后，生成结构光输出。

微型栅格屏52是设计的关键元件，它需要具备以下特点：固体、非常规则而且分辨率很高(以栅格单位的尺寸为标准)；在本实施方式中，所述微型栅格屏52的材料可采用碳聚合材料，具体可选用碳纳米管/环氧树脂复合材料或碳纳米管/聚氨酯复合材料。

令b1表示微型栅格屏52到聚焦镜头组51的等效光心的距离，令b2表示微型栅格屏52到投影镜头组53等效光心的距离，则可令1∶3＞b1∶b2＞1∶5。

所述结构光通道5输出的光束即为结构光，由于内窥镜尺寸和结构限制，无法产生复杂的结构光编码模式，而只能产生单一的栅格模式。

当投影镜头组53可以用薄镜头模块近似时，距离b2由两个因素决定，所述两个因素分别为投影镜头组53的等效光心到目标之间的距离Z2以及投影镜头组53的放大倍数R，即有b2＝Z/R，其中距离Z2可以根据对EEN临床特征的统计研究进行估算，如对鼻内窥镜成像时Z2为10～20mm，放大倍数R由所采用的光源决定。

所述聚焦镜头组51可由第一平凸透镜511和第二平凸透镜512组成，且第一平凸透镜511的凸起表面和第二平凸透镜512的凸起表面相对放置，第一平凸透镜511的平表面作为聚焦镜头组51的光输入端，第二平凸透镜512的平表面作为聚焦镜头组51的光输出端。

所述第一平凸透镜511和第二平凸透镜512均可采用消色差双和透镜。

本实施方式中，内窥镜内部使用氙气或金属卤化物生成的冷光作为光源，考虑到光源的宽光谱，可采用消色差双合透镜作为聚焦镜头，可使关于光波长的镜头折射率变化引起的色差失常最小。

令d1表示第一平凸透镜511的焦距，令d2表示第二平凸透镜512的焦距，则第一平凸透镜511的光心和第二平凸透镜512的光心之间的距离可为d1+d2。

所述投影镜头组53可由第三平凸透镜531和第四平凸透镜532组成，且第三平凸透镜531的凸起表面和第四平凸透镜532的凸起表面相对放置，第三平凸透镜531的平表面作为聚焦镜头组51的光输入端，第四平凸透镜532的平表面作为聚焦镜头组51的光输出端。

令d3表示第三平凸透镜531的焦距，令d4表示第四平凸透镜532的焦距，则第三平凸透镜531的光心和第四平凸透镜532的光心之间的距离可为d3+d4。

照明光纤3的末端和微型栅格屏52之间的距离D可根据栅格分辨率标准来确定，所述距离D需满足下述约束条件：

$\frac{H}{D}\≥\frac{L}{D+Z},$

其中H表示结构光通道5的半径，L表示光纤照明区域的半径，Z表示微型栅格屏52和目标之间的距离。

在满足上述约束条件的情况下，选择较大的D值，能够保证获得较高的栅格分辨率。

所述计算处理模块4，用于对成像通道1获得的图像进行三维重建，获得所述图像的三维图像。

计算处理模块4对成像通道1获得的图像进行三维重建的具体过程为：

对于目标中清晰区域，通过提取栅格角点的方法，并利用基于栅格形变的结构光三维重建方法重建所述清晰区域的表面三维形状；

对于目标中模糊区域，采用基于几何方法的散焦三维重建方法重建所述模糊区域的表面三维形状。

所述基于栅格形变的三维重建方法的具体过程可参考下述过程：

对于物体上任意一点P，它在世界坐标系中的坐标是(X_w，Y_w，Z_w)，在照相机参考坐标系的坐标是

在投影镜头参考坐标系的坐标是

照相机参考坐标系的原点定义在成像通道(1)内照相机的CCD透镜镜头的光心，投影镜头参考坐标系的原点定义在结构光通道(5)内投影镜头组(53)的光心，照相机图像坐标系(u_c，v_c)的原点定义在CCD的中心

投影镜头图像坐标系(u_p，v_p)的原点定义在投影镜头组(53)的中心

f_c是CCD透镜的焦距，f_p是投影镜头组(53)的焦距；

空间点P的世界坐标(X_w，Y_w，Z_w)与照相机参考坐标

存在如下转换关系：

$\left[\begin{array}{c}{X}_w^c\\ Y_w^c\\ Z_w^c\end{array}\right]=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]+\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right]$

考虑图像的倾斜形变情况。所谓倾斜形变就是指成像时，图像的X轴和Y轴不正交，虽然大多数情况下X轴和Y轴是正交的，但是当光轴和成像平面不完全正交时可能会导致X轴和Y轴不正交。

假设X轴和Y轴的倾斜形变角为α，得到：

$\left[\begin{array}{c}{u}_c\\ v_c\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_{c1}& \tan \mathrm{\α}{f}_{c1}& u_0\\ 0& f_{c2}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$

其中f_c1为CCD透镜U方向的焦距，f_c2为CCD透镜V方向的焦距；

于是得：

$Z_w^c\left[\begin{array}{c}{u}_c\\ v_c\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_{c1}& \tan \mathrm{\α}{f}_{c1}& u_0\\ 0& f_{c2}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

将照相机的内部参数矩阵和外部参数矩阵化简，并令

得到：

$s_c\left[\begin{array}{c}{u}_c\\ v_c\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_{11}^c& a_{12}^c& a_{13}^c& a_{14}^c\\ a_{21}^c& a_{22}^c& a_{23}^c& a_{24}^c\\ a_{31}^c& a_{32}^c& a_{33}^c& a_{34}^c\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

同理由于投影仪可以看作是照相机的倒置，所以可以得到：

$s_p=\left[\begin{array}{c}{u}_p\\ v_p\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_{11}^p& a_{12}^p& a_{13}^p& a_{14}^p\\ a_{21}^p& a_{22}^p& a_{23}^p& a_{24}^p\\ a_{31}^p& a_{32}^p& a_{33}^p& a_{34}^p\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

消去S_c和S_p，得到：

$\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]={\left[\begin{array}{ccc}{a}_{11}^c-u_c{a}_{31}^c& a_{12}^c-u_c{a}_{32}^c& a_{13}^c-u_c{a}_{33}^c\\ a_{21}^c-v_c{a}_{31}^c& a_{22}^c-v_c{a}_{32}^c& a_{23}^c-v_c{a}_{33}^c\\ a_{11}^p-u_p{a}_{31}^p& a_{12}^p-u_p{a}_{32}^p& a_{13}^p-u_p{a}_{33}^p\end{array}\right]}^{-1}\left[\begin{array}{c}{u}_c{a}_{34}^c-a_{14}^c\\ v_c{a}_{34}^c-a_{24}^c\\ u_p{a}_{34}^p-a_{14}^p\end{array}\right]$

由照相机获得的图像经过解码处理后，每一个码值都可以映射到投影镜头组(53)所投射的编码图案的相应位置，即它们之间存在一种对应关系：

φ(u_c，v_c)＝φ(u_p)，

上式的具体形式由所采用的编码方式决定，不同的编码方式对应着不同的具体形式；对于一个标定过的结构光系统，照相机及投影仪的内外参数均已知。如果能够实现空间点在照相机上的像点和投影仪上的投影点的匹配(Correspondence)，即确定对应关系，则可得到空间点P的坐标，从而实现三维重建。由于内窥镜尺寸和结构限制，无法产生复杂的结构光编码模式，只能产生单一的栅格模式，通过提取栅格角点并利用三角化方法可以重建表面的三维形状。

所述基于几何方法的散焦三维重建方法的过程如下：

步骤一、随机产生T幅等焦平面图像r_j，获取每幅等焦平面图像在物距等于z0处的散焦图像的光强分布I_1，j，同时获得物距等于z1的每幅等焦平面图像的散焦图像的光强分布I_2，j；其中，j＝1，2，...，T，10mm≤z0≤20mm，10mm≤z1≤20mm；

步骤二、基于{(I_1，j，I_2，j)|j＝1，2，...，T}构建训练样本集，引入图像对I_j＝(I_1，j，I_2，j)；

步骤三、按照均差最小原则，有

$\hat{S},\hat{r}=\arg \min {\left|\right|I_j-H_S{r}_j\left|\right|}^2,$

其中，

表示复原的等焦平面图像，

表示图像的深度信息估计，H_S表示深度为S时对应的线性散焦变换算子；

步骤四、对每个深度级别S求解一个对应的线性算子

使得

最小，从而获得每个深度级别S对应的线性算子

其中I_S表示一个深度为S的散焦图像对；

步骤五、在内窥镜成像时，调整相机获得两幅图像I＝(I₁，I₂)，利用步骤四得到的

根据公式

获得图像的深度信息，进而实现对图像的三维重建。

步骤四所述内容的具体过程为：

对每个深度级别S求解一个对应的线性算子

使得

最小，其中I_S表示一个深度为S的散焦图像对；

构建一个大间隔学习规划问题来学习线性算子

$\underset{H_S^{\⊥}}{\min }(1-\mathrm{\μ})\underset{i}{\mathrm{\Σ}}{\left|\right|H_S^{\⊥}{I}_i\left|\right|}^2+\mathrm{\μ}\underset{i,l}{\mathrm{\Σ}}(1-y_{i,l})[1+{\left|\right|H_S^{\⊥}{I}_i\left|\right|}^2-{\left|\right|H_S^{\⊥}{I}_l\left|\right|}^2],$

令 ${\left(H_S^{\⊥}\right)}^2=H_S^{\⊥},{\left(H_S^{\⊥}\right)}^t=H_S^{\⊥},$

如果I_j对应的深度信息为S，则y_i，l＝1，否则y_i，l＝0；其中，μ＝0.5，为折中参数；利用Stiefel流形上的梯度下降法，求解获得线性算子

本发明的工作原理为：

内窥镜中的结构光通道发射出特定模式的光，投射到器官表面后，由成像通道中的相机捕获器官表面图像，然后由计算处理模块通过分析图像中光的形变信息，利用结构光三维重建方法来提取器官的三维形状。

本发明的包含结构光三维成像系统的医用内窥镜，通过在刚性医用内窥镜的照明通道中增设一个管道，在管道中设置聚焦透镜组、微型栅格屏以及投影镜头组，并结合利用内窥镜的光纤束实现一个结构光生成系统，综合使用基于栅格形变的结构光三维重建方法以及基于几何方法的散焦三维重建方法来获取医学组织和器官表面的三维形状信息。

Claims (2)

1.包含结构光三维成像系统的医用内窥镜，它包括工作镜管，所述工作镜管包括成像通道（1）和照明通道（2），所述照明通道（2）内置照明光纤（3），所述医用内窥镜还包括计算处理模块（4），所述计算处理模块（4）的信号输入端连接成像通道（1）的电信号输出端；所述医用内窥镜还包括结构光通道（5），所述结构光通道（5）置于照明通道（2）内，照明光纤（3）的末端输出的光束由结构光通道（5）接收，该光束经过结构光通道（5）后产生结构光，且所述结构光由结构光通道（5）输出至照明通道（2）外；所述结构光通道（5）由聚焦镜头组（51）、微型栅格屏（52）和投影镜头组（53）组成，照明光纤（3）的末端输出的光束依次经过聚焦镜头组（51）、微型栅格屏（52）和投影镜头组（53）后，生成结构光输出；所述计算处理模块（4）用于对成像通道（1）获得的图像进行三维重建，获得所述图像的三维图像；其特征在于计算处理模块（4）对成像通道（1）获得的图像进行三维重建的具体过程为：

对于目标中清晰区域，通过提取栅格角点的方法，并利用基于栅格形变的结构光三维重建方法重建所述清晰区域的表面三维形状；对于目标中模糊区域，采用基于几何方法的散焦三维重建方法重建所述模糊区域的表面三维形状，所述基于几何方法的散焦三维重建方法的过程如下：

步骤一、随机产生T幅等焦平面图像r_j，获取每幅等焦平面图像在物距等于z0处的散焦图像的光强分布I_1，j，同时获得物距等于z1的每幅等焦平面图像的散焦图像的光强分布I_2，j；其中，j＝1，2，...，T，10mm≤z0≤20mm，10mm≤z1≤20mm；

步骤二、基于{(I_1，j,I_2，j)|j＝1，2，...，T}构建训练样本集，引入图像对I_j=(I_1，j,I_2，j)；

步骤三、按照均差最小原则，有

$\hat{S},\hat{r}=\arg \min {\left|\right|I_j-H_S{r}_j\left|\right|}^2,$

其中，表示复原的等焦平面图像，表示图像的深度信息估计，H_s表示深度为S时对应的线性散焦变换算子；

步骤四、对每个深度级别S求解一个对应的线性算子

使得

最小，从而获得每个深度级别S对应的线性算子其中I_S表示一个深度为S的散焦图像对；步骤五、在内窥镜成像时，调整相机获得两幅图像I=(I₁,I₂)，利用步骤四得到的

根据公式

获得图像的深度信息，进而实现对图像的三维重建。

2.根据权利要求1所述的包含结构光三维成像系统的医用内窥镜，其特征在于步骤四所述内容的具体过程为：

对每个深度级别S求解一个对应的线性算子

使得

最小，其中I_S表示一个深度为S的散焦图像对；

构建一个大间隔学习规划问题来学习线性算子

$\underset{H_S^{\⊥}}{\min }(1-\mathrm{\μ})\underset{i}{\mathrm{\Σ}}{\left|\right|H_S^{\⊥}{I}_i\left|\right|}^2+\mathrm{\μ}\underset{i,l}{\mathrm{\Σ}}(1-y_{i,l})[1+{\left|\right|H_S^{\⊥}{I}_i\left|\right|}^2-{\left|\right|H_S^{\⊥}{I}_l\left|\right|}^2],$

令 ${\left(H_S^{\⊥}\right)}^2=H_S^{\⊥},{\left(H_S^{\⊥}\right)}^t=H_S^{\⊥},$

如果I_j对应的深度信息为S，则y_i，l＝1，否则y_i，l＝0；其中，μ＝0.5，为折中参数；利用Stiefel流形上的梯度下降法，求解获得线性算子

Images