CN106327587A - 一种用于增强现实手术导航的腹腔镜视频精准融合方法 - Google Patents

Abstract

本发明涉及一种用于增强现实手术导航的腹腔镜视频精准融合方法，步骤一：对腹腔镜相机进行标定，确定相机参数；步骤二：使用腹腔镜相机标定参数进行3D图形渲染引擎的投影矩阵设置；步骤三：获取手术对象术中的腹腔镜图像，用3D图形渲染引擎渲染生成对应的无畸变视图；步骤四：用畸变模型对步骤三所述3D图形渲染引擎渲染获得的无畸变视图进行变形处理，获得与实际腹腔镜具有同样畸变效果的虚拟视图；步骤五：融合虚拟视图与实际腹腔镜图像，检测步骤四生成虚拟视图的每一个像素点的深度值；步骤六：实时获取术中实际腹腔镜图像，重复步骤三到步骤五，获得具有正确位置映射关系的精准虚拟‑真实融合视频用于手术导航。

Description

一种用于增强现实手术导航的腹腔镜视频精准融合方法

技术领域

本发明涉及微创外科手术技术领域，尤其涉及一种用于增强现实手术导航的腹腔镜视频精准融合方法。

背景技术

在腹腔镜手术过程中，由于腹腔镜下有限的手术环境感知，医生无法直观获取腹腔镜视野周边的全局信息，传统的腹腔镜手术只能依靠医生的经验和技巧把握病人病灶的位置、深度和切除范围，存在对病灶及其边界定位不准，健康组织切除过多等问题，致使手术的难度和风险性较大。增强现实导航技术可以有效解决腹腔镜手术中存在的有限手术环境感知问题，即把高分辨率的器官组织或目标肿瘤的三维解剖模型(CT或MRI重建)通过图像配准过程匹配到术中视野，为医生提供基于视频叠加的视觉引导，实现微创手术可视化。在目前腹腔镜手术增强现实导航研究方面，美国佛罗里达大学的Su等在文献“AugmentedReality During Robot-assisted Laparoscopic Partial Nephrectomy:Toward Real-Time 3D-CT to Stereoscopic Video Registration”中公开了一种用于肾部分切除术的增强现实导航方法，该方法将术前肾脏解剖模型和肿瘤位置通过刚性配准匹配到术中腹腔镜的相机坐标系下，并叠加显示在腹腔镜视野上。日本名古屋大学的Feuerstein等在文献“Intraoperative laparoscope augmentation for port placement and resectionplanning in minimally invasive liver resection”中公开了一种将肝脏血管的术前三维图像增强显示在腹腔镜视频上用于肝脏切除手术导航。国内腹腔镜手术增强现实导航方面仍处于初级起步研究阶段。腹腔镜手术增强现实导航的关键是实现视频叠加融合，即如何将可视化信息(例如器官/肿瘤的术前解剖模型)实时、正确地匹配到术中腹腔镜视野上。

当前的技术主要采用两种手段实现视频叠加融合：第一类方法采用蛮力算法遍历术前解剖模型(三角面片模型)的每个三维点，使用事先标定好的相机内外参数，计算每个三维点在二维图像上的坐标，并采用绘图函数画出该二维投影点；第二类方法先对腹腔镜相机的原始图像做畸变校正，然后通过设置3D图形渲染引擎(例如OpenGL)的投影几何关系，对畸变校正图像进行图像渲染，从而得到与校正后的腹腔镜图像一致的虚拟图像。第一类方法的缺点在于效率太低，缺少三维效果，无法做到实时渲染，而且也无法实现三维渲染中的遮挡、光照等效果；第二类方法的缺点是为了保证相机的线性投影关系而损失了一部分术中视野。

发明内容

发明目的：

本发明克服了现有腹腔镜视频叠加融合技术中的缺点，提出了一种用于增强现实手术导航的腹腔镜视频精准融合方法，在不损失术中视野范围的前提下，能充分利用3D图形渲染引擎的渲染能力，实现术前导航信息与术中腹腔镜视野图像的实时精准叠加(overlay)。

技术方案：

本发明一种用于增强现实手术导航的腹腔镜视频精准融合方法，其步骤如下：

步骤一：对腹腔镜相机进行标定，确定其相机参数包括：f、k₁、k₂、k₃、p₁、p₂、s_x、s_y、c_x、c_y、W、H。

其中，步骤一中所述f指腹腔镜相机的焦距(单位为毫米)，所述k₁、k₂、k₃指腹腔镜相机镜头的径向畸变系数，所述p₁、p₂指腹腔镜相机镜头的切向畸变系数，所述s_x指腹腔镜相机单个像素的横向物理尺寸(单位为毫米)，所述s_y指腹腔镜相机单个像素的纵向物理尺寸(单位为毫米)，所述c_x指腹腔镜相机光轴与成像平面的交点在相机图像上的横向像素坐标，所述c_y指腹腔镜相机光轴与成像平面的交点在相机图像上的纵向像素坐标，所述W指腹腔镜相机拍摄图像的宽度(单位为像素)，所述H指腹腔镜相机拍摄图像的高度(单位为像素)。

步骤二：使用腹腔镜相机标定参数进行3D图形渲染引擎的投影矩阵设置，使得3D图形渲染引擎的视图平截头体与实际腹腔镜相机具有相同的投影几何关系。

以OpenGL为例，其中，步骤二中所述的“投影矩阵设置”，其作法如下：

$P=\left(\begin{array}{cccc}\frac{2f}{r-l}& 0& \frac{r+l}{r-l}& 0\\ 0& \frac{2f}{t-b}& \frac{t+b}{t-b}& 0\\ 0& 0& -\frac{z_f+z_n}{z_f-z_n}& -\frac{2z_f{z}_n}{z_f-z_n}\\ 0& 0& -1& 0\end{array}\right)$

该P即为所述投影矩阵；

式中，l＝-(c_x+0.5)s_x，r＝(W-0.5-c_x)s_x，t＝(c_y+0.5)s_y，b＝-(H-0.5-c_y)s_y，该f、s_x、s_y、c_x、c_y、W、H与步骤一所述一致；

式中，z_n为OpenGL视图平截头体中的近裁剪平面对应的z坐标绝对值，z_f为OpenGL中的远裁剪平面对应的z坐标绝对值，取值依据|z_f-z_n|的值不小于5倍目标器官长度大小，比如，器官的最大维度为100mm，则可取|z_f-z_n|＝500，可令z_n＝1，z_f＝501。

步骤三：获取手术对象术中的腹腔镜图像，使用3D图形渲染引擎渲染生成对应的无畸变视图。

其中，步骤三中所述的“3D图形渲染引擎渲染”，其作法如下：

(1)将术前器官组织的三维解剖模型以顶点数组对象(vertex array object)形式导入3D图形渲染引擎环境中；

(2)获取真实腹腔镜图像(2D图像)，采用基于视图的3D-2D配准方法得到模型视图矩阵MV，将步骤二所述投影矩阵P和模型视图矩阵MV相乘获得模型视图投影矩阵MVP，该MVP＝P·MV；

(3)启动3D图形渲染引擎渲染流水线，把模型视图投影矩阵MVP传给3D图形渲染引擎的顶点着色器(vertex shader)，在顶点着色器中用该MVP变换三维解剖模型的每一个几何顶点，并在3D图形渲染引擎的片段着色器(fragment shader)中进行光照和纹理渲染，最终得到的渲染图像即为在腹腔镜相机拍摄角度下的与实际腹腔镜相机具有同样几何成像的无畸变视图。

步骤四：利用畸变模型对步骤三所述3D图形渲染引擎渲染获得的无畸变视图进行变形处理(wrap)，获得与实际腹腔镜具有同样畸变效果的虚拟视图。

其中，步骤四所述的“畸变模型”，它表示如下：

$\left(\begin{array}{c}\tilde{u}\\ \tilde{v}\end{array}\right)=\left(\begin{array}{c}u+u\left(k_1{r}^2+k_2{r}^4+k_3{r}^6\right)+p_1(r^2+2u^2)+2p_{2}uv\\ v+v\left(k_1{r}^2+k_2{r}^4+k_3{r}^6\right)+p_2(r^2+2v^2)+2p_{1}uv\end{array}\right)$

式中，所述该u、v为无畸变视图中任一点的归一化坐标；

式中，所述为u、v点发生镜头畸变后对应在畸变视图中的归一化坐标；

式中，所述k₁、k₂、k₃为步骤一所述腹腔镜相机镜头的径向畸变系数，所述p₁、p₂为步骤一所述腹腔镜相机镜头的切向畸变系数。

其中，步骤四所述的“变形处理”，其作法如下：

利用和(u、v)之间的映射关系可以生成一个W×H的查找表，该W、H与步骤一所述一致，查找表里面存储着畸变视图的每一个像素点对应在非畸变视图中的位置。将查找表以纹理(texture)形式导入3D图形渲染引擎环境，在3D图形渲染引擎的片段着色器中对非畸变视图进行并行变形处理，最终得到与实际腹腔镜具有同样畸变效果的虚拟视图。

步骤五：融合虚拟视图与实际腹腔镜图像，在3D图形渲染引擎的片段着色器中检测步骤四所生成虚拟视图的每一个像素点的深度值(z-buffer value)，如果虚拟视图中的像素是背景像素，则将实际腹腔镜图像上对应的像素值赋予当前像素，否则将虚拟视图的对应像素值赋予当前像素，最终获得具有正确位置关系的精准虚拟-真实融合视图。

步骤六：实时获取术中实际腹腔镜图像，并不断重复步骤三到步骤五，最终获得具有正确位置映射关系的精准虚拟-真实融合视频用于手术导航，实现术前导航信息与术中腹腔镜视野图像的实时精准叠加。

本发明一种用于增强现实手术导航的腹腔镜视频精准融合方法，其具有如下优点：

(1)可生成与术中腹腔镜视野下患者器官组织或目标位姿体态完全匹配的高质量3D导航图像，实现微创手术可视化；

(2)可在不损失术中视野范围的前提下，实现术前导航信息与术中腹腔镜视野图像的实时精准叠加；

(3)可获得具有正确位置映射关系的虚拟-真实融合视频用于手术导航，提高手术导航精度，实现腹腔镜手术中的精准定位；

(4)利用该腹腔镜视频精准融合方法，可提高医生对手术环境的感知，增加手术的安全性；

(5)对外科手术导航推广到腹腔镜手术(软组织)导航领域提供了理论依据。

(6)方法适用范围广泛，不仅适用于腹腔镜手术，在整形外科等其他外科手术中也可以加以应用，实现基于医学数据CAD/CAM技术的微创手术可视化。

附图说明

图1为本发明腹腔镜视频精准融合方法的流程框图。

图2为腹腔镜相机成像模型示意图。

图3为OpenGL的视图平截头体示意图。

具体实施方式

下面结合附图，对本发明的技术方案做进一步的说明。

将人体器官的术前解剖模型位置正确地匹配到腹腔镜的术中视野需要两大步骤：首先计算目标器官相对于腹腔镜相机的六自由度位姿(模型视图矩阵，model viewmatrix)，其次依据模型视图矩阵、腹腔镜相机的投影矩阵(projection matrix)及腹腔镜相机镜头畸变系数(lens distortion coefficients)，将术前解剖模型投影到腹腔镜相机图像上。由此可见，如果要生成和实际腹腔镜视野完全一致的虚拟场景，必须精确得到模型矩阵、投影矩阵和镜头畸变系数。模型视图矩阵可以通过图像配准过程得到，投影矩阵和镜头畸变系数可以通过腹腔镜相机标定过程得到。

本发明的一种用于增强现实手术导航的腹腔镜视频精准融合方法，是用于实现术前导航信息与术中腹腔镜视野图像的完全精准匹配，这就需要设置3D图形渲染引擎虚拟相机对应的模型视图矩阵和投影矩阵，使之与实际腹腔镜的相关物理参数一致，并将虚拟相机渲染的无畸变图像进行腹腔镜相机镜头畸变参数下的变形处理从而达到目的。

本发明一种用于增强现实手术导航的腹腔镜视频精准融合方法的实现步骤参见图1所示，具体描述如下：

(一)、对腹腔镜相机进行标定，获得腹腔镜相机参数，包括腹腔镜相机的焦距f(单位为毫米)，腹腔镜相机的径向畸变系数k₁、k₂、k₃，腹腔镜相机的切向畸变系数p₁、p₂，腹腔镜相机拍摄图像单个像素的横向物理尺寸s_x(单位为毫米)，腹腔镜相机拍摄图像单个像素的纵向物理尺寸s_y(单位为毫米)，腹腔镜相机光轴与成像平面的交点(p₀)在相机图像上的横向像素坐标c_x，腹腔镜相机光轴与成像平面的交点(p₀)在相机图像上的纵向像素坐标c_y，腹腔镜相机拍摄图像的宽度W(单位为像素)以及腹腔镜相机拍摄图像的高度H(单位为像素)，需要注意的是，所述c_x及c_y的像素坐标是以图像左上角像素坐标为(0,0)的图像坐标系下对应的像素坐标值，而所述W及H则分别为整幅图像宽度方向上的总像素个数和高度方向上的总像素个数，相机成像模型参见图2所示。

(二)、使用已获得的腹腔镜相机标定参数，设置3D图形渲染引擎的投影矩阵(以符号P表示)，使得渲染视图与实际腹腔镜相机具有相同的投影几何关系，以OpenGL为例，通过设置投影矩阵P，使OpenGL的视图平截头体与实际腹腔镜相机具有相同的投影几何关系。其中，OpenGL的视图平截头体(view frustum)参见图3所示，其对应的投影矩阵P设置如下：

$P=\left(\begin{array}{cccc}\frac{2f}{r-l}& 0& \frac{r+l}{r-l}& 0\\ 0& \frac{2f}{t-b}& \frac{t+b}{t-b}& 0\\ 0& 0& -\frac{z_f+z_n}{z_f-z_n}& -\frac{2z_f{z}_n}{z_f-z_n}\\ 0& 0& -1& 0\end{array}\right)$

具体的，利用已获得的腹腔镜相机参数f、s_x、s_y、c_x、c_y、W、H，计算：l＝-(c_x+0.5)s_x，r＝(W-0.5-c_x)s_x，t＝(c_y+0.5)s_y，b＝-(H-0.5-c_y)s_y；投影矩阵P中的z_n为OpenGL视图平截头体中的近裁剪平面对应的z坐标绝对值，z_f为OpenGL中的远裁剪平面对应的z坐标绝对值，取值依据|z_f-z_n|的值不小于5倍目标器官长度大小，比如，器官的最大维度为100mm，则可取|z_f-z_n|＝500，可令z_n＝1，z_f＝501。

(三)、获取手术对象术中的腹腔镜图像以获得模型视图矩阵，利用该视图模型矩阵使用OpenGL对术前器官组织的三维解剖模型进行渲染生成对应于实际腹腔镜图像的无畸变视图。步骤实现流程具体介绍如下：

(1)将术前器官组织的三维解剖模型以顶点数组对象形式导入OpenGL环境中；

(2)获取真实腹腔镜图像(2D图像)，采用基于视图的3D-2D配准方法得到模型视图矩阵MV，将步骤二所述投影矩阵P和模型视图矩阵MV相乘获得模型视图投影矩阵MVP，该MVP＝P·MV；

(3)启动OpenGL渲染流水线，把模型视图投影矩阵MVP传给OpenGL的顶点着色器，在顶点着色器中用该MVP变换三维解剖模型的每一个几何顶点，并在OpenGL的片段着色器中进行光照和纹理渲染，最终得到的渲染图像即为在腹腔镜相机拍摄角度下的与实际腹腔镜相机具有同样几何成像的无畸变视图。

(四)、利用畸变模型对OpenGL渲染获得的无畸变视图进行变形处理，从而获得与实际腹腔镜具有同样畸变效果的虚拟视图。

上述畸变模型，表示如下：

$\left(\begin{array}{c}\tilde{u}\\ \tilde{v}\end{array}\right)=\left(\begin{array}{c}u+u\left(k_1{r}^2+k_2{r}^4+k_3{r}^6\right)+p_1(r^2+2u^2)+2p_{2}uv\\ v+v\left(k_1{r}^2+k_2{r}^4+k_3{r}^6\right)+p_2(r^2+2v^2)+2p_{1}uv\end{array}\right)$

式中所述该u、v为无畸变视图中任一点的归一化坐标，所述为u、v点发生镜头畸变后对应在畸变视图中的归一化坐标，所述k₁、k₂、k₃为腹腔镜相机镜头的径向畸变系数，p₁、p₂为腹腔镜相机镜头的切向畸变系数。

利用和(u、v)之间的映射关系可以生成一个W×H的查找表，该W、H与步骤一所述一致，查找表里面存储着畸变视图的每一个像素点对应在非畸变视图中的位置。将查找表以纹理形式导入OpenGL环境，在OpenGL的片段着色器中对非畸变视图进行并行变形处理，最终得到与实际腹腔镜具有同样畸变效果的虚拟视图。

(五)、将上述得到的与实际腹腔镜具有同样畸变效果的虚拟视图与实际腹腔镜图像进行融合，在OpenGL的片段着色器中检测所生成的虚拟视图中每一个像素点的深度值，如果虚拟视图中的像素是背景像素，则将实际腹腔镜图像上对应的像素值赋予当前像素，否则将虚拟视图的对应像素值赋予当前像素，最终获得具有正确位置关系的精准虚拟-真实融合视图。

(六)、实时获取术中实际腹腔镜图像，并不断重复步骤(三)到(五)，最终获得具有正确位置映射关系的精准虚拟-真实融合视频用于手术导航，实现术前导航信息与术中腹腔镜视野图像的实时精准叠加。

需要指出的是，本发明的增强现实手术导航的腹腔镜视频精准融合方法适用范围广泛，不仅适用于腹腔镜手术，在整形外科等其他外科手术中均可以加以应用，只要不脱离本发明增强现实手术导航的腹腔镜视频精准融合的理论方法，所有显而易见的改变以及具有等同替换的相似方法，均包含在本发明的保护范围之内。

Claims (5)

1.一种用于增强现实手术导航的腹腔镜视频精准融合方法，特征在于：该方法步骤如下：

步骤一：对腹腔镜相机进行标定，确定相机参数；

步骤二：使用腹腔镜相机标定参数进行3D图形渲染引擎的投影矩阵设置，使得3D图形渲染引擎的视图平截头体与实际腹腔镜相机具有相同的投影几何关系；

步骤三：获取手术对象术中的腹腔镜图像，使用3D图形渲染引擎渲染生成对应的无畸变视图；

步骤四：利用畸变模型对步骤三所述3D图形渲染引擎渲染获得的无畸变视图进行变形处理，获得与实际腹腔镜具有同样畸变效果的虚拟视图；

步骤五：融合虚拟视图与实际腹腔镜图像，在3D图形渲染引擎的片段着色器中检测步骤四所生成虚拟视图的每一个像素点的深度值，如果虚拟视图中的像素是背景像素，则将实际腹腔镜图像上对应的像素值赋予当前像素，否则将虚拟视图的对应像素值赋予当前像素，最终获得具有正确位置关系的精准虚拟-真实融合视图；

步骤六：实时获取术中实际腹腔镜图像，并不断重复步骤三到步骤五，最终获得具有正确位置映射关系的精准虚拟-真实融合视频用于手术导航，实现术前导航信息与术中腹腔镜视野图像的实时精准叠加。

2.根据权利要求1所述的一种用于增强现实手术导航的腹腔镜视频精准融合方法，其特征在于：步骤二中所述的3D图形渲染引擎选用OpenGL，则该投影矩阵设置，其作法如下：

$P=\left(\begin{array}{cccc}\frac{2f}{r-l}& 0& \frac{r+l}{r-l}& 0\\ 0& \frac{2f}{t-b}& \frac{t+b}{t-b}& 0\\ 0& 0& -\frac{z_f+z_n}{z_f-z_n}& -\frac{2z_f{z}_n}{z_f-z_n}\\ 0& 0& -1& 0\end{array}\right)$

该P即为所述投影矩阵；

式中，l＝-(c_x+0.5)s_x，r＝(W-0.5-c_x)s_x，t＝(c_y+0.5)s_y，b＝-(H-0.5-c_y)s_y，所述f指腹腔镜相机的焦距，单位为毫米；所述s_x指腹腔镜相机单个像素的横向物理尺寸，单位为毫米；所述s_y指腹腔镜相机单个像素的纵向物理尺寸，单位为毫米；所述c_x指腹腔镜相机光轴与成像平面的交点在相机图像上的横向像素坐标；所述c_y指腹腔镜相机光轴与成像平面的交点在相机图像上的纵向像素坐标；所述W指腹腔镜相机拍摄图像的宽度，单位为像素；所述H指腹腔镜相机拍摄图像的高度，单位为像素；

式中，z_n为OpenGL视图平截头体中的近裁剪平面对应的z坐标绝对值，z_f为OpenGL中的远裁剪平面对应的z坐标绝对值，取值依据|z_f-z_n|的值不小于5倍目标器官长度大小，比如，器官的最大维度为100mm，则可取|z_f-z_n|＝500，可令z_n＝1，z_f＝501。

3.根据权利要求1所述的一种用于增强现实手术导航的腹腔镜视频精准融合方法，其特征在于：步骤三中所述的3D图形渲染引擎渲染，其作法如下：

(1)将术前器官组织的三维解剖模型以顶点数组对象形式导入3D图形渲染引擎环境中；

(2)获取真实腹腔镜2D图像，采用基于视图的3D-2D配准方法得到模型视图矩阵MV，将投影矩阵P和模型视图矩阵MV相乘获得模型视图投影矩阵MVP，该MVP＝P·MV；

(3)启动3D图形渲染引擎渲染流水线，把模型视图投影矩阵MVP传给3D图形渲染引擎的顶点着色器，在顶点着色器中用该MVP变换三维解剖模型的每一个几何顶点，并在3D图形渲染引擎的片段着色器中进行光照和纹理渲染，最终得到的渲染图像即为在腹腔镜相机拍摄角度下的与实际腹腔镜相机具有同样几何成像的无畸变视图。

4.根据权利要求1所述的一种用于增强现实手术导航的腹腔镜视频精准融合方法，其特征在于：步骤四所述的畸变模型，它表示如下：

$\left(\begin{array}{c}\tilde{u}\\ \tilde{v}\end{array}\right)=\left(\begin{array}{c}u+u(k_1{r}^2+k_2{r}^4+k_3{r}^6)+p_1(r^2+2u^2)+2p_{2}uv\\ v+v(k_1{r}^2+k_2{r}^4+k_3{r}^6)+p_2(r^2+2v^2)+2p_{1}uv\end{array}\right)$

式中，所述该u、v为无畸变视图中任一点的归一化坐标；

式中，所述为u、v点发生镜头畸变后对应在畸变视图中的归一化坐标；

式中，所述k₁、k₂、k₃为腹腔镜相机镜头的径向畸变系数，所述p₁、p₂为腹腔镜相机镜头的切向畸变系数。

5.根据权利要求1所述的一种用于增强现实手术导航的腹腔镜视频精准融合方法，其特征在于：步骤四所述的变形处理，其作法如下：

利用和(u、v)之间的映射关系可以生成一个W×H的查找表，其中W指腹腔镜相机拍摄图像的宽度，单位为像素；H指腹腔镜相机拍摄图像的高度，单位为像素；查找表里面存储着畸变视图的每一个像素点对应在非畸变视图中的位置；将查找表以纹理形式导入3D图形渲染引擎环境，在3D图形渲染引擎的片段着色器中对非畸变视图进行并行变形处理，最终得到与实际腹腔镜具有同样畸变效果的虚拟视图。