CN107595408A - 2d与裸眼3d双屏内窥镜系统及显示方法 - Google Patents

Abstract

本发明提供一种2D与裸眼3D双屏显示内窥镜系统，包括依次相连的图像采集装置、图像处理装置和图像显示装置，所述图像处理装置包括图像采集模块、中间视点生成模块，所述图像显示装置包括2D监视器、裸眼3D监视器，所述图像采集模块与所述2D监视器相连，所述中间视点生成模块与3D监视器相连。该双屏内窥镜系统在医生手术中，可以同时为医生提供2D画面和3D视觉，且不需要佩戴任何辅助设备。本发明还提供一种2D与裸眼3D双屏显示内窥镜系统的显示方法。

Description

2D与裸眼3D双屏内窥镜系统及显示方法

技术领域

本发明属于医学内窥镜成像技术领域，更具体地，涉及2D与裸眼3D双屏内窥镜系统及成像方法。

背景技术

目前临床普遍使用二维的单显示屏内窥镜系统，手术过程中无法显示作业面的深度信息。使得这种内窥镜的操作在很大程度上依赖于医生的操作经验，且医生容易疲劳，精准率不高，进一步增加手术风险。

3D影像所能展示的作业面的深度信息能有效地辅助医生感知操作距离从而更好地完成手术。为实现内窥镜的3D显示，国内外内窥镜公司开发了基于辅助设备的3D内窥镜系统，其主要是借助佩戴立体眼镜来达到3D视觉效果。

但是，一方面由于眼镜的使用，使得进入使用者眼睛内的光线降低，降低了腹腔内的信息识别率；另一方面，眼镜的佩戴也会给使用者带来不便，对于平日生活中不佩戴眼镜的使用者而言，佩戴眼镜极易产生不适感，特别在医疗手术时，由于医生需要佩戴口罩，而呼吸时可能会在眼镜上形成雾气，从而影响视野，容易出现判断错误，产生“误切”“多切”的问题，还可能导致患者额外的损伤，对手术安全产生极大的影响。因此，研究出能显示具有深度信息且不需要佩戴其他设备而不干扰医生视野的内窥镜系统尤为必要。

发明内容

针对现有技术中的上述技术问题，本发明提出一种2D与裸眼3D双屏显示内窥镜系统，包括依次相连的图像采集装置、图像处理装置和图像显示装置，所述图像处理装置包括中间视点生成模块，所述图像显示装置包括2D监视器、裸眼3D监视器，所述图像采集模块与所述2D监视器相连，所述中间视点生成模块与3D监视器相连。该双屏内窥镜系统在医生手术中，可以同时为医生提供2D画面和3D视觉，且不需要佩戴任何辅助设备。

为了实现上述目的，本发明提供的具体技术方案为：

一种2D与裸眼3D双屏显示内窥镜系统，包括依次相连的图像采集装置、图像处理装置和图像显示装置，其中：所述图像采集装置，用于采集左视图和右视图；所述图像处理装置，包括所述图像采集模块、中间视点生成模块，所述图像采集模块用于对所述左视图和右视图进行数据转换和存储，所述中间视点生成模块用于根据所述左视图和右视图生成若干中间视点视图，并根据裸眼3D监视器的像素排列表融合多视角图像；所述图像显示装置，包括2D监视器、裸眼3D监视器，所述2D监视器与所述图像采集模块相连以对所述图像采集模块处理后的图像进行2D显示，所述3D监视器与所述中间视点生成模块相连以对所述中间视点生成模块处理后的图像进行裸眼3D显示。

作为上述方案的优选，所述中间视点生成模块包括匹配点对生成单元、平行视图及视差矩阵生成单元、匹配点对二次获取及去噪单元、MLS变形单元，所述匹配点对生成单元用于根据所述左视图和右视图得到匹配点对；所述平行视图及视差矩阵生成单元用于根据所述匹配点对得到平行视图及视差矩阵；所述匹配点对二次获取及去噪单元用于根据所述平行视图及视差矩阵得到更多匹配点对，同时去除差异性较大的匹配点对以得到去噪后的匹配点对；所述MLS变形单元用于将所述去噪后的匹配点对生成不同中间视点图像。

作为上述方案的优选，所述匹配点对生成单元包括原始匹配点对生成子单元、错误匹配点对去除子单元，所述原始匹配点对生成子单元用于根据所述左视图和右视图得到原始的匹配点对，所述错误匹配点对去除子单元用于去除错误匹配点对。

作为上述方案的优选，所述平行视图及视差矩阵生成单元包括平行视图生成子单元、视差矩阵生成子单元，所述平行视图生成子单元用于根据基础矩阵及极线几何关系对所述左视图和右视图进行前置变换以得到平行视图，所述视差矩阵生成子单元用于根据三角网矩阵变换得到所述左视图和右视图的视差矩阵。

作为上述方案的优选，还包括融合单元，所述融合单元用于将所述中间视点图像根据像素排列表进行融合。

与现有技术相比，本发明具有以下有益效果：

在内窥镜手术过程中，医生可以不需要佩戴任何辅助设备，就可以直接观看到具有深度信息的内窥镜图像，可以解放医生的双眼，能有效地辅助医生感知操作距离从而更好地完成手术，在获得立体图像的同时提高医生手术的舒适感。此外，该发明同时提供了2D监视器和裸眼3D监视器，可以根据医生的需求观看不同的监视器，为手术提供更加多样化的图像信息。

本发明还提供一种2D与裸眼3D双屏显示内窥镜系统的显示方法，包括如下步骤：

(1)图像采集装置采集左视图和右视图；

(2)图像处理装置对所述左视图和右视图进行数据转换和存储,并通过中间视点生成方法根据所述左视图和右视图生成若干中间视点视图，并根据裸眼3D监视器的像素排列表融合多视角图像；

(3)2D监视器对获得的所述左或右视图进行2D显示，所述3D监视器对所述中间视点视图进行裸眼3D显示。

作为上述方案的优选，所述中间视点生成方法包括如下步骤：首先根据所述左视图和右视图得到匹配点对；再根据所述匹配点对得到平行视图及视差矩阵；接着根据所述平行视图及视差矩阵得到更多匹配点对，同时去除差异性较大的匹配点对以得到去噪后的匹配点对；最后将所述去噪后的匹配点对通过MLS变形生成不同中间视点图像。

作为上述方案的优选，所述得到所述匹配点对的具体步骤为：先根据所述左视图和右视图得到原始的匹配点对，再去除错误匹配点对。

作为上述方案的优选，所述得到所述平行视图及视差矩阵的具体步骤为：首先根据基础矩阵及极线几何关系对所述左视图和右视图进行前置变换以得到平行视图，再根据三角网矩阵变换得到所述左视图和右视图的视差矩阵。

作为上述方案的优选，所述生成若干中间视点视图的步骤还包括对所述中间视点视图进行融合。

附图说明

图1是本发明实施例中计算机辅助下实时显示输尿管位置的内窥镜系统的结构示意图；

图2是本发明实施例中的中间视点生成方法的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，一种2D与裸眼3D双屏显示内窥镜系统，包括依次相连的图像采集装置1、图像处理装置2和图像显示装置3，其中：

所述图像采集装置1，所述图像采集装置1包括双目内窥镜101、摄像机102和光源103，所述光源、摄像机分别与所述双目内窥镜相连，所述图像采集装置用于采集左视图和右视图，所述摄像机102包括摄像机前端图像传感器1021和摄像机后端处理装置1022；

所述图像处理装置2，包括图像采集模块201、中间视点生成模块202，所述图像采集模块用于对所述左视图和右视图进行数据转换和存储,，所述中间视点生成模块用于根据所述左视图和右视图生成若干中间视点视图，并根据裸眼3D监视器的像素排列表融合多视角图像；

所述图像显示装置3，包括2D监视器301、3D监视器302，所述2D监视器与所述图像采集模块相连以对所述图像采集模块处理后的图像进行2D显示，所述3D监视器与所述中间视点生成模块相连以对所述中间视点生成模块处理后的图像进行裸眼3D显示。

所述2D与裸眼3D双屏显示内窥镜系统的工作原理为：图像采集装置包括双目内窥镜、摄像机和光源，三者之间使用光纤连接，双目内窥镜和摄像机在光源的照射下进行人体内腔图像采集工作，另外，连接双目内窥镜的光纤用来传输光源，连接摄像机的光纤用来传输图像；所述图像采集模块与所述2D监视器相连，所述中间视点生成模块与3D监视器相连，图像采集模块对所述左视图和右视图进行数据转换和存储,左视图或右视图通过2D监视器进行显示，中间视点生成模块通过左视图和右视图来生成连续性的中间视图通过3D监视器进行显示。该双屏内窥镜系统在医生手术中，可以同时为医生提供2D画面和3D视觉，且不需要佩戴任何辅助设备。

具体地，如图2所示，所述中间视点生成模块的中间视点生成方法具体为：

步骤1：使用SURF特征匹配算法(也可以使用SIFT和其他匹配算法)得到特征点坐标及其特征向量描述子，采用欧式距离进行特征点之间的相似性度量，得到匹配点对坐标；

步骤2：利用RANSAC算法(需设定最大迭代次数和最大误差)及经验条件(垂直视差和水平视差等)去除错误匹配点对；

步骤3：为得到左右图像之间的极几何关系，根据剩下匹配点对信息，采用经典八点法和RANSAC算法想结合的方式计算得到基础矩阵F；

步骤4：根据得到的基础矩阵F以及极线几何关系(即点m在另一幅图上的极线为l'＝Fm,点m'在另一幅图像的极线为l＝FT m')对左右图像进行前置变换，得到左右图像平行视图；

步骤5：根据匹配点对坐标生成Delaunay三角网，并根据三角网中每个三角形顶点坐标L1,L2,L3及其对应的右图坐标R1,R2,R3计算得到三角形之间的变换矩阵M，并根据变换矩阵M得到左图该三角形内每个点Lp在右图中的对应点Rp(Rp＝M*Lp)，并计算得到视差信息。对三角网中所有三角形进行同样处理即可得到左图到右图的大致视差矩阵Diff_LR；

步骤6：对于左右平行视图，将对应每行像素按照颜色信息进行分段，使用ViewMorphing算法中的动态规划方法进行水平行上的像素匹配，并根据视差矩阵Diff_LR进行条件限制去除差异性较大的匹配点对；

步骤7：将最终得到的匹配点对信息作为MLS中控制点对信息，并通过线性移动的方式(若左图某点坐标为pL，其在右图匹配点坐标为pR，线性系数为alpha，其中alpha取值在0到1之间，则中间控制点坐标为pM＝(1-alpha)*pL+alpha*pR)，得到源控制点集(pL1、pL2……pLn)和目标控制点集(pM1、pM2……pMn)，并采用MLS中相似变形方法，对源图像进行网格变形(网格大小可根据图像大小自定义)，得到不同中间视点图像；

步骤8：将得到的不同视点图像根据相关像素排列表进行融合，生成裸眼3D格式图像，并在相应显示器上进行显示。

图像显示单元主要包括2D监视器和裸眼3D监视器，分别用来显示2D图像和3D图像。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种2D与裸眼3D双屏显示内窥镜系统，其特征在于，包括依次相连的图像采集装置、图像处理装置和图像显示装置，其中：

所述图像采集装置，用于采集左视图和右视图；

所述图像处理装置，包括图像采集模块、中间视点生成模块，所述图像采集模块用于对所述左视图和右视图进行数据转换和存储，所述中间视点生成模块用于根据所述左视图和右视图生成若干中间视点视图，并根据裸眼3D监视器的像素排列表融合多视角图像；

所述图像显示装置，包括2D监视器、裸眼3D监视器，所述2D监视器与所述图像采集模块相连以对所述图像采集模块处理后的图像进行2D显示，所述裸眼3D监视器与所述中间视点生成模块相连以对所述中间视点生成模块处理后的图像进行裸眼3D显示。

2.根据权利要求1所述的2D与裸眼3D双屏显示内窥镜系统，其特征在于，所述中间视点生成模块包括匹配点对生成单元、平行视图及视差矩阵生成单元、匹配点对二次获取及去噪单元、MLS变形单元，所述匹配点对生成单元用于根据所述左视图和右视图得到匹配点对；所述平行视图及视差矩阵生成单元用于根据所述匹配点对得到平行视图及视差矩阵；所述匹配点对二次获取及去噪单元用于根据所述平行视图及视差矩阵获取更多匹配点对，同时去除差异性较大的匹配点对以得到去噪后的匹配点对；所述MLS变形单元用于根据所述去噪后的匹配点对生成不同中间视点图像。

3.根据权利要求2所述的2D与裸眼3D双屏显示内窥镜系统，其特征在于，所述匹配点对生成单元包括原始匹配点对生成子单元、错误匹配点对去除子单元，所述原始匹配点对生成子单元用于根据所述左视图和右视图得到原始的匹配点对，所述错误匹配点对去除子单元用于去除错误匹配点对。

4.根据权利要求2所述的2D与裸眼3D双屏显示内窥镜系统，其特征在于，所述平行视图及视差矩阵生成单元包括平行视图生成子单元、视差矩阵生成子单元，所述平行视图生成子单元用于根据基础矩阵及极线几何关系对所述左视图和右视图进行前置变换以得到平行视图，所述视差矩阵生成子单元用于根据三角网矩阵变换得到所述左视图和右视图的视差矩阵。

5.根据权利要求2-4任一项所述的2D与裸眼3D双屏显示内窥镜系统，其特征在于，还包括融合单元，所述融合单元用于将所述中间视点图像根据裸眼3D监视器的像素排列表规则进行融合。

6.一种2D与裸眼3D双屏显示内窥镜系统的显示方法，其特征在于，包括如下步骤：

(1)图像采集装置采集左视图和右视图；

(2)图像处理装置对所述左视图和右视图进行数据转换和存储,并通过中间视点生成方法根据所述左视图和右视图生成若干中间视点视图，并根据裸眼3D监视器的像素排列表融合多视角图像；

(3)2D监视器对获得的所述左或右视图进行2D显示，所述3D监视器对所述中间视点视图进行裸眼3D显示。

7.根据权利要求6所述的2D与裸眼3D双屏显示内窥镜系统的显示方法，其特征在于，所述中间视点生成方法包括如下步骤：首先根据所述左视图和右视图得到匹配点对；再根据所述匹配点对得到平行视图及视差矩阵；接着根据所述平行视图及视差矩阵得到更多匹配点对，同时去除差异性较大的匹配点对以得到去噪后的匹配点对；最后将所述去噪后的匹配点对通过MLS变形生成不同中间视点图像。

8.根据权利要求7所述的2D与裸眼3D双屏显示内窥镜系统的显示方法，其特征在于，所述得到所述匹配点对的具体步骤为：先根据所述左视图和右视图得到原始的匹配点对，再去除错误匹配点对。

9.根据权利要求7所述的2D与裸眼3D双屏显示内窥镜系统的显示方法，其特征在于，所述得到所述平行视图及视差矩阵的具体步骤为：首先根据基础矩阵及极线几何关系对所述左视图和右视图进行前置变换以得到平行视图，再根据三角网矩阵变换得到所述左视图和右视图的视差矩阵。

10.根据权利要求6-9任一项所述的2D与裸眼3D双屏显示内窥镜系统的显示方法，其特征在于，所述生成若干中间视点视图的步骤还包括对所述中间视点视图进行融合。