CN106331670A - 使用色度成形法的内视镜立体视觉化系统及方法 - Google Patents

Abstract

本发明是一种使用色度成形法的内视镜立体视觉化系统，是于一单镜头内视镜与一立体显示器之间连接有一影像转换装置，该影像转换装置内建一色度成形法，使其可将单镜头内视镜取得的平面影像通过该色度成形法计算出深度资讯进而产生深度地图，并藉由该平面影像与该深度地图生成所需立体影像，再输出至外部的立体显示器，以利使用者方便观看立体影像，不需将现有单镜头内视镜更换为双相机内视镜系统，也不需修改现有单镜头内视镜的硬件结构，解决现有单镜头内视镜无法提供立体影像以及双相机内视镜的设备昂贵的问题。

Description

使用色度成形法的内视镜立体视觉化系统及方法

技术领域

本发明是一种内视镜立体视觉化系统，尤指一种使用色度成形法产生立体影像的内视镜立体视觉化系统。

背景技术

现有医疗行为的微创手术已经成为许多疾病治疗上不可或缺的一部分，通过内视镜的辅助手术器械进行该微创手术，使其具有较小的切口和减少组织的创伤，并能缩短病人复原的周期和减少整体治疗的花费。然而，现有应用于微创手术皆是使用单镜头的内视镜，该单镜头的内视镜仅能显示平面(2D)的影像，由于平面影像缺少深度资讯，因此外科医师根据该平面影像要把手术器械准确地移动到病人体内的正确位置将是一大挑战。外科医师通常需要依赖运动视差、单眼线索和其它间接的证据让前述平面影像具有深度上的感知，以提高定位的准确性，然，立体视觉影像(包含2D影像与深度资讯)可提供的深度的感觉和不需要额外的经验(运动视差、单眼线索和其它间接的证据)仍是解决前述定位准确性不佳的最好解决方式。现有欲在微创手术上取得立体视觉影像是使用双相机的内视镜，其可得到外科医师所需的深度资讯或立体影像，不过其造价相对单镜头的内视镜昂贵许多，造成不易普及的缺点。

发明内容

如前揭所述，现有单镜头的内视镜仅能显示平面影像，该平面影像缺少深度资讯而有不易准确定位的问题，双相机的内视镜虽具有取得立体影像的优点，但其造价昂贵而不易普及，因此本发明主要目的在提供一使用色度成形法的内视镜立体视觉化系统及其方法，主要是将单镜头内视镜取得的平面影像以色度成形法产生深度地图，经结合平面影像生成立体影像，不需设置双相机且不需修改现有单镜头内视镜的硬件结构，解决现有单镜头内视镜无法提供立体影像及双相机内视镜设备昂贵的问题。

为达成前述目的所采取的主要技术手段是令前述使用色度成形法的内视镜立体视觉化系统包含有：

一影像转换装置，其具有一内视镜输入端、一2D/3D影像转换单元与一影像输出端，该内视镜输入端用以连接一单镜头内视镜，以通过该单镜头内视镜取得一平面影像，该2D/3D影像转换单元是以内建一色度成形法产生平面影像的深度地图并转换为立体影像，该影像输出端连接有一立体显示器，该立体显示器用以显示经2D/3D影像转换单元转换后的立体影像；

其中，该色度成形法是指2D/3D影像转换单元计算平面影像的光源与其阴影分布资讯，该分布资讯是由像素值进行梯度重复迭代运算，经结合光源照射的方向与位置资讯，再加入光源照射方向估测以得到该深度地图。

为达成前述目的所采取的主要技术手段是令前述使用色度成形法的内视镜立体视觉化方法包含有：

撷取平面影像：以一影像撷取装置取得该内视镜相机的平面影像；

利用色度成形法产生深度地图：通过色度成形法计算该平面影像的光源及其阴影分布资讯，该分布资讯是由像素值进行梯度重复迭代运算的结果，经结合光源照射的方向与位置资讯，再加入光源照射方向估测以提高相对位置判断的准确性，经运算后的结果是一相对的深度地图，该深度地图中像素值包含像素强度、光源方向及坐标的自然对数，并以快速解方程式以及平行运算加速其迭代过程；

利用深度地图产生视差图：该深度地图是一由灰阶影像组成，其表示为第三维度上物体的前后关系，该深度地图在转成立体影像过程会产生一视差图，该视差图的像素值与深度地图成反比但与相机的焦距及两眼间距成正比；以及

产生立体视觉的左右影像：从立体影像获得的视差图用以产生立体影像的左右眼影像，该视差图的像素值亦代表两眼间各像素点的偏移，进而产生左眼或右眼影像的立体影像。

利用前述元件组成的使用色度成形法的内视镜立体视觉化系统及其方法，是将单镜头内视镜取得的平面影像通过影像转换装置以色度成形法计算出深度资讯进而产生深度地图，藉由平面影像与深度地图生成所需立体影像，再输出至外部的立体显示器，使用者即可观看经转换后的立体影像，不需将现有单镜头内视镜更换为双相机内视镜系统，也不需修改现有单镜头内视镜的硬件结构，解决现有单镜头内视镜无法提供立体影像以及双相机内视镜的设备昂贵的问题。

附图说明

图1是本发明较佳实施例的电路方块图。

图2是本发明较佳实施例的流程图。

其中，附图标记：

10 影像转换装置 11 内视镜输入端

12 2D/3D影像转换单元 13 影像输出端

20 单镜头内视镜

30 立体显示器

具体实施方式

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

关于本发明的较佳实施例的电路方块图，请参阅图1所示，主要是于一影像转换装置10连接有一单镜头内视镜20与一立体显示器30，其中该影像转换装置10具有一内视镜输入端11、一2D/3D影像转换单元12与一影像输出端13，该2D/3D影像转换单元12是分别与内视镜输入端11及影像输出端13电连接，该内视镜输入端11是连接至前述单镜头内视镜20，该影像输出端13是连接至前述立体显示器30；该2D/3D影像转换单元12是通过该单镜头内视镜20取得一平面影像，并以内建的色度成形法转换该平面影像为立体影像，再由影像输出端13输出该立体影像至立体显示器30，令该立体显示器30显示经2D/3D影像转换单元12转换后的立体影像。

关于本发明的较佳实施例的流程图，请参阅图2所示，前述2D/3D影像转换单元12是执行下列步骤以将内视镜的平面影像转换为立体影像。

内视镜相机校正(S1)：使用一相机校正法[1]计算该内视镜相机内部参数，该相机校正法以一校正模板的旋转与平移进行相机姿态估测，再以非线性解求得该相机的内部参数与外部参数。

撷取平面影像(S2)：以一影像撷取装置取得该内视镜相机的平面影像；该影像撷取装置是SD或HD的解析度，该内视镜相机的镜头是30°或广角镜头。

利用色度成形法产生深度地图(S3)：通过色度成形法[2]计算光源及其阴影分布资讯，该分布资讯是由像素值进行梯度重复迭代运算的结果，经结合光源照射的方向与位置资讯，再加入光源照射方向估测[3]以提高相对位置判断的准确性，经运算后的结果是一相对的深度地图，该深度地图中像素值包含像素强度、光源方向及坐标的自然对数，并以快速解方程式[4]以及平行运算加速其迭代过程。

其中，该色度成形法可利用下列的描述完成光照分布的计算：假设相机位置C(α，β，γ)，在影像空间域x＝(x，y)有表面法向量n和光源向量l，其三维点M在影像平面中相依的像素点为m可以被描述成：

其中u(x)代表x点的深度，u_x，u_y是空间导数。故影像的照射方程式就可以用来解不包含光源和表面反射的距离衰减的Lambertian SFS。

$I\left(x\right)=\mathrm{\ρ}\frac{l\·n}{{\mathrm{\γ}}^2}$

其中：ρ是表面的反射率，通过置换v＝lnu，可以获得Hamiltonian方程式：

其中，

经由迭代运算方程式即可产生光照分布的深度影像，由于内视镜的光源与内视镜的相机向量几乎相同，在此可以被简化成具有相同向量。

利用深度地图产生视差图(S4)：该深度地图是一由灰阶影像组成，其表示为第三维度上物体的前后关系，该深度地图在转成立体影像过程会产生一视差图[5]，该视差图的像素值与深度地图成反比但与相机的焦距及两眼间距成正比。

产生立体视觉的左右影像(S5)：从立体影像获得的视差图用以产生立体影像的左眼与右眼影像，该视差图的像素值亦代表两眼间各像素点的偏移，进而产生左眼或右眼影像的立体影像。该生成的左眼与右眼影像可以转换为不同的3D播放格式，如左右影像(side-by-side)或交错影像(Interlaced)或其他3D播放格式，再经由立体显示器播放。

由上述可知，该平面影像经色度成形法计算出其深度资讯，并产生深度地图后，藉由该平面影像与深度地图生成所需立体影像，不需将现有单镜头内视镜更换双相机内视镜系统，也不需修改现有单镜头内视镜的硬件结构，解决现有单镜头内视镜无法提供立体影像以及双相机内视镜的设备昂贵的问题。

参考书目：

[1]"Image processing,analysis and machine vision,2nd ed.,vol.68 PWS,1998,pp.448-457"

[2]Visentini-Scarzanella et al.2012 IEEE Internal Conference on ImageProcessing"Metric depth recovery from monocular images usingshape-from-shading and specularities"

[3]Danail Stoyanov et all.2009IEEE/RSJ International Conference onIntelligent Robots and System(IROS)"Illumination position estimation for 3D softtissue reconstruction in robotic minimally invasive surgery"

[4]Chiu-Yen Kao et al.SIAM J.Numerical Analysis 2005"Fast SweepingMethods for Static Hamiton-Jacobi Equation"

[5]Berretty et al.Internaltional Society for Optics and Photonics 2006"Real-time rendering for multi-view auto-stereoscopic displays"

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (4)

1.一种使用色度成形法的内视镜立体视觉化系统，其特征在于，包含有：

一影像转换装置，其具有一内视镜输入端、一2D/3D影像转换单元与一影像输出端，该内视镜输入端用以连接一单镜头内视镜，以通过该单镜头内视镜取得一平面影像，该2D/3D影像转换单元是以内建一色度成形法产生平面影像的深度地图并转换为立体影像，该影像输出端连接有一立体显示器，该立体显示器用以显示经2D/3D影像转换单元转换后的立体影像；

其中，该色度成形法是指2D/3D影像转换单元计算平面影像的光源与其阴影分布资讯，该分布资讯是由像素值进行梯度重复迭代运算，经结合光源照射的方向与位置资讯，再加入光源照射方向估测以得到该深度地图。

2.一种使用色度成形法的内视镜立体视觉化方法，其特征在于，包含有：

撷取平面影像：以一影像撷取装置取得一内视镜相机的平面影像；

利用色度成形法产生深度地图：通过色度成形法计算该平面影像的光源及其阴影分布资讯，该分布资讯是由像素值进行梯度重复迭代运算的结果，经结合光源照射的方向与位置资讯，再加入光源照射方向估测以提高相对位置判断的准确性，经运算后的结果是一相对的深度地图，该深度地图中像素值包含像素强度、光源方向及坐标的自然对数，并以快速解方程式以及平行运算加速其迭代过程；

利用深度地图产生视差图：该深度地图是一由灰阶影像组成，其表示为第三维度上物体的前后关系，该深度地图在转成立体影像过程会产生一视差图，该视差图的像素值与深度地图成反比但与相机的焦距及两眼间距成正比；以及

产生立体视觉的左右影像：从立体影像获得的视差图用以产生立体影像的左右眼影像，该视差图的像素值亦代表两眼间各像素点的偏移，进而产生左眼

或右眼影像的立体影像。

3.根据权利要求2所述的使用色度成形法的内视镜立体视觉化方法，其特征在于，在撷取平面影像步骤之前是执行一内视镜相机校正步骤，该内视镜相机校正是使用一相机校正法计算该内视镜相机内部参数，该相机校正法以一校正模板的旋转与平移进行相机姿态估测，再以非线性解求得该相机的内部参数与外部参数。

4.根据权利要求2或3所述的使用色度成形法的内视镜立体视觉化方法，其特征在于，该色度成形法以下列的描述完成光照分布的计算：

假设相机位置C(α，β，γ)，在影像空间域x＝(x，y)有表面法向量n和光源向量l，其三维点M在影像平面中相依的像素点为m可以被描述成：

其中u(x)代表x点的深度，u_x，u_y是空间导数。故影像的照射方程式就可以用来解不包含光源和表面反射的距离衰减的Lambertian SFS；

$I\left(x\right)=\mathrm{\ρ}\frac{l\·n}{{\mathrm{\γ}}^2}$

其中：ρ是表面的反射率，通过置换v＝lnu，可以获得Hamiltonian方程式：

其中，

经由迭代运算方程式即可产生光照分布的深度影像，该内视镜的光源与内视镜的相机向量几乎相同，在此可以被简化成具有相同向量。